reduce中的java字符串包含

dly7yett  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(261)

问题摘要-搜索csv字符串中元素的逻辑组合,int上有100s:(所有数据都存储在hdfs中,使用javam/r进行处理)
示例-

input string - 5,7,1,19001,234567,123 (unsorted csv list)

在输入字符串中搜索这些逻辑与/或的组合-

123 and 1  

19001 or 1 or 7

总体背景-
我有一个输入数据集,每天有超过1亿条记录作为hdfs文件。输入文件有一个名为inputids的列,它是长int的csv列表。
所以一行应该是这样的(我把第四列称为inputids)

1\t2\t3\t45679,7890,1234567\t90\t100\t101.0.

现在我们有了一个系统,用户可以创建搜索字符串来搜索输入数据。像这样的-

userCreatedID1 - 7890 and 101 

userCreatedID2 - 7890 or 90

所以在每一行的inputids中搜索所有usercreatedid。
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题