apache pig如何在filenames.txt中加载文件

zwghvu4y  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(290)

我有一个文件名列表存储在filenames.txt中。是否可以使用单个加载命令将它们全部加载到一起?
它们不在同一个目录中,也没有相似的格式,所以不像使用/201308从20130801.gz到20130831.gz加载。
加上列表中的文件太多,我无法这样做:
shell:pig-f script.pig-param input=/user/training/test/{20100810..20100812}
pig:temp=使用someloader()作为(…)加载“$input”;
提前感谢您的真知灼见!

9jyewag0

9jyewag01#

如果文件数量相当少(例如:在arg\u max的命令行中),可以尝试将文件中的行合并为一个字符串:

pig -param input=`cat filenames.txt | tr "\n" ","` -f script.pig

script.pig:
A = LOAD '$input' ....

如果您可以选择列出目录而不是单个文件,可能会更好。

相关问题