如何将数组输入到map reduce作业?

syqv5f0l  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(323)

我有一个服务正在不断检索一些数据。我正在将这些数据转储到一个数组中,这些数据需要进一步处理。有没有可能创建一个动态数组,让serivice不断更新,我可以并行地执行map reduce作业?另外,我如何使用哪个类来简单地获取数组输入(而不是文件)?ps我是hadoop/MapReduce的新手,我用java编写代码。

xeufq47z

xeufq47z1#

hadoop是用于批处理的,因此只有当您存储了文件之类的数据,并且需要对其进行处理并完成作业时,hadoop才是强大的。你可以看看风暴。我认为它更适合你的用例。

相关问题