如何在mapreduce中的map()函数中使用selenium?

8gsdolmq  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(225)

我是mapreduce和hadoop的新手,尝试创建一个程序,加载一堆网页,使用selenium从网页中收集文本,并将其连接到一个文件“finalinput.txt”。我用java编写了这个程序,但现在正尝试使用mapreduce和hadoop,map()函数使用selenium收集文本,reduce()函数将所有文本添加到一个文件“totalinput.txt”中。我能否找到一个模板,并将现有的java类复制粘贴到mapreduce的map()函数中?如果是的话,我在哪里可以找到一个模板让我开始?
下面是一个图表,我想如何结构我的项目。请让我知道如果你有任何反馈。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题