我是mapreduce和hadoop的新手,尝试创建一个程序,加载一堆网页,使用selenium从网页中收集文本,并将其连接到一个文件“finalinput.txt”。我用java编写了这个程序,但现在正尝试使用mapreduce和hadoop,map()函数使用selenium收集文本,reduce()函数将所有文本添加到一个文件“totalinput.txt”中。我能否找到一个模板,并将现有的java类复制粘贴到mapreduce的map()函数中?如果是的话,我在哪里可以找到一个模板让我开始?
下面是一个图表,我想如何结构我的项目。请让我知道如果你有任何反馈。
暂无答案!
目前还没有任何答案,快来回答吧!