hadoop2构建hdfs而不使用yarn和mapreduce

relj7zay  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(349)

根据一篇发表的论文,我想对hadoop hdfs做一些修改。之后,我只需要构建hdfs并运行它。我该怎么做?

gc0ot86w

gc0ot86w1#

这假设您构建在linux上。如果你使用不同的操作系统,你可能需要做一些额外的步骤;有关详细信息,请参阅本文-我本人从未在非linux上执行过此操作。
安装git、java(jdk)、maven和protocolbuffer(需要2.5+版本)
克隆 https://github.com/apache/hadoop-common.git 在命令行中键入以下内容:

git clone https://github.com/apache/hadoop-common.git

注意:您可能需要使用与您要构建的hdfs版本相对应的特定分支。要列出所有分支,请键入 git branch -a . 例如,要切换到分支2.3,请键入:

git checkout --track origin/branch-2.3

如果所有操作都正确,您应该会看到一条关于跟踪所选远程分支的消息。
在hdfs中进行任何需要的更改;代码在 hadoop-hdfs-project .
通过从树的根目录运行以下命令来编译项目:

mvn install -DskipTests

这将需要一些时间,你第一次这样做,但会更快地在重新运行。
最后的jar将被放入如下目录中 hadoop-hdfs-project/hadoop-hdfs/target (这至少对2.3版是准确的,但在旧版本中可能有所不同,或者在将来可能会更改)。

5hcedyr0

5hcedyr02#

请参阅以下hadoop文档
http://wiki.apache.org/hadoop/howtocontribute

相关问题