根据一篇发表的论文,我想对hadoop hdfs做一些修改。之后,我只需要构建hdfs并运行它。我该怎么做?
gc0ot86w1#
这假设您构建在linux上。如果你使用不同的操作系统,你可能需要做一些额外的步骤;有关详细信息,请参阅本文-我本人从未在非linux上执行过此操作。安装git、java(jdk)、maven和protocolbuffer(需要2.5+版本)克隆 https://github.com/apache/hadoop-common.git 在命令行中键入以下内容:
https://github.com/apache/hadoop-common.git
git clone https://github.com/apache/hadoop-common.git
注意:您可能需要使用与您要构建的hdfs版本相对应的特定分支。要列出所有分支,请键入 git branch -a . 例如,要切换到分支2.3,请键入:
git branch -a
git checkout --track origin/branch-2.3
如果所有操作都正确,您应该会看到一条关于跟踪所选远程分支的消息。在hdfs中进行任何需要的更改;代码在 hadoop-hdfs-project .通过从树的根目录运行以下命令来编译项目:
hadoop-hdfs-project
mvn install -DskipTests
这将需要一些时间,你第一次这样做,但会更快地在重新运行。最后的jar将被放入如下目录中 hadoop-hdfs-project/hadoop-hdfs/target (这至少对2.3版是准确的,但在旧版本中可能有所不同,或者在将来可能会更改)。
hadoop-hdfs-project/hadoop-hdfs/target
5hcedyr02#
请参阅以下hadoop文档http://wiki.apache.org/hadoop/howtocontribute
2条答案
按热度按时间gc0ot86w1#
这假设您构建在linux上。如果你使用不同的操作系统,你可能需要做一些额外的步骤;有关详细信息,请参阅本文-我本人从未在非linux上执行过此操作。
安装git、java(jdk)、maven和protocolbuffer(需要2.5+版本)
克隆
https://github.com/apache/hadoop-common.git
在命令行中键入以下内容:注意:您可能需要使用与您要构建的hdfs版本相对应的特定分支。要列出所有分支,请键入
git branch -a
. 例如,要切换到分支2.3,请键入:如果所有操作都正确,您应该会看到一条关于跟踪所选远程分支的消息。
在hdfs中进行任何需要的更改;代码在
hadoop-hdfs-project
.通过从树的根目录运行以下命令来编译项目:
这将需要一些时间,你第一次这样做,但会更快地在重新运行。
最后的jar将被放入如下目录中
hadoop-hdfs-project/hadoop-hdfs/target
(这至少对2.3版是准确的,但在旧版本中可能有所不同,或者在将来可能会更改)。5hcedyr02#
请参阅以下hadoop文档
http://wiki.apache.org/hadoop/howtocontribute