如何从开源hadoop或ambari安装的公开hdp源代码构建deb/rpm repos

von4xj4u  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(667)

我正在尝试安装开源hadoop,或者从ambari安装的源代码构建hdp。我可以看到,可以使用apacherepos中提供的文档为每个组件构建java包,但是如何使用这些包来构建由hortonworks提供的rpm/deb包,以便ambari安装hdp发行版。

gorkyyrv

gorkyyrv1#

@shivamkhandelwal从源头上建造ambari是一个挑战,但需要一些坚持才能完成。在这篇文章中,我披露了最近在centos中构建ambari 2.7.5时使用的命令:
centos 7上的ambari 2.7.5安装失败
“从源代码构建hdp”是一项非常大的任务,因为它需要分别构建每个组件,创建自己的公共/私有repo,其中包含每个操作系统风格的所有组件repo或rpm。这是一项巨大的任务,以前由hortonworks的许多员工和组件贡献者管理。
当您从hdp安装ambari时,它与他们的repos(包括他们的hdp堆栈(hdfs、yarn、mr、hive等)一起提供。从源代码安装ambari时,没有堆栈。唯一的解决办法是构建自己的堆栈,这是我擅长做的事情。
我目前正在建立一个ddp堆栈作为一个例子与公众分享。我开始这个项目的反向工程的hdf管理包,其中包括堆栈结构(文件/文件夹)的角色出nifi,Kafka,zookeeper,等等。我已经用自己的服务和组件(nifi、hue、elasticsearch等)定制了自己的栈。
我使用ddp的目标是最终为我想要的组件和服务创建我自己的repos,以及我想要在集群中安装的版本。接下来,我将使用最后一个免费的公共hdp堆栈(hdp3.1.5),将hdp堆栈中的一些hdp组件(如hdfs、yarn、hive)直接复制到ddp堆栈中。

相关问题