我加入了一个将使用cloudera cdh和hadoop等的类。该类的当前设置涉及使用带有virtualbox的虚拟机。我只是想知道是否有一个更快，更有效的执行程序，我可以使用。这个程序可以安装在我的本地环境中吗？（我使用的是2017年macbook pro和os high sierra）
wooyq4lh1#
您可以在macos中以所谓的伪分布式模式安装hadoop、spark、hive、pig。它安装在本地机器上，其中“集群”的每个节点都是一个java虚拟机。起点是hadoop安装，您可以按照以下教程进行操作：https://www.quickprogrammingtips.com/big-data/how-to-install-hadoop-on-mac-os-x-el-capitan.html有很多关于在macos中安装hadoop生态系统其他部分的教程，至少对elcapitan来说是这样(在high sierra上跟踪他们时，我没有遇到任何问题。您在cloudera、mapr或其他沙盒中的hadoop体验完全不同。非常光滑。运行hue并从那里开始编码：有impala（还不适用于macos）、hive、sqoop、pig editor和许多其他服务正在为您设置hdfs。一切都准备好被利用了。您只需从cloudera管理器启动所有服务，然后在vm中打开firefox浏览器，就可以开始分析数据了。在学习方面，我认为这是你在这个阶段可能关心的，这是最有效的方法。安装cloudera快速入门更有效的方法是使用docker。首先下载mac社区版：https://store.docker.com/editions/community/docker-ce-desktop-mac然后从终端类型：
docker pull cloudera/quickstart
并遵循以下安装步骤：https://store.docker.com/community/images/cloudera/quickstart您将看到它比vm运行得更高效、更稳定。云服务带来了计算效率。您可以使用aws、azure、gcp或其他云提供商，并在第二阶段试验hadoop的真正威力。有许多提供免费试验云服务，但他们是有限的时间或免费学分（以美元计）你可以花。所以我建议在掌握了最重要的技能之后再去那里。
qfe3c7zg2#
这个程序可以安装在我的本地环境中吗？是的，hadoop可以安装在你的mac上。不，cdh没有macos的dmg。这和运行cdh一样吗？不，没有cloudera manager、hue、hive、hbase、sqoop、pig、spark等。每个额外的工具都需要单独安装。“更快、更高效”的替代方案是使用mac外部的专用cdh集群。
2条答案
按热度按时间wooyq4lh1#
您可以在macos中以所谓的伪分布式模式安装hadoop、spark、hive、pig。它安装在本地机器上，其中“集群”的每个节点都是一个java虚拟机。起点是hadoop安装，您可以按照以下教程进行操作：
https://www.quickprogrammingtips.com/big-data/how-to-install-hadoop-on-mac-os-x-el-capitan.html
有很多关于在macos中安装hadoop生态系统其他部分的教程，至少对elcapitan来说是这样(在high sierra上跟踪他们时，我没有遇到任何问题。
您在cloudera、mapr或其他沙盒中的hadoop体验完全不同。非常光滑。运行hue并从那里开始编码：有impala（还不适用于macos）、hive、sqoop、pig editor和许多其他服务正在为您设置hdfs。一切都准备好被利用了。您只需从cloudera管理器启动所有服务，然后在vm中打开firefox浏览器，就可以开始分析数据了。在学习方面，我认为这是你在这个阶段可能关心的，这是最有效的方法。
安装cloudera快速入门更有效的方法是使用docker。首先下载mac社区版：
https://store.docker.com/editions/community/docker-ce-desktop-mac
然后从终端类型：
并遵循以下安装步骤：
https://store.docker.com/community/images/cloudera/quickstart
您将看到它比vm运行得更高效、更稳定。
云服务带来了计算效率。您可以使用aws、azure、gcp或其他云提供商，并在第二阶段试验hadoop的真正威力。有许多提供免费试验云服务，但他们是有限的时间或免费学分（以美元计）你可以花。所以我建议在掌握了最重要的技能之后再去那里。
qfe3c7zg2#
这个程序可以安装在我的本地环境中吗？
是的，hadoop可以安装在你的mac上。不，cdh没有macos的dmg。
这和运行cdh一样吗？不，没有cloudera manager、hue、hive、hbase、sqoop、pig、spark等。
每个额外的工具都需要单独安装。
“更快、更高效”的替代方案是使用mac外部的专用cdh集群。