hadoop安装程序

mwg9r5ms  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(280)

嗨,我有一个hadoop集群,我正在考虑用r编写自己的Map器和还原器,然后使用hadoop流来做一些时间序列分析。
然而,我想知道什么是跨集群安装任何类型软件的“通用”方法。
可能存在一些魔法,比如:

sudo hadoop install R? # Pseudo code

谢谢!

hi3rlvi2

hi3rlvi21#

使用自动化工具(如puppet和chef)跨集群自动化安装过程。
另外,r周围也有一些 Package 器,比如revolution analytics和rhipe的 Package 器,可以更容易地在r中编写mr程序。

vojdkbi0

vojdkbi02#

实际上,我最终使用的是linux,希望它能自动安装。


# !/usr/bin/expect -f

if {[llength $argv] != 1} {
puts "usage: ssh.exp server"
exit 1
}

set server [lrange $argv 0 0]
set timeout 60

spawn ssh -i key.pem ec2-user@$server

expect "*connecting (yes/no)*"
send -- "yes\r"

expect "*~]$*"

send -- "sudo su -c 'rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm'\r"

send -- "nohup sudo su -c 'yum install -y R R-core R-core-devel R-devel' &\r"

expect "*~]$*"
send -- "exit\r"

interact

相关问题