在aws emr上重新启动配置单元服务

wtzytmuj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(5)|浏览(421)

我对Hive也很陌生。根据我的要求,我需要在集群外创建配置单元元存储(从aws emr到aws rds)。我遵循了在
http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-dev-create-metastore-outside.html
我在hive-site.xml中进行了更改,并能够将hive metastore设置到amazonrds-mysql服务器。为了使更改生效,目前我正在重新启动整个集群,以便配置单元开始将metastore存储到awsrds。这样就行了。
但是我想避免重新启动集群,有什么方法可以重新启动服务吗?

zrfyljdw

zrfyljdw1#

您不必重新启动整个集群。在启动集群时,可以指定一个hive-site.xml文件,其中包含rds的详细信息。如果不遵循此选项并在启动集群后手动进行更改,则不需要重新启动整个集群。只需单独重新启动配置单元元存储服务。配置单元元存储仅在主节点中运行
您可以通过多种方式启动集群。
1) aws控制台2)使用api(java、python等)3)使用aws cli
您可以将hive-site.xml保存在s3中,并在启动集群时作为引导步骤执行此活动。awsapi提供了从s3指定自定义hive-site.xml的特性,而不是默认创建的特性。
如果您仅从主计算机使用配置单元,则不必在所有计算机中进行更改。
下面给出了在使用aws cli启动emr时指定hive-site.xml的示例

aws emr create-cluster --name "Test cluster" --ami-version 3.3 --applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m3.xlarge --instance-count 3 \
--bootstrap-actions Name="Install Hive Site Configuration",Path="s3://elasticmapreduce/libs/hive/hive-script",\
Args=["--base-path","s3://elasticmapreduce/libs/hive","--install-hive-site","--hive-site=s3://mybucket/hive-site.xml","--hive-versions","latest"]
gk7wooem

gk7wooem2#

在emr 5.x上,我发现这是可行的:
hive --service metastore --stop hive --service metastore --start

hxzsmxv2

hxzsmxv23#

对我来说,这种方法奏效了:
获取pid
终止进程
进程自行重新启动
用于1和2的命令:

ps aux | grep MetaStore
sudo -u hive kill <pid from above>

如果你不熟悉这里 ps 您可以使用以下命令来显示 PID 只有一行hive metastore命令:

ps aux | egrep "MetaStore|PID" | grep -v grep

配置单元服务器自行重新启动。通过再次验证 ps Pig会变的。

ps aux | grep MetaStore
idfiyjo8

idfiyjo84#

只为那些来自谷歌的人
重新启动任何电子病历服务
要在emr中重新启动服务,请执行以下操作:
通过运行以下命令查找服务的名称:
初始化控制列表
例如,yarn资源管理器服务被命名为“hadoop yarn resourcemanager”。
通过运行以下命令停止服务:
sudo stop hadoopYarn资源管理器
等待几秒钟,然后运行以下命令启动服务:
sudo启动hadoopYarn资源管理器
注:需要停止/启动;不要使用重新启动命令。
通过运行以下命令验证进程是否正在运行:
sudo状态hadoopYarn资源管理器
使用ps检查进程,然后在日志目录/var/log/中检查日志文件是否有任何错误。
资料来源:https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

5q4ezhmt

5q4ezhmt5#

sudo stop hive-metastore
 sudo start hive-metastore

相关问题