我正在亚马逊的emr上运行一个flink应用程序，一个主程序，一个从程序。
我尝试ssh到主节点，然后访问flinkrestapi，但是无法让emr静态地使用同一主机/端口。
我尝试将此配置添加到emr中，并从当前主节点的私有dns获取主机。实际运行的端口各不相同 yarn-session .
[
{
"Classification": "flink-conf",
"Properties": {
"rest.port": "44477",
"jobmanager.web.port": "44477",
"jobmanager.web.upload.dir": "/home/hadoop"
}
}
]我已经验证了属性也反映在flink-conf.yaml文件中。
以下是启动日志的摘录：
2018-09-06 21:34:33,749 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: env.yarn.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: env.hadoop.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: rest.port, 44477
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: jobmanager.web.port, 44477
Flink JobManager is now running on ip-10-2-3-25.ec2.internal:41161 with leader id 00000000-0000-0000-0000-000000000000.
JobManager Web Interface: http://ip-10-2-3-25.ec2.internal:41161
1条答案
按热度按时间daupos2t1#
我给flink的邮件列表发了邮件，发现这是使用yarn的结果，这是我为emr设置的。yarn忽略flink配置，因为变量是在运行时设置的，可以通过cli命令访问
yarn application -status [appId]，在哪里[appId]是Yarn应用程序的id，可以通过yarn application -list.