我正在研究Flink1.9.1的docker/k8s部署可能性。
我看完了[1][2][3][4]。
目前，我们确实认为我们将尝试采用工作集群的方法，尽管我们想知道这是什么样的社区趋势？我们不希望每个flink集群部署多个作业。
总之，我想知道一些事情：
如何更改作业和会话群集的每个任务管理器的任务槽数？在我的例子中，我在virtualbox上运行docker，我有4个CPU分配给这台机器。但是，每个任务管理器只为作业集群生成一个任务槽。但是，对于会话集群，在同一台计算机上，每个任务管理器都派生出4个任务槽。
在这两种情况下，flink的ui显示每个任务管理器都有4个cpu。
如果使用作业群集，如何重新提交作业。我指的是这个用例[5]。你可能会说我必须重新开始工作，但有不同的论点。这是什么程序？顺便说一句，我在用检查站。
我应该杀死所有的任务管理器容器并用不同的参数重新运行它们吗？
如何使用会话群集重新提交作业？
如何为作业/会话群集提供日志配置？我有一个例子，我在log4j.properties中更改了日志级别和日志格式，这在本地（ide）环境中运行良好。然而，当我构建fatjar并基于这个jar运行一个作业集群时，我发现我的log4j属性没有传递给集群。我看到了原始格式和原始（信息）级别。
谢谢，
[1] https://youtu.be/w721ni-mtaa
[2] https://youtu.be/wehutrwicsw
[3] https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html
[4] https://github.com/apache/flink/blob/release-1.9/flink-container/docker/readme.md
[5] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/flink-job-claster-scalability-td32027.html
1条答案
按热度按时间hpcdzsge1#
目前，我们确实认为我们将尝试采用工作集群的方法，尽管我们想知道这是什么样的社区趋势？我们不希望每个flink集群部署多个作业。
这个问题可能更适合用户邮件列表。
如何更改作业和会话群集的每个任务管理器的任务槽数？
您可以通过配置选项taskmanager.numberoftaskslots来控制
如何使用会话群集重新提交作业？
这在这里描述。底线是创建一个保存点并从中恢复作业。也可以从保留的检查点恢复作业。
如果使用作业群集，如何重新提交作业。
从概念上讲，这与从会话群集中的保存点恢复作业没有什么不同。可以将保存点的路径指定为集群入口点的命令行参数。这里详细介绍。
如何为作业/会话群集提供日志配置？
如果您使用
bin/用于启动集群的flink二进制发行版的目录（例如。，bin/start-cluster.sh,bin/jobmanager.sh,bin/taskmanager.sh等等），您可以通过调整conf/log4j.properties. 日志配置作为系统变量传递给jobmanager和taskmanager jvms（请参阅bin/flink-daemon.sh). 另请参阅flink文档中的“如何使用日志”一章。