我正在使用apachebeam和flinkrunner以及javasdk。似乎将作业部署到flink意味着构建一个80兆字节的胖jar，并上传到flink作业管理器。有没有一种方法可以轻松地部署轻量级sql来运行beamsql？也许已经部署了可以获取和运行特殊查询的作业？
r8xiu3jd1#
如果我理解你的问题，我认为现在不可能。现在beamsdk总是构建一个fatjar来实现管道并包含所有管道依赖项，它将不能接受轻量级的ad-hoc查询。如果您对更具交互性的体验感兴趣，您可以看看为使beam更具交互性而正在进行的工作，例如：sql外壳程序：https://s.apache.org/beam-sql-packaging . 本文描述了一个正在进行的beamsqlshell，它应该允许您在repl环境中本地快速执行小型sql查询，以便您可以交互式地浏览数据，并在提交长时间运行的作业之前设计管道。不过，这并不会改变作业提交给flink（或任何其他跑步者）的方式。因此，在提交长时间运行的作业之后，您可能仍然需要使用常规的作业管理工具来控制它。Python：https://s.apache.org/interactive-beam . 描述将现有运行程序 Package 到交互式 Package 器中的方法。
1条答案
按热度按时间r8xiu3jd1#
如果我理解你的问题，我认为现在不可能。现在beamsdk总是构建一个fatjar来实现管道并包含所有管道依赖项，它将不能接受轻量级的ad-hoc查询。
如果您对更具交互性的体验感兴趣，您可以看看为使beam更具交互性而正在进行的工作，例如：
sql外壳程序：https://s.apache.org/beam-sql-packaging . 本文描述了一个正在进行的beamsqlshell，它应该允许您在repl环境中本地快速执行小型sql查询，以便您可以交互式地浏览数据，并在提交长时间运行的作业之前设计管道。不过，这并不会改变作业提交给flink（或任何其他跑步者）的方式。因此，在提交长时间运行的作业之后，您可能仍然需要使用常规的作业管理工具来控制它。
Python：https://s.apache.org/interactive-beam . 描述将现有运行程序 Package 到交互式 Package 器中的方法。