当presto worker关闭时查询超时

x33g5p2x  于 2021-06-10  发布在  Cassandra
关注(0)|答案(1)|浏览(279)

我有一个8节点的基础设施,其中我有一个协调员和7个工人。我的后台系统在Cassandra。我通过普雷斯托询问Cassandra。
我早上有很多报告。但是,我每天主要看到的是,我的许多报告由于任何节点超时而失败。
当我进入日志并进行检查时,有时我的工作人员会脱离网络,而协调器无法与他们连接。整个查询失败。
当worker有时不可用时,是否有任何方法可以恢复相同的查询。它要么可以等待,要么可以将特定任务转移给其他工作人员?有没有办法从这种情况中恢复过来?
请帮忙。

aoyhnmkz

aoyhnmkz1#

普雷斯托遵循“快速失败”的思想。它的设计是为了确保速度交易的检查点。好像现在,没有办法在工人之间转移工作,也没有办法“恢复”查询。
选择:
如果您可以控制工作节点的离开,那么可以在所有正在运行的任务完成后实现正常关闭并将节点离开,同时停止调度更多的任务。
您可以基于异常类型在顶部实现重试。
相关指针:
https://www.qubole.com/blog/spot-nodes-in-presto-on-qubole/
列表项优雅关闭:presto worker优雅关闭

相关问题