码头上的flink磁盘已满

z9smfwbn  于 2021-06-21  发布在  Flink
关注(0)|答案(2)|浏览(497)

我在docker中创建了一个非常小的集群(1个作业管理器3个任务管理器)。我有2个工作(一个流和一批是重新启动,当它完成)。
我有58克的自由空间(约30克使用)。当我启动聚合器时,作业管理器开始吃掉磁盘。过了一个小时我的磁盘就满了。但当我检查fs时( du -su /*/ ),它只包含大约30g的文件。
我不明白为什么会这样,数据在哪里。我尝试检查jobmanager容器内部,但没有成功。
你知道吗?

rvpgvaaj

rvpgvaaj1#

你在用docker meta做mac吗?我有一个“磁盘空间满”的问题,我无法建立我的项目了。对我有用的步骤:
1) df-h-->检查主机是否有足够的可用空间
如果是这种情况,请执行以下操作:
1) docker exec-it your container bash-->连接到容器
2) df-h/var/www-->检查磁盘空间
如果没有更多可用空间,请退出容器并执行以下操作:
1) docker rm$(docker ps-aq)-->停止并删除所有容器
2) docker rmi-->删除所有图像
3) ls-lh~/library/containers/com.docker.docker/data/com.docker.driver.amd64-linux/docker.qcow2-->检查此文件大小并将其删除
4) 退出docker并重新打开它
5) 退出终端并重新打开
6) 重新构建

z4iuyo4d

z4iuyo4d2#

我也遇到了同样的问题,似乎是/usr/local/flink-{1-0.3}/log文件夹中超过6gb的.out文件。我不得不删除文件并重新部署作业。

相关问题