如何在flink-sql作业图中可视化操作符执行,如果链接是否在起作用

ddhy6vgd  于 6个月前  发布在  Apache
关注(0)|答案(1)|浏览(66)

我有flink-sql应用程序,只是执行简单的简单插入到丰富的表加入多个表。

create table T1 (...) WITH ( 'connector' = 'upsert-kafka','topic' = 'T1', ...)
    create table T2 (...) WITH ( 'connector' = 'upsert-kafka','topic' = 'T2', ...)
    create table enrich (...) WITH ( 'connector' = 'upsert-kafka','topic' = 'enrich', ...)

CREATE TEMPORARY VIEW distinct_t1 AS
SELECT *
FROM (SELECT *,
ROW_NUMBER() OVER (PARTITION BY id ORDER BY change_date desc) AS rownum
FROM T1)
WHERE rownum = 1;

CREATE TEMPORARY VIEW distinct_t2 AS
SELECT *
FROM (SELECT *,
ROW_NUMBER() OVER (PARTITION BY id ORDER BY change_date desc) AS rownum
FROM T2)
WHERE rownum = 1;

    insert into enrich 
    select ... from distinct_t1 t1 inner join distinct_t2 t2 ... t2.t1_id = t1.id and t2.client_id=t1.client_id

字符串
注意事项:
1.原始主题上的Kafka分区为8,并行度设置为8
1.最大值是默认值(我相信这是128的下限)

  1. TaskSlot=1,共有8个TaskManager处理正在运行

*基于上述配置,我正在可视化我的作业图(包括运行在TM 1上的源、秩、连接和接收操作符,从分区0阅读类似于..我对吗??

  • TM1
  • T1-分区[0] -源操作符[0] ->秩操作符[0] ->连接
  • T2-partition[0] - source_operator[0] -> rank_operator[0] ->. > Sink Operator
  • TM2
  • T1-分区[1] -源操作符[1] ->秩操作符[1] ->连接
  • T2-partition[1] - source_operator[1] -> rank_operator[1] ->. > Sink Operator.
  • TM8
  • T1-分区[7] -源操作符[7] ->秩操作符[7] ->连接
  • T2-partition[7] - source_operator[7] -> rank_operator[7] ->. > Sink Operator
    问题2:如何验证我的操作符是否被链接?或者我必须在环境中设置的任何配置
    问题3:如果这些操作符在我可视化时没有链接,那么我如何验证哪些操作符在哪里运行?
n6lpvg4x

n6lpvg4x1#

如果您可以访问Flink Web UI,这些信息将以易于理解的方式显示在那里。这通常在端口8081的作业管理器上运行。

相关问题