apache波束全局计数

nszi6y05  于 2021-07-06  发布在  Java
关注(0)|答案(1)|浏览(240)

我试图了解解决以下问题的最佳方法:
作为一个简单的示例场景,我有一个文件描述了一个测试名称以及它的执行是否通过(true/false)。

test-scenario,passed
--------------------
testA,true
testB,false

使用apachebeam,我可以读取、解析文件 PCollection<TestDetails> 然后使用后续的转换写入所有传递到一组文件的测试细节,同样地,对于那些失败的测试也是如此。
在写了上面的文件之后,我最终想生成一些关于的计数:处理的文件记录总数,通过的测试数,失败的测试数,并将这些细节写入单个文件。
我应该用一个全局合并吗?

0vvn1miw

0vvn1miw1#

为此,您可以使用beam度量(请参阅文档)。它提供了计数器,可以用于上面描述的需求,然后可以在管道完成后获取度量。请看一下这个例子。另外,如果更方便的话,beam允许将度量导出到外部接收器。

相关问题