google-cloud-dataflow – 数据流是否支持自定义触发器或更新触发器延迟?

TL:DR;是否可以创建自定义触发器,仅在设置了某个标志时触发?当我们知道正在发生大数据事件时,是否可以使用具有巨大延迟的触发器部署作业,然后在事件结束后将触发器部署到具有正常或无延迟的触发器的更新?

继续于:Remove duplicates across window triggers/firings

这种情况发生最有问题(数百万次重复点火)的情况是我们正在对旧数据进行回填.鉴于我们知道这种情况何时发生,我想知道我们是否可以实现一个自定义触发器,该触发器在设置标志时不会触发.那是可能的吗?或者,我们是否可以使用触发器部署作业,该触发器在回填过程中包含大量延迟,然后在完成时使用正常触发器发出更新?

最佳答案 Dataflow尚不支持基于某些单独元数据的自定义触发器或触发器.但是,您可以使用Update更改处理时间触发器的频率;只需更改plusDelay()构建器函数的值,并正常运行–update.

点赞