apache-beam
-
DoFn.Setup 和 DoFn.StartBundle 之间有什么区别? 这两个注释之间有什么区别? ,一种访问方式)。 我想做什么 我需要在DoFn实例中初始化一个库,然后为“批处理”或“捆绑包”中的每个元素使用该库。我通常不会用这两个词来分头,但是
-
使用Google pub/sub更新单例HashMap 我有一个用例,我初始化了一个包含一组查找数据(有关物联网设备的物理位置等的信息)的HashMap。此查找数据用作第二个数据集的参考数据,该数据集是 PCollection。此 PCollection 是一个数据流
-
如何将流数据与数据流/光束中的大型历史数据集相结合 我正在调查通过Google Dataflow / Apache Beam处理来自Web用户会话的日志,并且需要将用户进入(流式传输)时的日志与上个月用户会话的历史记录相结合。 我研究了以下方法: 使用30天的固定窗口
标签