Apache波束处理序列单元

Question

driver_id,x,y,event_time,processing_time
1,1,1,100001,20001
1,5,5,100004,20002
1,4,5,100003,20003

driver_id, distance, event_time
1,3,100001
1,1,100003

所以我的问题是：

1. 如何使用Apache beam计算相对于事件晚入的距离？
2. 如何处理位于两个不同窗口中的连续坐标？
3. 还有其他可供选择的流处理框架可以解决我的问题吗？
4. 事件可能在事件时间后两天交付，但我希望在确保它们都交付之前有一个大致的结果。

Answer 1

我建议您花一些时间来研究如何在Windows中处理延迟到达的数据。

您可以创建一个固定窗口，然后允许延迟数据；但是，您还必须定义如何处理临时累加。

根据您的键结构，也许您可以在driver上键，然后提供一个更具体的启发式来确定完整性。