Spark上的Apache Phoenix-无法插入到Phoenix HBase表/需要最佳实践建议

Question

我有一张下面结构的桌子。

start_time,           end_time,                count

00:00:01              00:00:10                 1000

00:00:11              00:00:20                 800

UPSERT INTO trans_count(start_time, end_time, count) SELECT start_time, end_time, count? FROM trans_count WHERE start_time = ? AND end_time = ?

在Apache Storm中，我能够在configure方法中创建一个Phoenix Connection对象，并且能够每10秒使用一次相同的连接来upsert。

在Spark中，我不能创建一个连接对象并为RDD中的每个对象使用相同的对象。spark的输出将是一个JavadStream>，其中start_time、end_time、count都是映射中的键。

我最终为RDD的每个迭代创建一个连接对象，我觉得这不是正确的方法。我读过Phoenix connections是轻量级的，但是为每个RDD创建一个连接对象似乎不是正确的方法。

Answer 1

解决方案：

不是为每个objectin RDD创建连接，而是在RDD中为每个分区创建连接，并将其用于所有对象。