从Storm bolt将行插入HBase

Question

我希望能够从分布式（而不是本地）Storm拓扑编写新的条目到HBase。有几个GitHub项目提供HBase映射器或预制的Storm bolts来将元组写入HBase。这些项目提供了在LocalCluster上执行其示例的说明。

我在这两个项目中遇到的问题，以及从bolt直接访问HBase API，是它们都需要在类路径中包含hbase-site.xml文件。使用直接API方法，或许也使用GitHub方法，当您执行HBaseConfiguration.create（）；时，它将尝试从类路径上的条目中查找所需的信息。

如何修改storm bolts的类路径以包含Hbase配置文件？

更新：使用DaneHammer的答案，这就是我如何使它工作

将以下文件复制到您的~/.storm目录中：

null

final Configuration hbaseConfig = HBaseConfiguration.create();
final DataOutputBuffer databufHbaseConfig = new DataOutputBuffer();
hbaseConfig.write(databufHbaseConfig);
final byte[] baHbaseConfigSerialized = databufHbaseConfig.getData();

Configuration hBaseConfiguration = new Configuration();
ByteArrayInputStream bas = new ByteArrayInputStream(baHbaseConfigSerialized);
hBaseConfiguration.readFields(new DataInputStream(bas));
HTable tbl = new HTable(hBaseConfiguration, HBASE_TABLE_NAME);

Scan scan = new Scan();
scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("YOUR_COLUMN"));

scnrTbl = tbl.getScanner(scan);

Result rsltWaveform = scnrWaveformTbl.next();

Answer 1

当您使用“storm jar”命令部署拓扑时，~/.storm文件夹将位于类路径上（请参阅jar命令下的此链接）。如果您将hbase-site.xml文件（或相关的*-site.xml文件）放置在该文件夹中，hbaseConfiguration.create()将在“Storm Jar”期间找到该文件并正确地返回org.apache.hadoop.configuration.configuration。这需要在拓扑中存储和序列化,以便在集群中分发配置。