数据流IO到BigTable[2.9.0]
我发现这个带有数据流的Bigtable示例https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/dataflow-connector-examples/src/main/java/com/google/cloud/bigtable/dataflow/example/HelloWorldWrite.java
然而它使用
谷歌云数据流java 2.4.0
在2.9.0org中。阿帕奇。梁跑步者。数据流。选项。DataflowPipelineOptions不再存在。
是否有从数据流写入BigTable的最新示例？
我发现：https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/io/gcp/bigtable/BigtableIO.html-在正确的轨道上吗？
共有1个答案
我已经使用了您链接到的BigTable连接器示例，按照这里的说明，使用了Dataflow Java SDK 2.9.0，它运行良好。唯一需要的额外步骤是在pom中更改SDK。xml文件（第行）：
替换
数据流作业将启动（您将在std输出中看到dataflowsdk版本：2.9.0）。一旦成功，您可以在HBase外壳中验证是否写入了正确的行：
hbase(main):001:0> scan 'Dataflow_test'
ROW COLUMN+CELL
Hello column=cf:qualifier, timestamp=1548151071821, value=value_21.60451762361535
World column=cf:qualifier, timestamp=1548151064955, value=value_21.60451762361535
2 row(s) in 1.4230 seconds
-
InputStream类和OutputStream类在读写文件时操作的都是字节，如果希望在程序中操作字符，使用这两个类就不太方便，为此JDK提供了字符流。同字节流一样，字符流也有两个抽象的顶级父类，分别是Reader和Writer。其中Reader是字符输入流，用于从某个源设备读取字符，Writer是字符输出流，用于向某个目标设备写入字符。Reader和Writer作为字符流的顶级父类，也有许多子
-
typora-copy-images-to: img 1. 流的概念 流(stream)的概念源于UNIX中管道(pipe)的概念。在UNIX中，管道是一条不间断的字节流，用来实现程序或进程间的通信，或读写外围设备、外部文件等。 一个流，必有源端和目的端，它们可以是计算机内存的某些区域，也可以是磁盘文件，甚至可以是Internet上的某个URL。 流的方向是重要的，根据流的方向，流可分为两类：输入
-
1.1 概述 数据流是操作基本数据类型的流，分为数据输入流，数据输出流。 1.2 数据输入流 1、DataOutputStream：数据输出流允许应用程序以适当方式将基本 Java 数据类型写入输出流中。然后，应用程序可以使用数据输入流将数据读入。 2、构造方法 DataOutputStream(OutputStream out) ：创建一个新的数据输出流，将数据写入指定基础输出流。 1.3 数据
-
我正在使用sdk version并尝试使用运行器将数据拉至bigtable。不幸的是，当我使用作为我的接收器时，我在执行我的数据流管道时得到了。已经检查了我的并且参数很好，根据我的需要。 基本上，我创建并在我的管道的某个点上完成了编写 ，但我甚至无法设置断点来调试正好是null的地方。对于如何解决这个问题，有什么建议吗？ 谢谢。
-
Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google 的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用
-
typora-copy-images-to: img 1. File类概述 File类用于封装一个路径，这个路径可以是从系统盘符开始的绝对路径，如：“D:\file\a.txt”，也可以是相对于当前目录而言的相对路径，如：“src\Hello.java”。File类内部封装的路径可以指向一个文件，也可以指向一个目录，在File类中提供了针对这些文件或目录的一些常规操作。 文件和目录路径名的抽象表示