使用Google云数据流SDK读取流数据
我正在开发一个物联网应用程序，需要从PubSub主题读取流数据。我想使用Google云数据流SDK读取这些数据。我正在使用Java 1.8
我正在使用谷歌云平台的试用版。当我使用PubSubIO时。Read方法读取流数据时，我在日志文件中发现错误，我的项目没有足够的CPU配额来运行应用程序。
所以我想使用谷歌云数据流SDK读取流数据。
请有人告诉我在哪里可以找到使用Google Cloud Dataflow SDK读取流数据的完整示例。
提前谢谢。
共有1个答案
许多完整的示例可在Cloud Dataflow留档中的完整示例下获得，并从那里链接到Github上的完整示例下。
根据错误消息，您确实没有足够的CPU配额来运行默认的3x 4线程（n1-standard-4）工作线程。Google Cloud试用版的CPU配额是8个CPU。
您可以将作业配置为需要更少的CPU，例如使用更少的工人（例如，numWorkers=1）或不同的机器类型（workerMachineType=n1-standard-1）
-
我们目前正在使用Google的云数据流SDK（1.6.0）在GCP中运行数据流作业，但是，我们正在考虑迁移到Apache Beam SDK（0.1.0）。我们仍将使用数据流服务在GCP中运行我们的作业。有没有人经历过这一转变并提出了建议？这里是否存在任何兼容性问题？GCP是否鼓励这种做法？
-
我无法编译谷歌云数据流SDK。我在执行“mvn安装”时出错：
-
有人能帮我做这个吗？
-
Posthoc将FFMPEG连接到opencv-python二进制文件，用于Google云数据流作业 根据这个问题，可能会拉出一个自定义docker图像，但我找不到任何关于如何使用DataFlow进行处理的文档。 https://issues.apache.org/jira/browse/beam-6706？focusedcommentid=16773376&page=com.atlassian.
-
我对使用谷歌云数据流并行处理视频感兴趣。我的工作同时使用OpenCV和tensorflow。是否可以只在docker实例中运行worker，而不按照以下说明从源安装所有依赖项： https://cloud.google.com/dataflow/pipelines/dependencies-python 我本以为docker容器会有一个标志，它已经位于google容器引擎中。
-
我正在尝试使用DataFlow（Java）将数据从云存储插入到Big Query中。我可以批量上传数据；但是，我想要设置一个流式上传代替。因此，当新对象添加到我的bucket时，它们将被推送到BigQuery。 我已经将PipelineOptions设置为流，并且在GCP控制台UI中显示dataflow管道是流类型的。bucket中的初始文件/对象集被推送到BigQuery。 但是当我向桶中添加新