谷歌云数据流实例的图像
当我运行Dataflow作业时，它会将我的小程序包（setup.py或requirements.txt）上传到Dataflow实例上运行。
但是数据流实例上实际运行的是什么？我最近收到了一个stacktrace：
File "/usr/lib/python2.7/httplib.py", line 1073, in _send_request
self.endheaders(body)
File "/usr/lib/python2.7/httplib.py", line 1035, in endheaders
self._send_output(message_body)
File "/usr/lib/python2.7/httplib.py", line 877, in _send_output
msg += message_body
TypeError: must be str, not unicode
[while running 'write to datastore/Convert to Mutation']
但从理论上讲，如果我在做str=unicode，这意味着我可能没有运行这个Python补丁？你能指出这些作业正在运行的docker图像吗，这样我就可以知道我使用的是哪一版本的Python，并确保我没有在这里找错方向吗？
云控制台向我展示了实例模板，它似乎指向dataflow-dataflow-owned-resource-20170308-rc02，但我似乎没有查看它的权限。它的来源是在线的吗？
共有1个答案
-
我正在尝试使用谷歌云数据流将谷歌PubSub消息写入谷歌云存储。PubSub消息采用json格式，我要执行的唯一操作是从json到parquet文件的转换。
-
我正在使用dataflow处理存储在GCS中的文件，并写入Bigquery表。以下是我的要求： 输入文件包含events记录，每个记录属于一个EventType； 需要按EventType对记录进行分区； 对于每个eventType输出/写入记录到相应的Bigquery表，每个eventType一个表。 每个批处理输入文件中的事件各不相同； 我正在考虑应用诸如“GroupByKey”和“Parti
-
我需要使用信任存储在谷歌云数据流中建立SSLKafka连接。我可以从存储桶提供它，还是有没有办法将其存储在“本地文件系统”上？
-
我正在评估Kafka/Spark/HDFS开发NRT（sub-sec）java应用程序的能力，该应用程序从外部网关接收数据，并将其发布到桌面/移动客户端（消费者），用于各种主题。同时，数据将通过流式处理和批处理（持久性）管道传输，用于分析和ML。 例如，流将是。。。 独立的TCP客户端从外部TCP服务器读取流数据 客户端根据数据包（Kafka）发布不同主题的数据，并将其传递给流管道进行分析（Spa
-
我需要从压缩的GCS文件中解析json数据，因为文件扩展名是。gz，所以它应该由dataflow正确地重新组织和处理，但是作业日志打印出不可读的字符和未处理的数据。当我处理未压缩的数据时，它工作得很好。我使用以下方法映射/解析JSON： 你知道原因是什么吗？ 运行时的配置： 输入文件名示例:file.gz，命令gsutil ls-l gs：//bucket/input/file.gz grep c
-
storage和colab之间的链接如下所示：