发布/发送csv数据到数据流到BigQuery
我的管道是IoTCore->pub/sub->Dataflow->bigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转向csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。是否有一种简单的方法通过数据流将csv数据从pub/sub转移到bigquery。模板可能会改变，但它是用Java实现的，我从来没有用过，所以需要很长时间来实现。我还考虑过在python中实现一个完整的自定义模板，但这将花费太长时间。下面是Google提供的模板链接：https://github.com/googlecloudplatform/dataflowtemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/pubsubtobigquery.java
示例：目前我的pub/sub消息是JSON，这些消息可以正常工作
"{"Id":"123","Temperature":"50","Charge":"90"}"
但我需要将其更改为逗号分隔的值
"123,50,90"
共有1个答案
很简单：什么都不做！！如果您查看这一行，可以看到所使用的消息类型是PubSub消息JSON，而不是JSON中的内容。
因此，为了防止任何问题（查询和插入），在另一个表中写入，它应该能很好地工作！
-
问题内容： 是否可以将数据发布到JsonP？还是所有数据都必须作为GET请求传递到查询字符串中？ 我有很多数据需要跨域发送到服务，并且太大，无法通过查询字符串发送 解决这个问题有哪些选择？ 问题答案： 由于同一个原始策略的（相当明智的）限制，因此无法与另一个域上的服务进行异步。JSON- P之所以起作用，是因为允许您将标签插入DOM，并且它们可以指向任何地方。 当然，您可以使用常规形式的POST来
-
问题内容： 这是javascript： 这是PHP： 这里的问题是价值。当console.log（）用于返回值时，为什么$ _POST [‘email’]为null 。有人可以帮忙吗？我认为这个问题在后面。（不确定） 请不要jQuery 。我知道如何在jQuery中执行此操作，但我想学习如何在javascript中执行此操作。是的，谢谢 问题答案： 你的问题是，与请求为发送不。删除设置内容类型的行
-
本文向大家介绍Java将CSV的数据发送到kafka的示例，包括了Java将CSV的数据发送到kafka的示例的使用技巧和注意事项，需要的朋友参考一下 为什么将CSV的数据发到kafka flink做流式计算时，选用kafka消息作为数据源是常用手段，因此在学习和开发flink过程中，也会将数据集文件中的记录发送到kafka，来模拟不间断数据； 整个流程如下： 您可能会觉得这样做多此一举：flin
-
问题内容： 我有这个小点击计数器。我想将每次单击都包含在mysql表中。有人可以帮忙吗？ 万一有人想看看我做了什么： 这是phpfile.php，出于测试目的，将数据写入txt文件 问题答案： 您的问题中定义的JavaScript不能直接与MySql一起使用。这是因为它不在同一台计算机上运行。 JavaScript在客户端（在浏览器中）运行，并且数据库通常在服务器端存在。您可能需要使用中间服务器端
-
我有一个简单的形式，我想转换成一个PHP后端系统。 现在，此表单有一个提交到URL的操作—URL仅在提交了名为的数据以及正确的信息（已编码的xml）时才接受邀请。 作品：-请注意，输入名称被称为和值包含的已经和它完美的工作。 但是，我希望通过在PHP中移动元素来实现以下目标，因为大量信息都是通过这种方式传递的。 请注意：链接是https，但它在本地不起作用，所以我不得不在CURL中禁用它。 我一直
-
嘿， 我无法通过querystring将数据发布到action方法，action方法位于我的代码下面的控制器类中。 我键入一个url“http://localhost:53459/api/esb/post/test“发布价值，什么都不会发生 任何帮助都将不胜感激。