《数据人的面试交流地》专题

我无法编译谷歌云数据流SDK。我在执行“mvn安装”时出错：

我正在尝试创建一个简单的博客平台，同时了解有关DDD和微服务的更多信息，因此我想在此上下文中向您询问两个建议： < li >我在我的项目中假设的一个业务规则是，只有角色为< code > publicis 和< code>Administrator的用户才能创建帖子，但是由< code > publicis 创建的帖子在发布之前必须首先得到< code>Administrator的批准。在我的理解

我试图编写一个spring-cloud-stream函数（spring-starter-parent 2.5.3,java 11,spring-cloud-version 2020.0.3)，该函数同时具有Kafka和Postgres事务。每当使用的消息以字符串“fail”开始时，该函数将引发一个模拟错误，我希望这将导致数据库事务回滚，然后导致kafka事务回滚。（我知道Kafka交易不是XA，这

我有自己的Spring Cloud数据流处理器，里面有Python，我使用这个示例作为指导：https://dataflow.Spring.io/docs/recipes/polyglot/processor/。然后我想缩放并创建其中的三个处理器，因此使用创建了3个Python内部的POD。我稍微修改了示例中的一段代码：当我创建一个Kafka消费者时，我也会传递一个组id，因此消息应该是负载平衡的

我需要使用信任存储在谷歌云数据流中建立SSLKafka连接。我可以从存储桶提供它，还是有没有办法将其存储在“本地文件系统”上？

我有一个简单的流程，目的是在一个BigQuery表中写两行。我使用动态目标，因为之后我将在多个表上写，在那个例子中是同一个表...问题是我的BigQuery表最后只有一行。在第二次插入时，我看到以下错误 "状态：{code： 6 消息："已存在：作业sampleProject et3：b9912b9b05794aec8f4292b2ae493612_eeb0082ade6f4a58a14753d1

我正在从GCP中的Cloud Function触发数据流作业。 嵌入云功能的代码 当执行Cloud函数时，数据流作业确实会被触发，但作业一直失败。当我检查作业日志时，我看到这条错误消息- requirements.txt 如果我在安装apache beam[gcp]后直接从Cloud shell运行它，则嵌入云函数中的python代码运行良好。 请分享您对如何克服丢失模块的数据流错误的意见。 谢谢

我对GCP、Dataflow、Apache Beam、Python和一般的OOP都是新手。我来自函数式javascript领域，对于上下文。 现在，我已经用Apache Beam python sdk构建了一个流管道，并将其部署到GCP的数据流中。管道的源是pubsub订阅，接收器是数据存储。 管道从pubsub订阅中获取消息，根据配置对象+消息内容做出决定，然后根据做出的决定将其放在数据存储中的

我一直在运行基于12月创建的模板的数据流作业，该模板在运行时传递一些参数，没有任何问题。我现在不得不对模板做了一些修改，我似乎在生成一个工作模板时遇到了问题，即使使用和以前一样的beam代码/版本。我的工作只是无限期地挂起-尝试离开一个，大约一个小时后超时。 当然有一个问题，因为即使是我创建空PCollection的第一步也没有成功，它只是说运行。 我已经从函数中抽象出来，以解决问题可能是什么，因

我有一个带有一列字符串值的pandas DataFrame。我需要根据部分字符串匹配来选择行。 类似于这个成语 返回布尔值。我熟悉的语法，但似乎找不到一种方法来处理部分字符串匹配，比如。

我有这个错误： 提前道谢。最诚挚的问候

到maven依赖项 下面是我的pom.xml 我使用以下方式包装所有内容： 但是我怎么能修改我的pom到advoid这样做呢？在我的maven repo中，我可以看到spark-sql-kafka-0-102.11-2.2.0.jar已经下载。那么为什么我需要在spark Submit期间手动添加依赖项呢？我觉得pom.xml中可能有一些错误，即使我使用程序集来构建我的JAR。 希望有人能帮帮我！

问题：假设有一个json对象如下： 现在以上对象在服务端被格式化stream流返回（一个请求，分为多个片段返回），并且每个片段的内容都是不确定的，前端接收到内容后，都需要用JSON.parse解析代码，并渲染到界面上。 假设服务端返回的每个片段可能如下： 从上面可以看出，服务端每个片段返回到可能是总的json中任意片段长度的字符串，前端需要每次都能解析出来，我的理解是每次都自动拼接对应的后续缺失的

像一些大模型的 API,有的提供了流式的 API,允许一个字一个字来吐出数据。前端应该使用这些 API?

我正在尝试为我的Spark流作业编写单元测试。我的spark streaming作业使用来自的消息，并将其推入主题。 我的方法是 null