《花旗》专题

我正在尝试使用Kafka-connect来消耗Kafka的消息并将它们写入s3拼花文件。所以我写了一个简单的生产者，它用byte[]生成消息 我的Kafka连接配置是： 这是我得到的错误： 原因：java。lang.IllegalArgumentException:Avro架构必须是记录。在org。阿帕奇。拼花地板阿夫罗。AvroSchemaConverter。转换（AvroSchemaConve

我有一个用例，我必须以FIFO方式处理事件。这些是从机器生成的事件。每台机器每30秒生成一个事件。对于特定的机器，我们需要根据FIFO FASION对事件进行处理。 我们每天需要处理大约2.4亿个事件。对于如此大的规模，我们需要使用Kafka+火花流 从Kafka文档中，我了解到我们可以使用消息的关键字段将消息路由到特定的主题分区。这确保我可以使用机器id作为密钥，并确保来自特定机器的所有消息都进

我正在使用spark 2.4.2读取包含600条记录的csv。最后100条记录有大量数据。我遇到的问题是， 我已经增加了到2g（最大允许设置）和火花驱动程序内存到1g，能够处理更多的记录，但仍然不能处理csv中的所有记录。 我试着翻页600条记录。e、 对于6个分区，我可以在每个分区处理100条记录，但由于最后100条记录太多，因此会发生缓冲区溢出。 在这种情况下，最后100条记录很大，但这可能是

我正在尝试使用Apache Spark，以便将具有多个连接和子选择的（大型）SQL查询的结果加载到来自Spark的DataFrame中，如从SQL查询创建Spark Dataframe中所述。 不幸的是，我这样做的尝试导致了拼花错误： 线程“main”组织中出现异常。阿帕奇。火花sql。AnalysisException：无法推断拼花地板的架构。必须手动指定。 我从谷歌看到的信息表明，当数据帧为空

我有一门课： 它运行得很好，但抛出了一个例外：在我对RDD的映射做了一个小更改之后： 我以为这两个功能应该是一样的，但似乎不是。为什么它们不同？

我的spark任务是在运行时抛出不可序列化的任务。谁能告诉我我做错了什么吗？ 以下是stacktrace：

我需要解析一个日志文件并获取时间和相关的函数调用字符串，该字符串存储在日志文件中，如下所示：{“time”：“2012-09-24t03:08:50”,“message”：“call（）started”} 在其他字符串字符之间会有多个日志时间函数调用，因此我希望使用regex来遍历文件并获取所有这些 我想获取整个记录的信息，包括花括号 我不断得到非法重复错误，请帮助！谢了。

在PySpark中或者至少在Scala中，Apache Spark中是否有与Pandas Melt函数等价的函数？ 到目前为止，我一直在用Python运行一个示例数据集，现在我想对整个数据集使用Spark。

我正在尝试优化我的火花应用工作。 我试图理解这个问题的要点:如何在唯一键上连接数据帧时避免混乱？ > 我已经确保必须发生加入操作的键分布在同一分区中（使用我的自定义分区程序）。 我也不能做广播加入，因为我的数据可能会根据情况变大。 在上面提到的问题的答案中，重新分区只优化了连接，但我需要的是无需切换即可连接。在分区内的键的帮助下，我对连接操作很满意。 有可能吗？如果不存在类似的功能，我想实现像jo

我试图使用以下代码将数据加载到雪花，但得到一个错误。 tmp是从Snowflake下载的，该表使用RStudio：

为什么以及何时会选择将Spark流媒体与Kafka结合使用？ 假设我有一个系统通过Kafka每秒接收数千条消息。我需要对这些消息应用一些实时分析，并将结果存储在数据库中。 我有两个选择： > < li> 创建我自己的worker，该worker从Kafka读取消息，运行分析算法并将结果存储在DB中。在Docker时代，只需使用scale命令就可以轻松地在我的整个集群中扩展这个工作线程。我只需要确保

当我在snowflake中查询外部表（指向CSV文件）时，结果以JSON格式显示。 我如何检索我的结果在表格格式，而不使用任何这样的sql下面。我想做，我希望它以显示格式显示。 有什么想法吗？谢了。

我已经创建了一个示例拓扑来测试设置max spout Expensing属性。这是一个简单的拓扑，有一个喷嘴和一个螺栓。喷口发出100000个元组，而螺栓在睡眠一秒钟后发出嘎嘎声。我已将“最大喷口支出”属性设置为10。我假设这意味着，如果一个喷口的未确认消息计数为10，那么该喷口将不会发出任何元组。但当我运行拓扑时，我可以看到喷口发出2160条消息，然后等待。我的理解是正确的还是遗漏了什么。我使用

我有一个Spark Spark集群，其中主节点也是工作节点。我无法从驱动程序代码节点到达主程序，并得到错误： driver-code节点中的SparkContext配置为: 我可以成功地，但不能成功地。意味着机器可以到达，但端口不能到达。 会有什么问题？我已经为主节点和驱动程序代码运行的节点（客户端）禁用了Ubuntu的防火墙。

我使用Spark2和neo4j3（安装在一个节点上），并使用这个spark/Neo4j https://github.com/neo4j-contrib/neo4j-spark-connector 我可以使用我的数据库。 多谢帮忙。