《同花顺面试》专题

请注意，我比程序员更擅长数据挖掘。我试图运行作者Sandy Ryza的书《Spark的高级分析》中的示例（这些代码示例可以从https://github.com/sryza/aas下载），我遇到了以下问题。当我打开这个项目在Intelij的想法，并试图运行它，我得到错误"异常线程"主"java.lang.NoClassDefFoundError： org/apache/火花/rdd/RDD"有人知

我对alter table有一个问题，它改变了表模式，而不是parquet模式。 例如，我有一个＜code＞PARQUET＜code＞表，其中包含以下列： 现在，我尝试用 使用描述表，我可以看到第2列不再存在； 现在我尝试执行但我收到这样的错误： “data.0.parq”的类型与列column4的表架构不兼容。预期类型:INT64。实际类型:字节数组" 已删除列的值尚存在于具有 5 列而不是 4

我在用spark-submit(2.4.0)提交的spark应用程序中发现了这个异常 用户类引发异常：org.apache.spark.sql.analysisException：为parquet找到了多个源（org.apache.spark.sql.execution.datasources.parquet.parquetFileFormat,org.apache.spark.sql.execu

我是大数据生态系统的新手，有点起步。 我读过几篇关于使用spark流媒体阅读Kafka主题的文章，但我想知道是否可以使用spark作业而不是流媒体阅读Kafka主题？如果是的话，你们能帮我指出一些可以让我开始学习的文章或代码片段吗。 问题的第二部分是以拼花格式向hdfs写信。一旦我读了Kafka的书，我想我会有一个rdd。将此rdd转换为数据帧，然后将数据帧写入拼花文件。这是正确的方法吗。 感谢您

我正在EMR EMR-4.3.0上运行一个spark应用程序，有1个主机和4个节点 它们每一个都有5GB内存和2个核心。 最后Yarn杀死了应用程序主人 错误ApplicationMaster：接收信号15:SIGTERM 1）我是否可以进一步改进num-executors和executor-core的spark-submit选项。

我想在spark中读取一个CSV，将其转换为DataFrame，并使用将其存储在HDFS中 在Apache Spark中将CSV文件加载为DataFrame的正确命令是什么？

自从有人提到Spark-jackson冲突问题以来，我使用mvn版本重建了Spark：使用最新版本-Dincludes=org。科德豪斯。jackson:jackson core asl mvn版本：使用最新版本-Dincludes=org。科德豪斯。jackson：jackson mapper asl 因此，JAR已更新为1.9。但我仍然有错误

然后我跑： 然后我得到： IllegalArgumentException：需求失败：列数不匹配。旧列名（1）：值新列名（5）：startIP,endIP,City,Longitude,Latitude at scala.predef$.require(predef.scala:224)at org.apache.spark.sql.dataset.todf（dataset.scala:376)a

我想用Apache Spark读入具有以下结构的文件。 csv太大了，不能使用熊猫，因为读取这个文件需要很长时间。有什么方法类似于 多谢！

我使用rdd读取csv文件，只从dataframe中获取一列，并使用scala toArray将其转换为数组。 之后，我在sql中使用这个数组来检查这个数组中是否有一个字段值。 我使用Postgresql和jooq 3.11，但无论我怎么努力，我不能呈现sql，因为它需要。 下面的代码是。但是，它不会生成sql。我在用和，以及（）中的相同问题的版本：

我正在使用WebStorm制作React应用程序。 首先，当我使用 JSX 标签属性时，它会自动创建大括号。如何禁用此选项？ 第二，当我们的源代码被修改时，许多IDE向我们显示这个文件被修改了。在VSCode中，它是这样做的： 但WebStorm不是。所以我不知道这个文件是否已经更改。我如何设置？

阅读 https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/feature/Word2Vec.scala 这种实现的文字是谷歌Word2Vec的一个端口 https://code.google.com/archive/p/word2vec/ 这是“向量空间中单词表示的有效估计”

我在使用 Spark 流式处理示例时遇到问题：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/streaming/examples/HdfsWordCount.scala 当我尝试使用 SBT 启动它时 我有这个例外 我确定该目录存在于Hadoop fs上，我甚至在那里复制了一

我正在使用的，并将其调用为 。 的方差非常高，以至于大约1%的对集（用百分位数方法验证）使得集合中的值总数的20%。如果Spark随机使用shuffle进行分区，那么很有可能会有1%的数据落入同一分区，从而导致工作人员之间的负载不平衡。 有没有办法确保“重”元组在分区中正常分布？我实际上将分成两个分区，和，基于） 给出的 阈值，以便分离这组元组，然后重新分区。 但获得几乎相同的运行时间。负载可能已

我有一张小桌子（2k）的记录和一张大桌子（5 mil）的记录。我需要从小表中获取所有数据，只从大表中获取匹配数据，因此我在下面执行了查询