《scala》专题

我想使用Scala/Spark列出hdfs目录中的所有文件夹。在Hadoop中，我可以使用命令:来完成此操作 我用： PS：我也检查了Thread：Spark iterate HDFS目录，但它对我来说不起作用，因为它似乎不在HDFS目录上搜索，而是只在模式为file//的本地文件系统上搜索。

null 这意味着我应该将代理列表（端口)从Scala传递到远程Kafka，因为否则它将尝试使用默认端口。 问题是，根据日志，远程计算机无法识别参数。我还尝试将此参数重命名为、和，但日志中始终出现相同的错误，然后默认使用端口（显然不使用消息）。 在POM文件中，我对Kafka和Spark使用了以下依赖关系： 这是我的Scala代码（如果我使用自己安装在Amazon Cloud中的Kafka，在那里

null 因此，我希望有条件地映射CSV文件的所有行，并将结果导出到另一个CSV文件中，每行的条件如下： > 如果第4列的值不为null，那么该行第4、5、6和7列的值应存储为名为LastValueSof4to7的数组。（在数据集中，如果第4列中的元素不为null，则第1、2和3列为null，可以忽略） 如果第3列的值不为null，那么第1、2和3列的值以及上述lastValuesOf4to7数组

我在scala/Spark-Shell中有4个变量。 我需要把这个喂到蜂巢桌子上，就像这样： 因子系数 我肯定我错过了如何做到这一点的整个想法。 任何帮助都是真诚的感谢。

下面是我使用spark scala JDBC代码连接到oracle的程序： 火花输出：

我得到以下错误：org.apache.spark.sql.analysisException：不允许在另一个聚合函数的参数中使用聚合函数。请在子查询中使用内部聚合函数。；； 我尝试了多种解决方案来解决这个问题，但似乎没有任何效果。所有的想法都得到了赞赏。谢了！

我有两个数组： 我可以在一个数组中创建这两个数组的笛卡尔积，如下所示： 输出将是：

我对Spark和Scala是新手。我们将广告事件日志文件格式化为CSV，然后使用PKZIP进行压缩。我已经看到了许多关于如何使用Java解压缩压缩文件的示例，但是如何使用Scala for Spark来实现这一点呢？我们最终希望从每个传入文件中获取、提取并加载数据到Hbase目标表中。也许这可以用HadooprDD来完成吗？在这之后，我们将引入Spark streaming来监视这些文件。

是否有一种已知的方法使用Hadoop api/spark scala在Hdfs上将文件从一个目录复制到另一个目录？ 我尝试使用copyFromLocalFile，但没有帮助

我得到以下错误： 线程“main”java.lang.IllegalArgumentException：错误的fs：hdfs：/user/o/datasets/data.txt，应为：file：/// 也是如此，因为它们用于在文件系统之间传输文件，而不是在文件系统内传输文件。我还尝试了，但根本没有任何作用（没有错误或任何东西）。

我在集群中有以下代码： csv_file=“/usr/usr1/test.csv” 但是程序不是在挑FI。有人能帮忙吗？

有人能帮我用Spark Scala读API读excel文件吗？我尝试安装（从Maven）与Databricks Runtime 6.5和6.6（Apache Spark 2.4.5,Scala 2.11）集群，但只有在硬编码文件路径的情况下才能工作。

Scala中的以下泛型定义有什么不同： 和 我的直觉告诉我它们大致相同，但后者更明确。我发现了一些情况，前者编译了，而后者没有，但我无法确定确切的差别。 谢谢 编辑： 我能再加入一个吗？