《scala》专题
-
ApacheFlink导入scala api流扩展
我正在尝试为ApacheFlink导入ScalaAPI流扩展，如中所述https://ci.apache.org/projects/flink/flink-docs-master/apis/scala_api_extensions.html 但是，我的ScalaIDE抱怨以下消息：对象扩展不是包的成员org.apache.flink.streaming.api.scala 我使用的是scala 2
-
Flink Scala API“参数不足”
我在使用Apache Flink Scala API时遇到问题 例如，即使我从官方文档中获取示例，scala编译器也会给我大量的编译错误。 代码： Scala IDE为行 这不仅仅是方法：即使我从文件中读取数据，然后尝试做一些像
-
登录模块控制标志在JAAS配置-Scala Kafka中不可用
尝试在连接到Kafka时使用kerberos身份验证时遇到问题。使用scala和my看起来像这样。
-
SparkSQL的SQLContext.scala中的Scala: (_)
＜code＞Spark＜/code＞版本为1.3.0。 来自< code > sqlcontext . Scala (https://github . com/Apache/spark/blob/master/SQL/core/src/main/Scala/org/Apache/spark/SQL/sqlcontext . Scala)的源代码: 我真的不能理解上面的代码。 是如何工作的？ （_）
-
从火花中读取结构在 scala 中
我正在运行以下scala代码： 我知道firstStruct是structType，StructFields的一个名称是“name”，但在尝试强制转换时似乎失败了。我被告知spark/hive结构与scala不同，但为了使用structType，我需要 所以我想他们应该是同一种类型的。 我看了看这里：https://github.com/apache/spark/blob/master/sql/c
-
Spark Scala DataFrame单行转换为JSON用于PostrgeSQL插入
使用名为< code>lastTail的数据帧，我可以这样迭代: 这将输出“类似”的内容（带编校）： 和（只有一个迭代项-经过了编辑，但希望有足够好的语法） 注意：我在 https://github.com/koeninger/kafka-exactly-once/blob/master/src/main/scala/example/TransactionalPerPartition.scala
-
scala中的ListNode实现
嗨，我是Scala的新手，想知道如何将一个简单的ListNode类从Java改写成Scala。 在java中，它如下所示，我可以创建一个head node head=new ListNode(0)，然后设置head.next=new ListNode(1) 但是我发现在Scala中很难重写相同的逻辑，下面是ListNode的case类 当我试图实例化一个head节点，并实例化另一个新节点并设置he
-
Scala Play 2.2 Slick 1.0.1-未来{尝试{…}}等待免费可用连接超时
我有一个scala.html页面，它在Play 2.2.1、Scala 2.10.2、Slick 1.0.1、Postgres 9.3应用程序中调用AJAX。 以下同步代码工作正常。它解析请求查询字符串并调用方法 ，该方法对表进行 scala 光滑调用，并根据 对象过滤结果并返回 如果我将方法改为异步运行(见下文)，并多次调用listSchools，那么大约20秒后就会抛出这个异常。我怀疑这可能是
-
spark cluster scala中保存随机森林模型时的错误
在将随机林模型保存到磁盘时，我得到了以下。spark集群配置-spark-package-模式-独立 我运行spark的方法是在每台从机中复制相同的数据
-
如何在 Spark scala 中的倾斜列上对数据帧进行重新分区？
我有一个数据帧，它有500个分区，并且被洗牌。我想根据“城市”一栏重新划分，但城市一栏非常歪斜，因为它只有三个可能的值。所以当我重新分区 基于列城市，即使我指定了500个分区，也只有三个分区在获取数据。因此，我遇到了性能问题。我在网上搜索，但找不到任何合适的解决方案。是否有一种方法可以跨基于city列的分区均匀地重新划分数据帧。我需要的是：city1表示前5个分区，city2表示后490个分区，
-
将包含n个scala类对象的火花RDD插入cassandra db
假设我有一个scala类的五个对象，我需要用五个对象构建一个spark RDD，并将该RDD推到cassandra表中，我的cassandr表“person”有三个字段（pId、pName、pAge）和 我如何形成这三个对象的rdd？下面的行可能吗？ 如果可以制作RDD..如何将该RDD推送到Cassandra表以在该表“person”中插入三行
-
scala中连接数据帧和替换列值
我正在尝试连接两个apache spark sql DataFrame，并将第一个数据帧的列值替换为另一个。如： 我需要执行左连接并将 DF1.col1 的值替换为 DF2.col3，其中 DF1.col1 = DF2.col1。我不知道该怎么做。此外，如上例所示，DF1 除了“col1”和“col2”之外还有更多列，我无法对所有列都应用 select。我正在尝试类似的东西， 但这似乎行不通。另外
-
做盐渍技术后的DataSkew-Spark和Scala
我想问一下我在火花工作中遇到的数据偏斜问题。我知道如果你有数据偏差，最佳实践技巧之一是做盐渍技术。在我的 Spark 作业中，我必须在两个数据帧之间执行联接（其中一个数据帧的大小约为 5 GB）。 此外，我通常用一个数字和我用来连接的字段重新分区，以便在连接之前尽可能多地控制分区。因此，我使用shuffle将连接转换为具有窄依赖关系的映射连接。 场景是： 我有24个执行器，每个执行器有4个核心 我
-
如何比较两个scala不同的数据帧和打印列
这里有两个数据帧： 预期数据帧： 以及实际数据帧： 现在两个数据帧之间的区别是： 我们使用的是except函数df1.except（df2），但问题是，它返回的是不同的整行。我们希望看到该行中哪些列不同（在本例中，“romin”和“romino”与“emp_name”不同）。我们在这方面遇到了巨大的困难，任何帮助都会很好。
-
如何将Scala集合Seq[(Int，Seq[String])]转换为Java集合列表[(Int，List[String])]？
我知道scala.collection包中有两个极其有用的对象，可以帮助我们实现这个目标: JavaConverters（如果我想明确地说出我想要转换的内容） JavaConversions（如果我不想共同控制转换，让编译器为我做隐式工作） 但是在我的案例中应用它们有一些困难，因为我的数据结构比我在许多示例中看到的其他数据结构要复杂一点。 我在scala代码中，我希望我的scala函数返回一个Ja