《烽火通信》专题

我的spark程序在小数据集上运行良好。（大约400GB）但是当我将其扩展到大型数据集时。我开始得到错误

我正在使用Apache Spark的示例代码follow文档：https://spark.apache.org/docs/latest/ml-features.html#countvectorizer 但我收到错误消息： 22年10月15日23:04:20信息BlockManagerMaster：使用703.6 MB RAM注册block manager localhost:56882，Block

我想过滤掉具有“c2”列前3个字符的记录，无论是“MSL”还是“HCP”。 所以输出应该如下所示。 有谁能帮忙吗？ 我知道df。过滤器（$c2.rlike（“MSL”））--用于选择记录，但如何排除记录？ 版本：Spark 1.6.2 Scala:2.10

（当我在打字的时候，我想试试阴影，我现在就做）谢谢

我使用以下方法将csv文件读入Spark： df=spark.read.format(file_type).options(header='true'，quote='\"'，ignoreleadingwhitespace='true'，inferschema='true').load(file_location) 这是正常行为还是读错了？ 更新：我将标记问题作为回答，因为下面的提示是有用的。然而，

我使用spark-core 2.0.1版和Scala2.11。我有一个简单的代码来读取一个包含\escapes的csv文件。 null 有人面临同样的问题吗？我是不是漏掉了什么？ 谢谢

我是Firebase的菜鸟。我要求一种设置电子邮件验证的分步指南。 目前，我的应用程序使用基本电子邮件密码登录。我希望对用户进行验证，以便根据用户的电子邮件验证属性隐藏内容。我正在调用.sendEmailVerification（），它会发送到当前用户的电子邮件，但是，每当我单击电子邮件中的链接时，它都说该链接已过期或有人已使用它，这也不会更改属性。我怀疑这与api管理器有关。我目前已将我的网站托

我想通过分区迭代一个dataframe，对于每个分区，迭代它的所有行，并创建一个deleteList，它将包含HBase的每一行的delete对象。我将Spark和HBase与Java一起使用，并使用以下代码创建了一个行对象： 但它无法工作，因为我无法正确访问行的值。而df有一个名为“hbase_key”的列。

我正在创建一个网络应用程序，我想实现Firebase身份验证，并帮助用户使用谷歌，脸书或推特登录。 用户在我的网站上使用Firebase登录，我在Javascript中收到登录信息。 根据Firebase留档，我没有传递JS中接收到的UID，而是将令牌ID发送到后端服务器，以便它可以验证源并检索用户ID。 我使用PHP-JWT来检查和验证Firebase返回的令牌。但是，标题中的< code>Ke

我通过指定分区的数量从文本文件创建RDD（Spark 1.6）。但它给我的分区数与指定的分区数不同。 案例1 案例2 案例3 案例4 文件/home/pvikash/data/test的内容。txt是： 这是一个测试文件。将用于rdd分区 基于以上案例，我有几个问题。 对于案例2，显式指定的分区数为0，但实际分区数为1（即使默认最小分区为2），为什么实际分区数为1？ 对于案例3，为什么在指定数量的

我要加入两个rdd。 示例文件1数据: 示例文件2数据： 下面是代码： o/p是k，(v)，我想在做进一步处理时去掉值两边的括号。我尝试了一些事情，包括 我还保存了结果： 不幸的是，结果总是以下格式： 我希望他们：

它没有任何错误，我得到以下错误时，我运行火花提交，任何帮助都非常感谢。谢谢你抽出时间。 线程“main”java.lang.noClassDeffounderror：org/apache/spark/streaming/kafka/kafkautils在kafkasparkstreaming.sparkstreamingtest(kafkasparkstreaming.java:40)在kafka

如果我想重新分区一个数据帧，如何决定需要做的分区数量？如何决定是使用重新分区还是合并？我知道合并基本上只是为了减少分区的数量。但是我们如何决定在什么情况下使用哪个呢？

我试图使用Firebase动态链接在应用程序中打开屏幕，如下所示： 有办法避免这种情况吗？我可以同步提取深度链接吗？当我已经安装时，我确实看到了intent.data参数，但是在新安装后，数据为null，并且只有firebase回调工作。如果意图有空额外项，它如何工作？有网络检查什么的吗？ 谢谢

我有一个spark工作，处理大量数据并将结果写入S3。在处理过程中，我可能有超过5000个分区。在写入S3之前，我想减少分区的数量，因为每个分区都是作为一个文件写入的。 在其他一些情况下，处理过程中可能只有50个分区。如果我想合并而不是因为性能原因重新分区，会发生什么。 从文档来看，它说只有当输出分区的数量少于输入时才应该使用coalesce，但是如果不是，它似乎不会导致错误吗？它会导致数据不正确