《同花顺》专题

关于雪花的新功能--推断模式表函数，我有一个问题。INFER模式函数在parquet文件上执行得很好，并返回正确的数据类型。但是，当parquet文件被分区并存储在S3中时，INFER模式的功能与pyspark Dataframes不同。 在DataFrames中，分区文件夹名称和值作为最后一列读取；在雪花推断模式中有没有一种方法可以达到同样的结果？ 示例： 示例：{“AGMT_GID”：1714

问题内容： 我正在看书，有一些带有花括号的程序示例 例如 问题答案： 这是一个代码块。在其中声明的变量在上部代码块（这些curl之外的方法体）中不可见，即它们的作用域更加有限。

我是新来的火花...在阅读基本原理时，一些基本的东西我不清楚：

我在我们的项目中使用了HDFS上的Apache spark和MapR。我们正面临着运行火花工作的问题，因为它在数据小幅增加后失败了。我们正在从csv文件中读取数据，做一些转换，聚合，然后存储在HBASE中。 请建议，如果上面的配置看起来很好，因为am geting的错误看起来像是要离开内存。

如果spark streaming在10秒的批处理间隔中获得50行消息，并且在40.5行消息之后，这10秒就结束了，剩下的时间落入另一个10秒的间隔中，前40.5行的文本是一个RDD被首先处理，在我的用例中，前40行是有意义的，但是下一个。5行没有意义，第二个RDD首先也是这样。5行，我的问题是否有效？。请提供建议如何处理这个问题？。 谢谢比尔。

我通过连接到一个有500'000'000行和14列的数据库。 下面是使用的代码： 上面的代码花了9秒来显示DB的前20行。 后来，我创建了一个SQL临时视图 上面的代码用了1355.79秒（大约23分钟）。这样可以吗？这似乎是一个大量的时间。 最后，我尝试计算数据库的行数 用了2848.95秒（约48分钟）。 是我做错了什么，还是这些数额是标准的？

我试图在我的网格上创建一个贴花使用three.js和反应-三纤维。我相信我正确地设置了网格和材料，但由于某种原因，贴花没有出现在画布上。 这是包含模型、背板和贴花的父组件。 这是我从. glb文件创建t恤网格的组件的一部分。网格传递回父节点，然后传递到Decal组件。 以下是我尝试设置贴花网格的方式： 我没有得到任何错误，贴花只是没有出现。我希望有人有一些见解。没有太多关于贴花几何体与3J在那里，

我是新的火花，请帮助我这一点。

正在尝试读取avro文件。 无法将运行到Avro架构的数据转换为Spark SQL StructType:[“null”，“string”] 尝试手动创建架构，但现在遇到以下情况： 通用域名格式。databricks。火花阿夫罗。SchemaConverters$CompatibleSchemaException:无法将Avro架构转换为catalyst类型，因为路径处的架构不兼容（avroTyp

我正在一个playscala应用程序中从1.6升级到spark 2.0，不太确定如何设置我想要的jar文件。以前会定义一个SparkConf，我可以调用的方法之一是setJars，它允许我指定我想要的所有jar文件。现在我正在使用SparkSession构建器构建我的spark conf和spark上下文，我没有看到任何类似的方法来指定jar文件？我该怎么做？ 这是我之前如何创建我的火花会议： 我

嗨，我正在尝试生成Salt示例的输出，但没有使用文档中提到的docker。我找到了帮助生成输出的scala代码，这是main.scala。我将main.scala修改为一个方便的main.scala, 我为这个scala创建了一个单独的文件夹, calac-cp“lib/salt.jar：lib/spark.jar”main.scala 这已成功运行并在文件夹BinexTest下生成类。 现在,项

我正在使用雪花，我正在寻找插入数据到一个表，而使用一个变量，使用变量的目的是，当我可以改变它，而不做查找和替换所有 以下作品 以下操作不起作用 然而，这是有效的。 https://docs.snowflake.com/en/sql-reference/session-variables.html

我知道我们将无法使用雪花中的GET_DDL函数获取外部表的DDL。是否有任何变通方法来获取雪花中外部表的DDL（Create语句）？

我想在Spark中做累积和。以下是注册表（输入）： 配置单元查询： 输出： 使用火花逻辑，我得到相同的输出： 然而，当我在spark cluster上尝试这个逻辑时，的值将是累积和的一半，有时它是不同的。我不知道为什么它会发生在spark cluster上。是因为分区吗？ 如何计算spark cluster上一列的累积和？

嗨，我对Spark很陌生。我正在Apache Spark scala命令行上执行以下命令