在Scala中,我可以像这样从内存中的字符串创建单行DataFrame:
val stringAsList = List("buzz")
val df = sqlContext.sparkContext.parallelize(jsonValues).toDF("fizz")
df.show()
当df.show()
运行时,它输出:
+-----+
| fizz|
+-----+
| buzz|
+-----+
现在,我正在尝试从Java类内部执行此操作。 显然JavaRDD
,没有toDF(String)
方法。我试过了:
List<String> stringAsList = new ArrayList<String>();
stringAsList.add("buzz");
SQLContext sqlContext = new SQLContext(sparkContext);
DataFrame df = sqlContext.createDataFrame(sparkContext
.parallelize(stringAsList), StringType);
df.show();
…但似乎仍然不足。现在df.show();
执行时,我得到:
++
||
++
||
++
(一个空的DF。)所以我问:如何使用 Java API 将内存中的字符串读取到其中只有1行1列的DataFrame中, 并指定该列的名称?
(以便df.show()
与上面的Scala相同)?
您可以通过创建到Rdd的列表,然后创建将包含列名的Schema来实现。
可能还有其他方法,只是其中一种。
List<String> stringAsList = new ArrayList<String>();
stringAsList.add("buzz");
JavaRDD<Row> rowRDD = sparkContext.parallelize(stringAsList).map((String row) -> {
return RowFactory.create(row);
});
StructType schema = DataTypes.createStructType(new StructField[] { DataTypes.createStructField("fizz", DataTypes.StringType, false) });
DataFrame df = sqlContext.createDataFrame(rowRDD, schema).toDF();
df.show();
//+----+
|fizz|
+----+
|buzz|
我们在前言中已经简单提到过 action,但具体什么是 action creator,它们又是如何关联到 action 的呢? 其实,通过几行简单的代码就可以解释清楚了! action creator 就是函数而已... var actionCreator = function() { // ...负责构建一个 action (是的,action creator 这个名字已经很明显了)并返回
也许有一些我看不到的非常简单的东西。我正在尝试从某个API调用一个方法,这个方法要求PendingIntent异步向我发送一些值。我已经阅读了半小时的文档和示例,无法理解简单的方法。 更准确地说,我想调用ActivityRecognitionApi。为了举例说明,我是如何从类似的api接收位置的: 所以我想做同样的事情来接收认可的活动: 那么,创建一个PendingEvent来获取价值的简单方法是
让我们开始使用Python和XlsxWriter模块创建一个简单的Excel电子表格。 假设我们有一些要转换为Excel Xlsx文件的每月支出数据: expenses = ( ['Rent', 1000], ['Gas', 100], ['Food', 300], ['Gym', 50], ) 那么,我们可以从如下所示的示例程序开始: import
问题内容: 如果我想在python中创建一个简单的XML文件,该怎么办?(明智的) 我想要的xml看起来像: 问题答案: 如今,最流行(且非常简单)的选项是ElementTree API,该元素自Python 2.5起已包含在标准库中。 可用的选项有: ElementTree(ElementTree的基本,纯Python实现。自2.5以来是标准库的一部分) cElementTree(Element
本文向大家介绍iOS 如何使用UIBezierPath创建简单的形状,包括了iOS 如何使用UIBezierPath创建简单的形状的使用技巧和注意事项,需要的朋友参考一下 示例 对于一个简单的圈子: 迅速: 对于一个简单的矩形: 迅速: 对于简单的一行: 迅速: 半圈: 迅速: 对于一个简单的三角形: 迅速:
问题内容: 我有一个带有一堆链接的网页。我想编写一个脚本,将所有链接中包含的所有数据转储到本地文件中。 有没有人用PHP做到这一点?一般准则和陷阱就可以作为答案。 问题答案: 这是受Tatu启发的DOM版本: 编辑: 我修复了Tatu版本的一些错误(现在可以使用相对URL)。 编辑: 我添加了新的功能,以防止它两次跟踪相同的URL。 编辑: 现在将输出回显到STDOUT,以便您可以将其重定向到所需