使用java中的spark数据集读取avro数据
我是spark的新手，正在尝试使用java将avro数据加载到spark“dataset”（spark 1.6）。我在scala中看到了一些示例，但在java中没有看到。任何指向java示例的指针都会很有帮助。我试图创建一个javaRDD，然后将其转换为“dataset”。我相信一定有一条直截了当的路。
共有1个答案
首先你需要hadoop.home.dir
System.setProperty("hadoop.home.dir", "C:/app/hadoopo273/winutils-master/hadoop-2.7.1");
然后创建一个Spark会话，指定avro文件的位置
SparkSession spark = SparkSession .builder().master("local").appName("ASH").config("spark.cassandra.connection.host", "127.0.0.1").config("spark.sql.warehouse.dir", "file:///C:/cygwin64/home/a622520/dev/AshMiner2/cass-spark-embedded/cassspark/cassspark.all/spark-warehouse/").getOrCreate();
在我的代码中，我使用了一个嵌入式spark环境
// Creates a DataFrame from a specified file
Dataset<Row> df = spark.read().format("com.databricks.spark.avro") .load("./Ash.avro");
df.createOrReplaceTempView("words");
Dataset<Row> wordCountsDataFrame = spark.sql("select count(*) as total from words");
wordCountsDataFrame.show();
希望这有帮助
-
问题内容： 我在通过火花流从天蓝色斑点读取数据时遇到问题 上面的代码适用于HDFS，但无法从Azure blob读取文件 上面是在azure UI中显示的路径，但是这行不通，我是否丢失了某些内容，以及如何访问它。 我知道Eventhub是流数据的理想选择，但是我目前的情况要求使用存储而不是队列 问题答案： 为了从Blob存储中读取数据，需要完成两件事。首先，您需要告诉Spark在基础Hadoop配
-
问题内容： 是否可以将数据从Microsoft Sql Server（以及oracle，mysql等）读取到Spark应用程序中的rdd中？还是我们需要创建一个内存中的集合并将其并行化为RDD？ 问题答案： 从邮件列表中找到了解决方案。可以使用JdbcRDD完成此操作。我需要获取MS Sql Server JDBC驱动程序jar并将其添加到项目的lib中。我想使用集成安全性，因此需要将sqljdb
-
问题内容： 当我仔细观察时，我唯一提出的疑问是： 找不到适用于实际参数“ org.apache.spark.unsafe.types.UTF8String”的适用构造函数/方法；候选者为：“ public void sparkSQL.Tweet.setId（long）” 问题答案： 正如@ user9718686所写，id字段具有不同的类型：在json文件和类定义中。当您将其读入时，Spark会从
-
我正在评估将现有的RDD代码替换为Dataset。对于我的一个用例，我无法将数据集映射到另一个用例类。 以下是我想做的。。。 任何帮助都将不胜感激。 但以下例外情况：
-
当我尝试基于avro模式将avro数据写入s3时 DF数据类型： finaldf.write（）.option（“avroschema”,string.valueof（inAvroSchema））.format（“com.databricks.spark.avro”）.mode（“overwrite”）.save（“target_s3_path”）； 我得到了错误：
-
states是按国家分区的，所以当我对上面的数据集进行计数时，查询会扫描所有分区。但是如果我这样读的话- 分区被正确修剪。有人能解释为什么当您将表映射到case类时会丢失分区信息吗？