如何在spark Scala中将模式从另一个文件添加到文件中

Question

     val sparkConf = new SparkConf().setMaster("local[4]").setAppName("hbase sql")
val sc = new SparkContext(sparkConf)
val spark1 = SparkSession.builder().config(sc.getConf).getOrCreate()
    val sqlContext = spark1.sqlContext

val spark = SparkSession
  .builder
  .appName("SparkSQL")
  .master("local[*]")
  .getOrCreate()
import spark.implicits._
val lines = spark1.sparkContext.textFile("C:/Users/ayushgup/Downloads/home_data_usage_2018122723_1372672.csv").map(lines=>lines.split("""\|""")).toDF()  
 val header = spark1.sparkContext.textFile("C:/Users/ayushgup/Downloads/Header.csv").map(lin=>lin.split("""\|""")).toDF()

val file=header.unionall（lines）.todf（）

Answer 1

spark.sparkcontext.textfile()将返回rdd，并且不会推断模式，即使您在rdd之上执行.todf()。

sc.textfile()用于读取非结构化文本文件。你应该使用

spark.read.format("csv").option("header",true").option("inferSchema","true").load("..path.to.csv")

若要从标头获取架构，请执行以下操作。

您最好cat一起创建新的csv，并在HDFS中读取它们

cat header.csv home_data_usage_2018122723_1372672.csv >> new_home_data_usage.csv

后来呢

hadoop fs -copyFromLocal new_home_data_usage.csv <hdfs_path>

然后使用

spark.read.format("csv").option("header",true").option("inferSchema","true").load("..path.to.csv")