如何读取空格分隔的文本文件并将其保存到配置单元？

Question

col1 col2 col3 col4 col5
val1 val2 val3 val4 val5
val6 val7 val8 val9 val10
val11 val12 val13 val14 val15

const1 const2 col1 col2 col3 col4 col5
const1 const2 val1 val2 val3 val4 val5
const1 const2 val6 val7 val8 val9 val10
const1 const2 val11 val12 val13 val14 val15

Answer 1

我强烈建议使用最新和最伟大的Spark 2.1.1,它支持开箱即用的CSV文件。

除非我弄错了，否则Spark1.6中的CSV支持是通过使用spark-csv包实现的。

用加载的包启动Spark环境：

--packages com.databricks:spark-csv_2.11:1.5.0

SQLContext sqlContext = new SQLContext(sc);
DataFrame df = sqlContext.read()
    .format("com.databricks.spark.csv")  // <-- enables csv support in Spark SQL
    .option("inferSchema", "true")
    .option("header", "true")
    .load("cars.csv");

带有列（字符串colName，列coll）的公共数据文件名

通过添加列或替换具有相同名称的现有列，返回新的DataFrame。

完成后，保存到配置单元只需使用sqlcontext的write()方法，并且：

write().saveAsTable(tableName)