将镶木地板转换为 CSV 格式

Question

我的 hdfs 中有 Parquet 文件。我想将这些镶木地板文件转换为csv格式

hadoop fs -text /user/Current_Data/partitioned_key=MEDIA/000000_0  > /home/oozie-coordinator-workflows/quality_report/media.csv

hadoop fs -copyToLocal /user/Current_Data/partitioned_key=MEDIA/000000_0 /home/oozie-coordinator-workflows/quality_report/media1.csv

Answer 1

您所做的将不起作用，您只是读取和写入拼花数据，而不是转换。

您可以使用spark或hive/impala来完成，下面是spark中的解释。

火花：

阅读拼花文件：

df=spark.read.parquet（"/user/Current_Data/partitioned_key=MEDIA/"）

写给HDFS:

df.write.csv("home/oozie-coordinator-workflows/quality_report/media1.csv")

在这里查看上面的更多信息。

蜂巢：

CREATE TABLE test ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS AVRO TBLPROPERTIES ('avro.schema.url'='myHost/myAvroSchema.avsc'); 

CREATE EXTERNAL TABLE parquet_test LIKE test STORED AS PARQUET LOCATION 'hdfs:///user/Current_Data/partitioned_key=MEDIA/';

有了表后，您可以使用以下命令通过beeline/hive创建一个CSV文件。

beeline -u 'jdbc:hive2://[databaseaddress]' --outputformat=csv2 -e "select * from parquet_test" > /local/path/toTheFile.csv

查看以下两个链接以获得更多解释。

动态创建带有Avro模式的Hive外部表

在直线配置单元中导出为csv