火花-我读csv正确吗？

Question

我使用以下方法将csv文件读入Spark：

df=spark.read.format(file_type).options(header='true'，quote='\"'，ignoreleadingwhitespace='true'，inferschema='true').load(file_location)

这是正常行为还是读错了？

更新：我将标记问题作为回答，因为下面的提示是有用的。然而，我做的结果是：

df.show(5, truncate=False)

当前显示：+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------“、”贸易ID类别“、”贸易类别“、”地区“、”金额CurrencyType“、”扩展成本“、”贸易销售毛额“、”贸易销售净额“、”合计（Ext Std成本）“、”调整类型“、”排除“、”currencycode“、”fxrate“、”数量“、”文件名“、”记录计数“、”产品类别“、”直接“、”利润中心“、”利润中心地区“、”利润中心国家“+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

我将不得不回到基础，在文本编辑器中预览csv，以找出该文件的正确格式，从而找出哪里出了问题。注意，我必须将代码更新为以下内容以处理管道分隔符：

df = spark.read.format(file_type).options(header='true', quote='\"', delimiter='|',ignoreLeadingWhiteSpace='true',inferSchema='true').load(file_location)

Answer 1

是的。这是正常的Beheighour。dataframe函数show（）的默认值是显示20行。您可以为此设置一个不同的值（但请记住，打印文件的所有行是没有意义的），并阻止它截断。例如：

df.show(100, truncate=False)