当前位置: 首页 > 知识库问答 >
问题:

将spark dataframe写入csv时转义反斜杠(/)

姜鹏程
2023-03-14
Col1,Col2,Col3,Col4
1,"abc//",xyz,Val2
2,"//",abc,Val2
df = sqlContext.read.format('com.databricks.spark.csv').schema(schema).option("escape", "\\").options(header='true').load("Test.csv")
df.repartition(1).write.format('csv').option("emptyValue", empty).option("header", "false").option("escape", "\\").option("path", 'D:\TestCode\Output.csv').save(header = 'true')
Col1,Col2,Col3,Col4
1,"abc//",xyz,Val2
2,/,abc,Val2

在output.csv的第2行,转义字符和引号(“”)一起丢失了。我的要求是在output.csv中也保留转义字符。任何形式的帮助都将非常感谢。

提前谢了。

共有1个答案

符懿轩
2023-03-14

看起来您正在使用默认行为。选项(“escape”,“\\\”),将其更改为:

.option(“escape”,“‘”)

应该管用。

 类似资料:
  • 问题内容: 我正在用csv快速编写以下数据: 当我完成解析第一个文件并启动第二个文件时,我想添加更多列,如下所示: parsed STEP ID ELEMENT_ID Fatigue SW Fatigue F1 Fatigue F3 Fatigue SW Fatigue F1 Fatigue F3 Step 10 10000 1.30E-07 1.51E-06 2.15E-06 1.30E-07

  • 本文向大家介绍详解json串反转义(消除反斜杠),包括了详解json串反转义(消除反斜杠)的使用技巧和注意事项,需要的朋友参考一下 JSon串在被串行化后保存在文件中,读取字符串时,是不能直接拿来用JSON.parse()解析为JSON  对象的。因为它是一个字符串,不是一个合法的JSON对象格式。例如下面的JSON串保存在文件中,读出来不能直接解析: “{\"resourceId\":\"dfe

  • 问题内容: 给定代码: 输出如下: 调试大型json文档时,很难读懂- 使用Newtonsoft.Json的内置功能(不是正则表达式或可能会破坏事情的hack),可以通过任何方式使输出字符串成为有效值: 问题答案: 查看值时,在调试器中看到的是应该在C#文件中使用以获得相同值的字符串值。 确实可以替换 与 而不更改程序的行为。 因此,要获得不同的值,您应该更改JsonConvert的工作方式,但是

  • 在我的应用程序中,我正在通过SQL中的“load data local infile”filename命令将一个csv文件读入DB。如果一个反斜杠出现在一个字段中,相邻字段将被合并。如何在将文件读入DB时忽略反斜杠。 例如, “ABCD”,“EFGH\”,“IJK” 它将作为col1 col2 col3 abcd efghijk null转到表中 我想把它变成col1 col2 col3 abcd

  • 问题内容: 我正在尝试将输出输出为\ a \ b \ c。上面的错误可能是因为我无法转义\字符。 问题答案: 您无需转义反斜杠(仅使用内部单引号):

  • 问题内容: 我从Instagram提取JSON: 然后将变量解析为PHP数组以重组数据,然后重新编码和缓存文件: 当我打开缓存文件时,我所有的正斜杠“ /”都被转义了: 我从搜索中收集到自动执行此操作…是否可以禁用它? 问题答案: 有没有办法禁用它? 是的,您只需要使用该标志。 重要的 阅读之前:https : //stackoverflow.com/a/10210367/367456(知道你在做