当前位置: 首页 > 知识库问答 >
问题:

火花CSV逃逸不工作

丁立果
2023-03-14

我使用spark-core 2.0.1版和Scala2.11。我有一个简单的代码来读取一个包含\escapes的csv文件

val myDA = spark.read
      .option("quote",null)
    .schema(mySchema)
    .csv(filePath)
    null

有人面临同样的问题吗?我是不是漏掉了什么?

谢谢

共有1个答案

谢夜洛
2023-03-14

所以escape只适用于引号。建议使用引号,如果你想转义。

https://github.com/databricks/spark-csv/issues/390

 类似资料:
  • 我正在使用terraform文件中的remote exec provisioner在ec2上运行一些命令。但我一直在逃避命令中的特殊字符。这部分代码来自我的main。远程exec provisioner部分中的tf文件。terraform中出现的错误是“无效字符”和“无效多行字符串”。我想要正确的字符串序列,以便这些命令可以在我的ec2上执行。

  • 我已通过设置以下内容将PowerShell添加到上下文菜单: 这工作得很好,除了我出色地命名为的文件夹。它失败了: 从文档: 指定位置的路径。LiteralPath参数的值的使用方式与键入的完全相同。没有字符被解释为通配符。如果路径包含转义字符,请用单引号将其括起来。单引号告诉PowerShell不要将任何字符解释为转义序列。 我是否可以选择使用,希望我的目录名称中没有可能的通配符?或者可以在中转

  • 我想把JavaScript onClick属性使用Thym立叶。 我这样写代码 此代码正在运行。当productName包含这样的特殊字符时,我会遇到问题 然后JavaScript函数看起来像这样 我需要从产品名称中转义双引号和单引号字符。我该怎么做?

  • 我试图修改Vaadin发送到浏览器的引导Javascript。以下是有关此问题的瓦丁论坛链接:https://vaadin.com/forum#!/Thread/4252604 Vaadin使用Jsoup,因此我使用JSoupAPI在Vaadin负载中找到正确的位置来修改Javascript。当我像这样使用Jsoup API时: newHTML中的任何内容都会被转义。例如,如果newHTML是:

  • 本文向大家介绍Java中的逃逸问题心得,包括了Java中的逃逸问题心得的使用技巧和注意事项,需要的朋友参考一下 大家一般认为new出来的对象都是被分配在堆上,但这并不是完全正确,通过对Java对象分配过程分析,我们发现对象除了可以被分配在堆上,还可以在栈或TLAB中分配空间。而栈上分配对象的技术基础是逃逸分析和标量替换,本文主要介绍下逃逸分析。 逃逸分析的定义 逃逸分析,是一种可以有效减少Java

  • 本文向大家介绍java中jvm逃逸问题分析,包括了java中jvm逃逸问题分析的使用技巧和注意事项,需要的朋友参考一下 引言: 逃逸分析(Escape Analysis)是众多JVM技术中的一个使用不多的技术点,本文将通过一个实例来分析其使用场景。 概念 逃逸分析,是一种可以有效减少Java 程序中同步负载和内存堆分配压力的跨函数全局数据流分析算法。通过逃逸分析,Java Hotspot编译器能够