当前位置: 首页 > 面试题库 >

如何使用Javascript解析CSV字符串(包含数据中的逗号)?

锺高翰
2023-03-14
问题内容

我有以下类型的字符串

var string = "'string, duppi, du', 23, lala"

我想将字符串拆分为每个逗号的数组,但仅将单引号之外的逗号分隔。

我想不出正确的正则表达式进行拆分…

string.split(/,/)

会给我

["'string", " duppi", " du'", " 23", " lala"]

但结果应该是:

["string, duppi, du", "23", "lala"]

有什么跨浏览器解决方案?


问题答案:

免责声明

以下答案仅适用于一种非常特定的CSV格式。正如DG在评论中正确指出的那样,此解决方案不适合RFC
4180定义的CSV,也不适合MSExcel格式。此解决方案仅演示了如何解析一个(非标准)CSV输入行,其中包含混合的字符串类型,其中的字符串可能包含转义的引号和逗号。

非标准CSV解决方案

正如austincheney正确指出的那样,如果您希望正确处理可能包含转义字符的带引号的字符串,则确实需要从头到尾解析该字符串。另外,OP并未明确定义“CSV字符串”的真正含义。首先,我们必须定义什么构成有效的CSV字符串及其各个值。

给定:“ CSV字符串”定义

为了便于讨论,“ CSV字符串”由零个或多个值组成,其中多个值之间用逗号分隔。每个值可以包括:

  1. 用双引号引起来的字符串。(可能包含未转义的单引号。)
  2. 用单引号引起来的字符串。(可能包含未转义的双引号。)
  3. 无引号的字符串。(不得包含引号,逗号或反斜杠。)
  4. 空值。(所有空白值都被认为是空的。)

规则/说明:

  • 引用的值可能包含逗号。
  • 带引号的值可以包含任何转义字符,例如'that\'s cool'
  • 包含引号,逗号或反斜杠的值必须加引号。
  • 包含前导或尾随空格的值必须用引号引起来。
  • 反斜杠从所有\'中删除:用单引号引起来。
  • 反斜杠从所有\"中删除:用双引号引起来。
  • 未引用的字符串会修剪掉任何前导和尾随空格。
  • 逗号分隔符可能具有相邻的空格(将被忽略)。

找:

一个JavaScript函数,可将有效的CSV字符串(如上定义)转换为字符串值的数组。

解:

该解决方案使用的正则表达式很复杂。并且(IMHO)所有非平凡的正则表达式都应以自由行距模式呈现,并带有大量注释和缩进。不幸的是,JavaScript不允许使用自由间距模式。因此,此解决方案实现的正则表达式首先以本机regex语法表示(使用Python的方便:r'''...'''raw-multi-line-string语法表示)。

首先,这里是一个正则表达式,它验证CVS字符串是否满足上述要求:

正则表达式以验证“ CSV字符串”:

re_valid = r"""
# Validate a CSV string having single, double or un-quoted values.
^                                   # Anchor to start of string.
\s*                                 # Allow whitespace before value.
(?:                                 # Group for value alternatives.
  '[^'\\]*(?:\\[\S\s][^'\\]*)*'     # Either Single quoted string,
| "[^"\\]*(?:\\[\S\s][^"\\]*)*"     # or Double quoted string,
| [^,'"\s\\]*(?:\s+[^,'"\s\\]+)*    # or Non-comma, non-quote stuff.
)                                   # End group of value alternatives.
\s*                                 # Allow whitespace after value.
(?:                                 # Zero or more additional values
  ,                                 # Values separated by a comma.
  \s*                               # Allow whitespace before value.
  (?:                               # Group for value alternatives.
    '[^'\\]*(?:\\[\S\s][^'\\]*)*'   # Either Single quoted string,
  | "[^"\\]*(?:\\[\S\s][^"\\]*)*"   # or Double quoted string,
  | [^,'"\s\\]*(?:\s+[^,'"\s\\]+)*  # or Non-comma, non-quote stuff.
  )                                 # End group of value alternatives.
  \s*                               # Allow whitespace after value.
)*                                  # Zero or more additional values
$                                   # Anchor to end of string.
"""

如果一个字符串与上述正则表达式匹配,则该字符串是有效的CSV字符串(根据前面所述的规则),并且可以使用以下正则表达式进行解析。然后,以下正则表达式用于匹配CSV字符串中的一个值。重复应用它,直到找不到更多匹配项(并且所有值都已解析)。

正则表达式可从有效CSV字符串中解析一个值:

re_value = r"""
# Match one value in valid CSV string.
(?!\s*$)                            # Don't match empty last value.
\s*                                 # Strip whitespace before value.
(?:                                 # Group for value alternatives.
  '([^'\\]*(?:\\[\S\s][^'\\]*)*)'   # Either $1: Single quoted string,
| "([^"\\]*(?:\\[\S\s][^"\\]*)*)"   # or $2: Double quoted string,
| ([^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)  # or $3: Non-comma, non-quote stuff.
)                                   # End group of value alternatives.
\s*                                 # Strip whitespace after value.
(?:,|$)                             # Field ends on comma or EOS.
"""

请注意,此正则表达式有一个不匹配的特殊情况值-当该值为空时的最后一个值。这种特殊的 “空的最后一个值” 案例将通过以下js函数进行测试和处理。

JavaScript函数来解析CSV字符串:

// Return array of string values, or NULL if CSV string not well formed.
function CSVtoArray(text) {
    var re_valid = /^\s*(?:'[^'\\]*(?:\\[\S\s][^'\\]*)*'|"[^"\\]*(?:\\[\S\s][^"\\]*)*"|[^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)\s*(?:,\s*(?:'[^'\\]*(?:\\[\S\s][^'\\]*)*'|"[^"\\]*(?:\\[\S\s][^"\\]*)*"|[^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)\s*)*$/;
    var re_value = /(?!\s*$)\s*(?:'([^'\\]*(?:\\[\S\s][^'\\]*)*)'|"([^"\\]*(?:\\[\S\s][^"\\]*)*)"|([^,'"\s\\]*(?:\s+[^,'"\s\\]+)*))\s*(?:,|$)/g;
    // Return NULL if input string is not well formed CSV string.
    if (!re_valid.test(text)) return null;
    var a = [];                     // Initialize array to receive values.
    text.replace(re_value, // "Walk" the string using replace with callback.
        function(m0, m1, m2, m3) {
            // Remove backslash from \' in single quoted values.
            if      (m1 !== undefined) a.push(m1.replace(/\\'/g, "'"));
            // Remove backslash from \" in double quoted values.
            else if (m2 !== undefined) a.push(m2.replace(/\\"/g, '"'));
            else if (m3 !== undefined) a.push(m3);
            return ''; // Return empty string.
        });
    // Handle special case of empty last value.
    if (/,\s*$/.test(text)) a.push('');
    return a;
};

输入和输出示例

在以下示例中,花括号用于定界{result strings}。(这有助于可视化前导/尾随空格和零长度字符串。)

// Test 1: Test string from original question.
var test = "'string, duppi, du', 23, lala";
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {string, duppi, du}
    a[1] = {23}
    a[2] = {lala} */



// Test 2: Empty CSV string.
var test = "";
var a = CSVtoArray(test);
/* Array hes 0 elements: */



// Test 3: CSV string with two empty values.
var test = ",";
var a = CSVtoArray(test);
/* Array hes 2 elements:
    a[0] = {}
    a[1] = {} */



// Test 4: Double quoted CSV string having single quoted values.
var test = "'one','two with escaped \' single quote', 'three, with, commas'";
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {one}
    a[1] = {two with escaped ' single quote}
    a[2] = {three, with, commas} */



// Test 5: Single quoted CSV string having double quoted values.
var test = '"one","two with escaped \" double quote", "three, with, commas"';
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {one}
    a[1] = {two with escaped " double quote}
    a[2] = {three, with, commas} */



// Test 6: CSV string with whitespace in and around empty and non-empty values.
var test = "   one  ,  'two'  ,  , ' four' ,, 'six ', ' seven ' ,  ";
var a = CSVtoArray(test);
/* Array hes 8 elements:
    a[0] = {one}
    a[1] = {two}
    a[2] = {}
    a[3] = { four}
    a[4] = {}
    a[5] = {six }
    a[6] = { seven }
    a[7] = {} */

补充笔记:

此解决方案要求CSV字符串为“有效”。例如,未加引号的值不能包含反斜杠或引号,例如,以下CSV字符串无效:

var invalid1 = "one, that's me!, escaped \, comma"

这并不是真正的限制,因为任何子字符串都可以表示为单引号或双引号。还请注意,此解决方案仅代表以下一种可能的定义:“逗号分隔值”。



 类似资料:
  • 问题内容: 我在尝试使用265,858解析时得到提示。 有什么办法可以将其解析为整数? 问题答案: 这个逗号是小数点分隔符还是这两个数字?在第一种情况下,您必须提供给使用逗号作为小数点分隔符的类: 结果是。但是使用美国语言环境,您将获得: 这是因为在法国他们将逗号视为小数点分隔符,而在美国将它们视为分组(千位)分隔符。 如果这是两个数字- 它们分别解析两个单独的字符串。

  • 问题内容: 我正在尝试使用csv文件读取文件,但某些字段是包含逗号的字符串。字符串用引号引起来,但是numpy不能将引号识别为定义了单个字符串。例如,使用“ t.csv”中的数据: 编码 产生错误: ValueError:检测到一些错误!第2行(获得4列而不是3列) 我正在寻找的数据结构是: 查看文档,我看不到任何解决方案。有没有办法用numpy做到这一点,或者我只需要使用模块读入数据,然后将其转

  • 问题内容: 我正在尝试在NetBeans 6.0.1中使用OpenCSV解析.csv文件。我的文件包含一些Unicode字符。当我在输出中写入字符时,字符以其他形式显示,例如(HJ1’-E /;)。当我在记事本中打开此文件时,它看起来还可以。 我使用的代码: 问题答案: 首先,您需要知道文件的编码格式,例如UTF-8或UTF-16。生成此文件的原因是什么? 在那之后,它相对简单- 您需要创建一个包

  • 我想将包含字符串记录的RDD转换为Spark数据帧,如下所示。 模式行不在同一个中,而是在另一个变量中: 所以现在我的问题是,我如何使用上面两个,在Spark中创建一个数据帧?我使用的是Spark 2.2版。 我确实搜索并看到了一篇帖子:我可以使用spack-csv将表示为字符串的CSV读取到Apache Spark中吗?然而,这并不是我所需要的,我也无法找到一种方法来修改这段代码以在我的情况下工

  • 问题内容: 有一个node.js应用程序正在接收包含文字NaN的JSON数据字符串,例如 这在Node.js中崩溃。如果可以,我想解析它。 我知道这不是JSON规范的一部分。大多数SO链接(在json中发送NaN812/sending- nan-in-json))建议修复输出。 在这里,尽管数据是在我无法控制的服务器中生成的,但是它是由一个商业Java库提供的,我可以在其中查看源代码。它是由Goo

  • 问题内容: 我有一个字符串,我正在尝试将其解析为一个数字。我尝试使用,结果为2。我猜逗号是问题所在,但我将如何以正确的方式解决此问题?只需删除逗号? 问题答案: 是的,删除逗号: