如何使用包含逗号的数据 JavaScript 解析 CSV 字符串?

2022-08-30 05:15:20

我有以下类型的字符串

var string = "'string, duppi, du', 23, lala"

我想在每个逗号上将字符串拆分为一个数组,但仅限于单引号外的逗号。

我无法为拆分找出正确的正则表达式...

string.split(/,/)

会给我

["'string", " duppi", " du'", " 23", " lala"]

但结果应该是:

["string, duppi, du", "23", "lala"]

是否有跨浏览器解决方案?


答案 1

免責聲明

2014-12-01 更新:下面的答案仅适用于一种非常特定的 CSV 格式。正如DG在评论中正确指出的那样,此解决方案不符合CSV的RFC 4180定义,也不符合MS Excel格式。此解决方案仅演示如何解析一个(非标准)CSV 输入行,该输入行包含字符串类型的混合,其中字符串可能包含转义引号和逗号。

非标准 CSV 解决方案

正如 austincheney 正确指出的那样,如果您希望正确处理可能包含转义字符的带引号字符串,则确实需要从头到尾解析字符串。此外,OP没有明确定义“CSV字符串”到底是什么。首先,我们必须定义什么是有效的CSV字符串及其各个值。

给定:“CSV 字符串”定义

出于本讨论的目的,“CSV 字符串”由零个或多个值组成,其中多个值由逗号分隔。每个值可以包含:

  1. 双引号字符串。(可能包含未转义的单引号。
  2. 单个带引号的字符串。(可能包含未转义的双引号。
  3. 不带引号的字符串。(不得包含引号、逗号或反斜杠。
  4. 空值。(全空格值被视为空。

规则/注意事项:

  • 带引号的值可以包含逗号。
  • 带引号的值可以包含转义的任何内容,例如 .'that\'s cool'
  • 包含引号、逗号或反斜杠的值必须用引号括起来。
  • 包含前导或尾随空格的值必须用引号引起来。
  • 从所有值中删除反斜杠:在单引号值中。\'
  • 从所有值中删除反斜杠:在双引号值中。\"
  • 不带引号的字符串将修剪任何前导空格和尾随空格。
  • 逗号分隔符可能具有相邻的空格(将被忽略)。

找到:

一个 JavaScript 函数,它将有效的 CSV 字符串(如上定义)转换为字符串值数组。

溶液:

此解决方案使用的正则表达式很复杂。而且(恕我直言)所有重要的正则表达式都应该以自由间距模式呈现,并带有大量注释和缩进。不幸的是,JavaScript不允许自由间距模式。因此,此解决方案实现的正则表达式首先以本机正则表达式语法呈现(使用Python的handy:raw-multi-line-string语法表示)。r'''...'''

首先,这里有一个正则表达式,用于验证 CVS 字符串是否满足上述要求:

用于验证“CSV 字符串”的正则表达式:

re_valid = r"""
# Validate a CSV string having single, double or un-quoted values.
^                                   # Anchor to start of string.
\s*                                 # Allow whitespace before value.
(?:                                 # Group for value alternatives.
  '[^'\\]*(?:\\[\S\s][^'\\]*)*'     # Either Single quoted string,
| "[^"\\]*(?:\\[\S\s][^"\\]*)*"     # or Double quoted string,
| [^,'"\s\\]*(?:\s+[^,'"\s\\]+)*    # or Non-comma, non-quote stuff.
)                                   # End group of value alternatives.
\s*                                 # Allow whitespace after value.
(?:                                 # Zero or more additional values
  ,                                 # Values separated by a comma.
  \s*                               # Allow whitespace before value.
  (?:                               # Group for value alternatives.
    '[^'\\]*(?:\\[\S\s][^'\\]*)*'   # Either Single quoted string,
  | "[^"\\]*(?:\\[\S\s][^"\\]*)*"   # or Double quoted string,
  | [^,'"\s\\]*(?:\s+[^,'"\s\\]+)*  # or Non-comma, non-quote stuff.
  )                                 # End group of value alternatives.
  \s*                               # Allow whitespace after value.
)*                                  # Zero or more additional values
$                                   # Anchor to end of string.
"""

如果字符串与上述正则表达式匹配,则该字符串是有效的 CSV 字符串(根据前面所述的规则),可以使用以下正则表达式进行解析。然后,使用以下正则表达式来匹配 CSV 字符串中的一个值。它重复应用,直到找不到更多的匹配项(并且已分析所有值)。

正则表达式,用于从有效的 CSV 字符串中解析一个值:

re_value = r"""
# Match one value in valid CSV string.
(?!\s*$)                            # Don't match empty last value.
\s*                                 # Strip whitespace before value.
(?:                                 # Group for value alternatives.
  '([^'\\]*(?:\\[\S\s][^'\\]*)*)'   # Either $1: Single quoted string,
| "([^"\\]*(?:\\[\S\s][^"\\]*)*)"   # or $2: Double quoted string,
| ([^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)  # or $3: Non-comma, non-quote stuff.
)                                   # End group of value alternatives.
\s*                                 # Strip whitespace after value.
(?:,|$)                             # Field ends on comma or EOS.
"""

请注意,有一个特殊情况值此正则表达式不匹配 - 当该值为空时的最后一个值。这个特殊的“空最后一个值”情况由下面的js函数测试和处理。

用于解析 CSV 字符串的 JavaScript 函数:

// Return array of string values, or NULL if CSV string not well formed.
function CSVtoArray(text) {
    var re_valid = /^\s*(?:'[^'\\]*(?:\\[\S\s][^'\\]*)*'|"[^"\\]*(?:\\[\S\s][^"\\]*)*"|[^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)\s*(?:,\s*(?:'[^'\\]*(?:\\[\S\s][^'\\]*)*'|"[^"\\]*(?:\\[\S\s][^"\\]*)*"|[^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)\s*)*$/;
    var re_value = /(?!\s*$)\s*(?:'([^'\\]*(?:\\[\S\s][^'\\]*)*)'|"([^"\\]*(?:\\[\S\s][^"\\]*)*)"|([^,'"\s\\]*(?:\s+[^,'"\s\\]+)*))\s*(?:,|$)/g;
    // Return NULL if input string is not well formed CSV string.
    if (!re_valid.test(text)) return null;
    var a = [];                     // Initialize array to receive values.
    text.replace(re_value, // "Walk" the string using replace with callback.
        function(m0, m1, m2, m3) {
            // Remove backslash from \' in single quoted values.
            if      (m1 !== undefined) a.push(m1.replace(/\\'/g, "'"));
            // Remove backslash from \" in double quoted values.
            else if (m2 !== undefined) a.push(m2.replace(/\\"/g, '"'));
            else if (m3 !== undefined) a.push(m3);
            return ''; // Return empty string.
        });
    // Handle special case of empty last value.
    if (/,\s*$/.test(text)) a.push('');
    return a;
};

输入和输出示例:

在下面的示例中,大括号用于分隔 .(这是为了帮助可视化前导/尾随空格和零长度字符串。{result strings}

// Test 1: Test string from original question.
var test = "'string, duppi, du', 23, lala";
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {string, duppi, du}
    a[1] = {23}
    a[2] = {lala} */
// Test 2: Empty CSV string.
var test = "";
var a = CSVtoArray(test);
/* Array hes 0 elements: */
// Test 3: CSV string with two empty values.
var test = ",";
var a = CSVtoArray(test);
/* Array hes 2 elements:
    a[0] = {}
    a[1] = {} */
// Test 4: Double quoted CSV string having single quoted values.
var test = "'one','two with escaped \' single quote', 'three, with, commas'";
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {one}
    a[1] = {two with escaped ' single quote}
    a[2] = {three, with, commas} */
// Test 5: Single quoted CSV string having double quoted values.
var test = '"one","two with escaped \" double quote", "three, with, commas"';
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {one}
    a[1] = {two with escaped " double quote}
    a[2] = {three, with, commas} */
// Test 6: CSV string with whitespace in and around empty and non-empty values.
var test = "   one  ,  'two'  ,  , ' four' ,, 'six ', ' seven ' ,  ";
var a = CSVtoArray(test);
/* Array hes 8 elements:
    a[0] = {one}
    a[1] = {two}
    a[2] = {}
    a[3] = { four}
    a[4] = {}
    a[5] = {six }
    a[6] = { seven }
    a[7] = {} */

附加说明:

此解决方案要求 CSV 字符串为“有效”。例如,未加引号的值可能不包含反斜杠或引号,例如,以下 CSV 字符串无效:

var invalid1 = "one, that's me!, escaped \, comma"

这并不是一个真正的限制,因为任何子字符串都可以表示为单引号或双引号值。另请注意,此解决方案仅表示“逗号分隔值”的一个可能定义。

编辑: 2014-05-19:添加了免责声明。编辑: 2014-12-01:已将免责声明移至顶部。


答案 2

RFC 4180 解决方案

这并不能解决问题中的字符串,因为它的格式不符合RFC 4180;可接受的编码是用双引号转义双引号。下面的解决方案可以正确处理来自谷歌电子表格的CSV文件d / l。

更新 (3/2017)

解析单行是错误的。根据RFC 4180,字段可能包含CRLF,这将导致任何行读取器破坏CSV文件。以下是解析 CSV 字符串的更新版本:

'use strict';

function csvToArray(text) {
    let p = '', row = [''], ret = [row], i = 0, r = 0, s = !0, l;
    for (l of text) {
        if ('"' === l) {
            if (s && l === p) row[i] += l;
            s = !s;
        } else if (',' === l && s) l = row[++i] = '';
        else if ('\n' === l && s) {
            if ('\r' === p) row[i] = row[i].slice(0, -1);
            row = ret[++r] = [l = '']; i = 0;
        } else row[i] += l;
        p = l;
    }
    return ret;
};

let test = '"one","two with escaped """" double quotes""","three, with, commas",four with no quotes,"five with CRLF\r\n"\r\n"2nd line one","two with escaped """" double quotes""","three, with, commas",four with no quotes,"five with CRLF\r\n"';
console.log(csvToArray(test));

旧答案

(单线解决方案)

function CSVtoArray(text) {
    let ret = [''], i = 0, p = '', s = true;
    for (let l in text) {
        l = text[l];
        if ('"' === l) {
            s = !s;
            if ('"' === p) {
                ret[i] += '"';
                l = '-';
            } else if ('' === p)
                l = '-';
        } else if (s && ',' === l)
            l = ret[++i] = '';
        else
            ret[i] += l;
        p = l;
    }
    return ret;
}
let test = '"one","two with escaped """" double quotes""","three, with, commas",four with no quotes,five for fun';
console.log(CSVtoArray(test));

为了好玩,以下是从数组创建CSV的方法:

function arrayToCSV(row) {
    for (let i in row) {
        row[i] = row[i].replace(/"/g, '""');
    }
    return '"' + row.join('","') + '"';
}

let row = [
  "one",
  "two with escaped \" double quote",
  "three, with, commas",
  "four with no quotes (now has)",
  "five for fun"
];
let text = arrayToCSV(row);
console.log(text);