将文本文件中的重复分隔符替换为备用字符

Question

我试图处理一个以“|”分隔的、双引号限定的大管道文本文件(

一个简单的例子是：

"abc"|"2016-07-30"|"text narrative field"|"2016-08-01"|"123"|"456"|"789"|"EOR"

一个更具代表性的例子是：

"abc"|"2017-01-01"|"height: 5' 7" (~180 cm) | weight: 80kg | in good health"|"2016-01-10"||||"EOR"

我一直在尝试编写一个正则表达式，它将替换每个管道字符/双引号组合或紧接在前面和后面的管道字符序列，并用TAB字符替换双引号1对1。我发现了许多用单个字符替换重复字符串的正则表达式示例，但没有一个用等长的备用字符字符串替换一系列重复字符的示例。

我尝试了以下正则表达式："\|{1，}"它适用于单个管道字符，但用单个TAB依次替换多个管道。我还需要处理以下相关方面：

• 删除行首/双引号（^”）
• 删除双引号/行尾（$）
• 并将双引号/管道（1个或更多）/行尾（例如“\|$）替换为与管道字符数量相同的制表符

应用正则表达式后的输出记录将如下所示，使用\t表示TAB字符：

abc\t2016-07-30\ttext narrative field\t2016-08-01\t123\t456\t789\tEOR
abc\t2017-01-01\theight: 5' 7" (~180 cm) | weight: 80kg | in good health\t2016-01-10\t\t\t\tEOR

我愿意在python或linux中使用sed或awk解决这个问题

Answer 1

你可以在三次传球中完成。

1. 将所有| |替换为|“|
2. 在两端分开
3. 删除每个字段中的引号

详情如下：

import re

for line in file:
    while '||' in line:
        line = line.replace('||', '|""|')

    fields = re.split('^\||\|$|"\|"', line)

    new_line = '\t'.join([field.strip('"') for field in fields])

Answer 2

既然你在寻找“|”不是用|替换多个|的答案吗？

怎么样：

while True:
    new_data = re.sub(r'\|\|', '|""|', data)
    if data == new_data:
        break
    data = new_data

在此之后，您可以用制表符替换“|”。

Answer 3

import re

def count_pipes_in_regex_match(m):
  #  regex capture group should only contain pipe chars
  matched_pipes = m.groups()[0]

  return '\t' * len(matched_pipes)


# test string
s='"abc"|"2017-01-01"|"height: 5\' 7" (~180 cm) | weight: 80kg | in good health"|"2016-01-10"||||"EOR"'


# replace leading or trailing quotes
s = re.sub('^"|"$', '', s)

# replace quote pipe(s) quote 
# or      quote pipe(s) end-of-string
# with as many tabs as there were pipes
s = re.sub('"(\|+)("|$)', count_pipes_in_regex_match, s)

print repr(s) #repr to show the tabs

在repl.it在线尝试