Python读取文本文件并对控制字符进行拆分

Question

我正在处理Hadoop和Hive的输出文本文件，其中的文件有由Control-A分隔的字段。然后我使用Python逐行读取文件，但是字符串split()函数即使指定了分隔符也不能正确拆分。

field1^Afield2^Afield3^Afield4
field5^Afield6^Afield7^Afield8

bash> cat test.txt | cut -d $'\001' -f 3
field3
field7

然后，我编写了一个Python函数，该函数使用标准的Python习惯用法逐行读取文件：

import re

def read_file(filename):
    ''' Read file line-by-line and split. '''
    with open(filename, "r") as myfile:
        for line in myfile:
            tokens = line.split('\u0001')
            #tokens = line.split('\^A')
            #tokens = re.split('\^A', line)
            print 'len(tokens): %d, tokens[0]: %s\n' % (len(tokens), tokens[0])

但是，当我运行函数时，字符串没有正确拆分。每行中应该有四个令牌。

>>> read_file('test2.txt')
len(tokens): 1, tokens[0]: field1field2field3field4


len(tokens): 1, tokens[0]: field5field6field7field8

您可以在我的Python函数中看到，我尝试了三种不同的方法来拆分字符串。都不起作用。

tokens = line.split('\u0001')
tokens = line.split('\^A')
tokens = re.split('\^A', line)

用蟒蛇定界克拉A

re.split在^A上不工作

Answer 1

假设control-A是字符“\x01”(ASCII代码1）：

>>> line="field1\x01field2\x01field3\x01field4"
>>> line.split("\x01")
['field1', 'field2', 'field3', 'field4']

如果要使用“\u0001”表示法，则需要“u”前缀(Python 2）：

>>> line.split(u"\u0001")
[u'field1', u'field2', u'field3', u'field4']