在python中连接列表中元组的元素[重复]

Question

我有一个包含字符串的元组列表，例如:

[('this', 'is', 'a', 'foo', 'bar', 'sentences')
('is', 'a', 'foo', 'bar', 'sentences', 'and')
('a', 'foo', 'bar', 'sentences', 'and', 'i')
('foo', 'bar', 'sentences', 'and', 'i', 'want')
('bar', 'sentences', 'and', 'i', 'want', 'to')
('sentences', 'and', 'i', 'want', 'to', 'ngramize')
('and', 'i', 'want', 'to', 'ngramize', 'it')]

现在我希望将每个字符串连接在一个元组中以创建一个以空格分隔的字符串列表。我使用了以下方法：

NewData=[]
for grams in sixgrams:
       NewData.append( (''.join([w+' ' for w in grams])).strip())

它工作得非常好。

然而，我的列表有超过一百万个元组。所以我的问题是，这种方法是否足够有效，或者是否有更好的方法来做到这一点。谢谢。

Answer 1

你可以像这样高效地做这件事

joiner = " ".join
print map(joiner, sixgrams)

我们仍然可以使用这样的列表理解来提高性能

joiner = " ".join
print [joiner(words) for words in sixgrams]

性能对比表明，上述所见列表理解解决方案比其他两种解决方案略快。

from timeit import timeit

joiner = " ".join

def mapSolution():
    return map(joiner, sixgrams)

def comprehensionSolution1():
    return ["".join(words) for words in sixgrams]

def comprehensionSolution2():
    return [joiner(words) for words in sixgrams]

print timeit("mapSolution()", "from __main__ import joiner, mapSolution, sixgrams")
print timeit("comprehensionSolution1()", "from __main__ import sixgrams, comprehensionSolution1, joiner")
print timeit("comprehensionSolution2()", "from __main__ import sixgrams, comprehensionSolution2, joiner")

机器上的输出

1.5691678524
1.66710209846
1.47555398941

性能提升很可能是因为，我们不必每次都从空字符串创建连接函数。

编辑:虽然我们可以这样提高性能，但最有效的方法是使用lvc答案中的生成器。

Answer 2

列表推导创建临时字符串。只需改用 ' '.join。

>>> words_list = [('this', 'is', 'a', 'foo', 'bar', 'sentences'),
...               ('is', 'a', 'foo', 'bar', 'sentences', 'and'),
...               ('a', 'foo', 'bar', 'sentences', 'and', 'i'),
...               ('foo', 'bar', 'sentences', 'and', 'i', 'want'),
...               ('bar', 'sentences', 'and', 'i', 'want', 'to'),
...               ('sentences', 'and', 'i', 'want', 'to', 'ngramize'),
...               ('and', 'i', 'want', 'to', 'ngramize', 'it')]
>>> new_list = []
>>> for words in words_list:
...     new_list.append(' '.join(words)) # <---------------
... 
>>> new_list
['this is a foo bar sentences', 
 'is a foo bar sentences and', 
 'a foo bar sentences and i', 
 'foo bar sentences and i want', 
 'bar sentences and i want to', 
 'sentences and i want to ngramize', 
 'and i want to ngramize it']

上面的< code>for循环可以表示为下面的列表理解:

new_list = [' '.join(words) for words in words_list] 

Answer 3

对于大量数据，您应该考虑是否需要将其全部保留在列表中。如果您一次处理每个数据，您可以创建一个生成器，该生成器将产生每个连接的字符串，但不会将它们全部保留在占用内存的地方：

new_data = (' '.join(w) for w in sixgrams)

如果您也可以从生成器中获取原始元组，那么您也可以避免在内存中拥有六克列表。