使用Python将超文本标记语言呈现为纯文本

Question

我正在尝试使用BeautifulSoup转换HTML文本块。以下是一个示例：

<div>
    <p>
        Some text
        <span>more text</span>
        even more text
    </p>
    <ul>
        <li>list item</li>
        <li>yet another list item</li>
    </ul>
</div>
<p>Some other text</p>
<ul>
    <li>list item</li>
    <li>yet another list item</li>
</ul>

我试着做了这样的事情：

def parse_text(contents_string)
    Newlines = re.compile(r'[\r\n]\s+')
    bs = BeautifulSoup.BeautifulSoup(contents_string, convertEntities=BeautifulSoup.BeautifulSoup.HTML_ENTITIES)
    txt = bs.getText('\n')
    return Newlines.sub('\n', txt)

...但是这样我的span元素总是在新行上。这当然是一个简单的例子。有没有办法在超文本标记语言页面中获取文本，就像它在浏览器中呈现的方式一样（不需要css规则，只是div、spans、li等元素呈现的常规方式）在Python中？

Answer 1

我在尝试解析呈现的HTML时遇到了同样的问题。基本上，BS似乎不是这方面的理想方案@Del提供了很棒的html2text解决方案。

关于一个不同的问题：BeautifulSoup get\u text并没有去除使用nltk提到的所有标记和JavaScript@Helge。不幸的是，nltk似乎正在停止这种方法。

我尝试了html2text和nltk。clean\u html，并对计时结果感到惊讶，因此认为可以为子孙后代提供答案。当然，速度在很大程度上取决于数据的内容。。。

来自@Helge（nltd k）的回答。

import nltk

%timeit nltk.clean_html(html)
was returning 153 us per loop

返回带有呈现html的字符串效果非常好。这个nltk模块甚至比html2text更快，尽管html2text可能更健壮。

上面的答案来自@del

betterHTML = html.decode(errors='ignore')
%timeit html2text.html2text(betterHTML)
%3.09 ms per loop

Answer 2

BeautifulSoup是一个刮库，因此它可能不是进行HTML呈现的最佳选择。如果没有必要使用BeautifulSoup，那么您应该看看html2text。例如：

import html2text
html = open("foobar.html").read()
print html2text.html2text(html)

这将输出：

Some text more text even more text

  * list item
  * yet another list item

Some other text

  * list item
  * yet another list item