python中的regex模式，用于解析HTML标题标签

Question

我正在学习在python中同时使用该re模块和该urllib模块，并尝试编写一个简单的网络抓取工具。这是我编写的仅刮擦网站标题的代码：

#!/usr/bin/python

import urllib
import re

urls=["http://google.com","https://facebook.com","http://reddit.com"]

i=0

these_regex="<title>(.+?)</title>"
pattern=re.compile(these_regex)

while(i<len(urls)):
        htmlfile=urllib.urlopen(urls[i])
        htmltext=htmlfile.read()
        titles=re.findall(pattern,htmltext)
        print titles
        i+=1

这样可以为Google和Reddit提供正确的输出，但不能为Facebook提供正确的输出-像这样：

['Google']
[]
['reddit: the front page of the internet']

这是因为，我发现在Facebook页面上的title标签如下：<title id="pageTitle">。为了适应额外的需求id=，我对these_regex变量进行了如下修改：these_regex="<title.+?>(.+?)</title>"。但这给出了以下输出：

[]
['Welcome to Facebook \xe2\x80\x94 Log in, sign up or learn more']
[]

如何将两者结合起来，以便考虑title标记中传递的任何其他参数？

Answer 1

您正在使用正则表达式，并且将与此类表达式匹配的HTML变得太复杂，太快。

取而代之的是使用HTML解析器，Python有多种选择。我建议您使用BeautifulSoup，这是一个受欢迎的3rd
party库。

BeautifulSoup示例：

from bs4 import BeautifulSoup

response = urllib2.urlopen(url)
soup = BeautifulSoup(response.read(), from_encoding=response.info().getparam('charset'))
title = soup.find('title').text

由于title标签本身不包含其他标签，因此可以在此处使用正则表达式，但是一旦尝试解析嵌套标签， 就会 遇到非常复杂的问题。

您可以通过匹配title标记中的其他字符来解决您的特定问题，可以选择：

r'<title[^>]*>([^<]+)</title>'

匹配0个或多个 不是 右>括号的字符。此处的“ 0或更多”可让您同时匹配额外的属性和纯<title>标签。