爬虫urllib库parse模块的urlparse详解
一 点睛
urllib库里还提供了parse这个模块，它定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及链接转换。
它支持如下协议的URL处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet和wais。
本篇详细介绍urlparse()。
二 urlparse()详解
1 代码1
from urllib.parse import urlparse
# 该方法可以实现URL的识别和分段
result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
# 这里我们利用urlparse()方法进行了一个URL的解析。首先，输出了解析结果的类型，然后将结果也输出出来。
print(type(result), result)2 结果1
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
<class 'urllib.parse.ParseResult'> ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')3 说明1
可以看到，返回结果是一个ParseResult类型的对象，它包含6部分，分别是scheme、netloc、path、params、query和fragment。
观察一下该实例的URL：http://www.baidu.com/index.html;user?id=5#comment
可以发现，urlparse()方法将其拆分成了6部分。
大体观察可以发现，解析时有特定的分隔符。比如，://前面的就是scheme，代表协议；第一个/前面便是netloc，即域名；分号;后面是params，代表参数。
所以，可以得出一个标准的链接格式，具体如下：
scheme://netloc/path;parameters?query#fragment
一个标准的URL都会符合这个规则，利用urlparse()方法可以将它拆分开来。
4 urlparse()的API
urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
可以看到，它有3个参数。
-
urlstring：这是必填项，即待解析的URL。
-
scheme：它是默认的协议（比如http或https等）。假如这个链接没有带协议信息，会将这个作为默认的协议。
-
allow_fragments：即是否忽略fragment。如果它被设置为False，fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。
5 代码2
from urllib.parse import urlparse
result = urlparse('www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)6 结果2
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
ParseResult(scheme='https', netloc='', path='www.baidu.com/index.html', params='user', query='id=5', fragment='comment')7 说明2
提供的URL没有包含最前面的scheme信息，但是通过指定默认的scheme参数，返回的结果是https。
scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息，就会返回解析出的scheme。
8 代码3
result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', scheme='https')9 结果3
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')10 说明3
scheme参数只有在URL中不包含scheme信息时才生效。如果URL中有scheme信息，就会返回解析出的scheme。
11 代码4
# allow_fragments：即是否忽略fragment。如果它被设置为False，
# fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。
from urllib.parse import urlparse
result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', allow_fragments=False)
print(result)12 结果4
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5#comment', fragment='')13 代码5
from urllib.parse import urlparse
result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result)14 结果5
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_3.py
ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html#comment', params='', query='', fragment='')15 说明5
当URL中不包含params和query时，fragment便会被解析为path的一部分。
16 代码6
from urllib.parse import urlparse
result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result.scheme, result[0], result.netloc, result[1], sep='\n')17 结果6
http
http
www.baidu.com
www.baidu.com18 说明6
返回结果ParseResult实际上是一个元组，我们可以用索引顺序来获取，也可以用属性名获取。