豆瓣python网络数据采集器_python网络数据采集笔记（一）
注意：
1.为了避免一个页面被采集两次， 链接去重是非常重要的。
2.写代码之前拟个大纲或画个流程图是很好的编程习惯，这么做不仅可以为你后期处理节省
很多时间，更重要的是可以防止自己在爬虫变得越来越复杂时乱了分寸。
3.处理网页重定向
•服务器端重定向，网页在加载之前先改变了 URL；
• 客户端重定向，有时你会在网页上看到“10 秒钟后页面自动跳转到……”之类的消息，
表示在跳转到新 URL 之前网页需要加载内容。
服务器端重定向，你通常不用担心。如果你在用 Python 3.x 版本的 urllib 库，它会自
动处理重定向。不过要注意，有时候你要采集的页面的 URL 可能并不是你当前所在页
面的 URL。
fromurllib.request import urlopenfrombs4 import BeautifulSoup
import re
import datetime
import random
pages= set()
#随机数种子
random.seed(datetime.datetime.now())
#获取页面所有内链的列表
def getInternalLinks(bsObj, includeurl):
internalLinks=[]
#匹配以/开头的字符串，或匹配包括includeurl的字符串，+表示字符串拼接。for link in bsObj.find_all("a", href=re.compile("^(/|.*" +includeurl+")")):
#for link in bsObj.find_all("a", href=re.compile("^(.*" + includeurl + ")")):if link.attrs['href'] isnot None:if link.attrs['href'] not ininternalLinks:
internalLinks.append(link.attrs['href'])returninternalLinks
#获取页面内所有外链的列表
def getExternalLinks(bsObj, excludeurl):
externalLinks=[]
# 找出所有以"http"或"www"开头且不包含当前URL的链接for link in bsObj.find_all("a", href=re.compile("^(http|www)((?!" +excludeurl+").)*$")):if link.attrs['href'] isnot None:if link.attrs['href'] not inexternalLinks:
externalLinks.append(link.attrs['href'])returnexternalLinks
#URL链接切片，为了获得域名
def splitAddress(adress):
adressParts= adress.replace("http://", "").split("/")returnadressParts
#于外链列表中随机选取一条外链
def getRandomExternalLink(startingpage):
html=urlopen(startingpage)
bsObj= BeautifulSoup(html, "lxml")
externalLinks=getExternalLinks(bsObj, startingpage)if len(externalLinks) == 0:
internalLinks=getInternalLinks(startingpage)return getExternalLinks(internalLinks[random.randint(0, len(internalLinks)-1)])else:return externalLinks[random.randint(0, len(externalLinks)-1)]
#外链跳转，从一条外链跳转到另一条
def followExternalOnly(siteurl):
externalLink=getRandomExternalLink(siteurl)
print("随机外链：", externalLink)
followExternalOnly(externalLink)
#收集网站内所有外链列表
allExtLinks= set()
allIntLinks= set()
def getAllExternalLinks(siteurl):
html=urlopen(siteurl)
bsObj= BeautifulSoup(html, "lxml")
internalLinks= getInternalLinks(bsObj, splitAddress(siteurl)[0])
externalLinks= getExternalLinks(bsObj, splitAddress(siteurl)[0])for link inexternalLinks:if link not inallExtLinks:
allExtLinks.add(link)
print(link)for link ininternalLinks:if link not inallIntLinks:
allIntLinks.add(link)
print("即将获取链接的URL是："+link)
getAllExternalLinks(link)
#从互联网采集，从一个外链跳转到另一个外链
#followExternalOnly("http://oreilly.com")
#获取网站所有外链
getAllExternalLinks("http://oreilly.com")
说明：以上代码可以执行两个功能。仅运行followExternalOnly("http://oreilly.com")是从互联网采集，从一个外链跳转到另一个外链。
仅运行getAllExternalLinks("http://oreilly.com")可以获取网站所有外链。
说一下运行getAllExternalLinks("http://oreilly.com")遇到的问题，发生raise ValueError("unknown url type: %r" % self.full_url)，ValueError: unknown url type: '/oscon/oscon-or/schedule'
是不是问题出现在获取页面所有内链函数getInternalLinks（）的for link in bsObj.find_all("a", href=re.compile("^(/|.*" +includeurl+")")):的部分。为何要匹配以/开头的URL？
不懂，留待以后解决吧。。。希望我别忘了。。。
备注：
BeautifulSoup的find()和find_all()
BeautifulSoup里的find()和find_all()可能是你最常用的两个函数。借助它们，你可以通过标签的不同属性轻松地过滤HTML页面,查找需要的标签组或单个标签。
find()函数语法：
find( name , attrs , recursive , string , **kwargs )
find_all()函数语法：
find_all( name , attrs , recursive , string , **kwargs )
搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件。
name参数可以查找所有名字为name的tag,字符串对象会被自动忽略掉。搜索 name参数的值可以使任一类型的过滤器,字符串,正则表达式,列表,方法等。
attrs参数定义一个字典参数来搜索包含特殊属性的tag。
通过string参数可以搜搜文档中的字符串内容,与name参数的可选值一样。
keyword参数：如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索。
find_all()方法返回全部的搜索结构,如果文档树很大那么搜索会很慢。如果我们不需要全部结果,可以使用 limit参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到limit的限制时,就停止搜索返回结果。
find 等价于 find_all 的 limit 等于 1 ;
调用tag的 find_all()方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False。
其他BeautifulSoup对象
NavigableString对象：表示标签里面的文字；
Comment对象：用来查找HTML文档的注释标签。