#爬取xkcd首页的图片,并按照链接逐渐抓取下去 import os,requests,bs4 url='https://xkcd.com/' #创建保存图片的文件夹exist_ok=True确保在存在文件夹时不会抛出异常 os.makedirs('xkcd', exist_ok=True) #循环抓取首页图片 while not url.endswith('#'): print('下载页面%s...' % url) #下载首页 res = requests.get(url) res.raise_for_status() #抓取首页图片链接 soup = bs4.BeautifulSoup(res.text, 'html.parser') comicElem = soup.select('#comic img') if comicElem ==[]: print('找不到图片') else: #图片链接 comicUrl = 'http:'+comicElem[0].get('src') print('下载图片%s...' % comicUrl) res = requests.get(comicUrl) res.raise_for_status() #下载图片 imageFile = open(os.path.join('xkcd', os.path.basename(comicUrl)), 'wb') #每次下载10万b的图片数据 for chunk in res.iter_content(1000000): imageFile.write(chunk) imageFile.close() #抓取下一页图片链接 prevLink = soup.select('a[rel="prev"]')[0] #初始化链接 url = 'http://xkcd.com' + prevLink.get('href') print('Done')