安装requests-html,requests-html的安装与使用

使用requests-html单一库完成简书首页获取(包含请求、解析、JavaScript渲染功能)

一：安装

sudo pip install requests-html

# -*- coding: utf-8 -*-

import requests_html

text_url = 'https://music.line.me/album/mb00000000012ac6c9'

user_agent = requests_html.user_agent()

print("User-Agent：",user_agent)

session = requests_html.HTMLSession()

headers = {

"User-Agent":user_agent

}

r = session.get(text_url,headers=headers)

r.html.render(sleep=1)

print(r.html.html)

r.html.render() 在初次使用该功能的时候会自动下载支持包：Chromium,但是由于国内网网络的原因，异常慢，基本失败，需要改写下载源，找到python3里的Pyppeteer的chromium_downloader.py里的下载路径，在http://npm.taobao.org/mirrors/chromium-browser-snapshots/Linux_x64/上面找最新的路劲写上，shell界面输入pyppeteer-install进行安装。

二、使用

更多使用以后在记录，本次着重把它跑通即可。

requeests_html报错pyppeteer.errors.BrowserError: Browser closed unexpectedly:解决办法

这个一般是环境问题，ubuntu运行以下代码试下

sudo apt-get install gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget

来源：https://www.cnblogs.com/lingwang3/p/13188582.html