当前位置: 首页 > 工具软件 > Requests-HTML > 使用案例 >

安装requests-html,requests-html的安装与使用

艾望
2023-12-01

使用requests-html单一库完成简书首页获取(包含请求、解析、JavaScript渲染功能)

一:安装

sudo pip install requests-html

# -*- coding: utf-8 -*-

import requests_html

text_url = 'https://music.line.me/album/mb00000000012ac6c9'

user_agent = requests_html.user_agent()

print("User-Agent:",user_agent)

session = requests_html.HTMLSession()

headers = {

"User-Agent":user_agent

}

r = session.get(text_url,headers=headers)

r.html.render(sleep=1)

print(r.html.html)

r.html.render() 在初次使用该功能的时候会自动下载支持包:Chromium,但是由于国内网网络的原因,异常慢,基本失败,需要改写下载源,找到python3里的Pyppeteer的chromium_downloader.py里的下载路径,在http://npm.taobao.org/mirrors/chromium-browser-snapshots/Linux_x64/上面找最新的路劲写上,shell界面输入pyppeteer-install进行安装。

二、使用

更多使用以后在记录,本次着重把它跑通即可。

requeests_html报错pyppeteer.errors.BrowserError: Browser closed unexpectedly:解决办法

这个一般是环境问题,ubuntu运行以下代码试下

sudo apt-get install gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget

来源:https://www.cnblogs.com/lingwang3/p/13188582.html

 类似资料: