requests-html

python库——requests-html

这个库是一个解析html的库

安装
必须是python3.6以上的版本。

pip install requests-html

获取网页

不需要用另一个HTTP库把网页下载下来，再传给HTML解析库。
from requests_html import HTMLSession session = HTMLSession() logging_url = session.get('网页') print(logging_url.html.html)

urljoin()
连接一个基本URL和一个可能的相对URL来形成一个绝对URL。
base参数代表基本URL

logging.info()
logging是python的日志库，类。info属性输出日志信息。

post请求
get是明文显示，post是非明文显示。
get请求会应用于获取网页数据。
post请求则应用于向网页提交数据，比如提交表单类型数据（账号密码）。requests.post()
cookies：登陆时候勾选“记住”，服务器就会生成一个cookies和sipderman和这个账号绑定。让浏览器cookies存储到本地电脑，下次访问不需要重复输入账号密码。
但是具有时效性，过期后会失效。
（参考：https://blog.csdn.net/weixin_48615832/article/details/107029831?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ELandingCtr%7EHighlightScore-5.queryctrv2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ELandingCtr%7EHighlightScore-5.queryctrv2&utm_relevant_index=9）