python爬虫 - https认证如何用代码实现？
这个网页的数据如何获得？
https://fiin-core.ssi.com.vn/Master/GetListOrganization?langu...
访问的时候，要求认证
点击，verify you are human,可以看到数据。
现在，我想抓取这些数据：
import requests
url = "https://fiin-core.ssi.com.vn/Master/GetListOrganization?language=en"
headers={
"Accept-Encoding":"gzip, deflate, br",
"Accept-Language":"en-GB,en;q=0.5",
"Connection":"keep-alive",
"Host":"fiin-core.ssi.com.vn",
"Sec-Fetch-Dest":"document",
"Sec-Fetch-Mode":"navigate",
"Sec-Fetch-Site":"cross-site",
"TE":"trailers",
"Upgrade-Insecure-Requests":"1",
"User-Agent":"Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Frefox/113.0"
}
r = requests.get(url, headers=headers)
r.status_code
403怎么办呢？
共有1个答案
这个不是https认证，这个是Cloudflare的人机验证。据我所知，这个Cloudflare基本没有好的办法能绕过。
- 可以试试调用模拟器访问数据(概率很低)
- 试试用浏览器加油猴脚本(可能可以)
- 找到源站
-
本文向大家介绍python+selenium+chromedriver实现爬虫示例代码，包括了python+selenium+chromedriver实现爬虫示例代码的使用技巧和注意事项，需要的朋友参考一下 下载好所需程序 1.Selenium简介 Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就像真正的用户在操作一样。 2.Selenium安装 方法一：在Windows
-
本文向大家介绍Python爬虫爬取美剧网站的实现代码，包括了Python爬虫爬取美剧网站的实现代码的使用技巧和注意事项，需要的朋友参考一下 一直有爱看美剧的习惯，一方面锻炼一下英语听力，一方面打发一下时间。之前是能在视频网站上面在线看的，可是自从广电总局的限制令之后，进口的美剧英剧等貌似就不在像以前一样同步更新了。但是，作为一个宅diao的我又怎甘心没剧追呢，所以网上随便查了一下就找到一个能用迅雷
-
本文向大家介绍PHP实现爬虫爬取图片代码实例，包括了PHP实现爬虫爬取图片代码实例的使用技巧和注意事项，需要的朋友参考一下 文字信息 我们尝试获取表的信息，这里，我们就用某校的课表来代替： 接下来我们就上代码： a.php 然后咱们就运行一下： 成功获取到课表； 图片获取 绝对链接 我们以百度图库的首页为例 b.php 然后，我们就获得了下面的页面： 相对链接 百度图库的图片的链接大部
-
本文向大家介绍python scrapy爬虫代码及填坑，包括了python scrapy爬虫代码及填坑的使用技巧和注意事项，需要的朋友参考一下 涉及到详情页爬取 目录结构: kaoshi_bqg.py xmly.py item.py pipelines.py starts.py 然后是爬取到的数据 小说 xmly.json 记录一下爬取过程中遇到的一点点问题: 在爬取详情页的的时候, 刚开始不知道
-
本文向大家介绍python爬虫爬取图片的简单代码，包括了python爬虫爬取图片的简单代码的使用技巧和注意事项，需要的朋友参考一下 Python是很好的爬虫工具不用再说了，它可以满足我们爬取网络内容的需求，那最简单的爬取网络上的图片，可以通过很简单的方法实现。只需导入正则表达式模块，并利用spider原理通过使用定义函数的方法可以轻松的实现爬取图片的需求。 1、spider原理 spider就是定
-
本文向大家介绍Python使用requests及BeautifulSoup构建爬虫实例代码，包括了Python使用requests及BeautifulSoup构建爬虫实例代码的使用技巧和注意事项，需要的朋友参考一下 本文研究的主要是Python使用requests及BeautifulSoup构建一个网络爬虫，具体步骤如下。 功能说明 在Python下面可使用requests模块请求某个url获取响