基于Python爬取fofa网页端数据过程解析
FOFA-网络空间安全搜索引擎是网络空间资产检索系统（FOFA）是世界上数据覆盖更完整的IT设备搜索引擎，拥有全球联网IT设备更全的DNA信息。探索全球互联网的资产信息，进行资产及漏洞影响范围分析、应用分布统计、应用流行度态势感知等。
安装环境：
pip install requests
pip install lxml
pip install fire
使用命令：
python fofa.py -s=title="你的关键字" -o="结果输出文件" -c="你的cookie"
代码如下：
import requests,time,base64,fire
from lxml import etree
def fofasc(s,o,c):
try:
sbase64 = (base64.b64encode(s.encode('utf-8'))).decode('utf-8')
cookies = {
"_fofapro_ars_session": c
}
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 7.1.2; PCRT00 Build/N2G48H; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.158 Safari/537.36 fanwe_app_sdk sdk_type/android sdk_version_name/4.0.1 sdk_version/2020042901 screen_width/720 screen_height/1280',
}
for i in range(1,1000):
url = "https://www.fofa.so/result?q="+s+"&qbase64="+sbase64+"&full=true&page="+str(i)
r = requests.get(url, headers=headers, cookies=cookies)
soup = etree.HTML(r.text)
result = soup.xpath('//*[@id="ajax_content"]/div/div/div/a/text()')
print(result)
if result != []:
for rs in result:
with open(o,mode="a+") as f:
f.write(rs+"\n")
else:
print("已经获取不到任何数据，爬取完毕！")
break
time.sleep(2)
except KeyboardInterrupt:
print('用户退出')
if __name__ == '__main__':
fire.Fire(fofasc)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持小牛知识库。
-
本文向大家介绍python爬虫爬取网页数据并解析数据，包括了python爬虫爬取网页数据并解析数据的使用技巧和注意事项，需要的朋友参考一下 1.网络爬虫的基本概念 网络爬虫（又称网络蜘蛛，机器人），就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 只要浏览器能够做的事情，原则上，爬虫都能够做到。 2.网络爬虫的功能 网络爬虫可以代替手工做很多事情，比如可以
-
本文向大家介绍Python Scrapy多页数据爬取实现过程解析，包括了Python Scrapy多页数据爬取实现过程解析的使用技巧和注意事项，需要的朋友参考一下 1.先指定通用模板 url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板 pageNum = 1 2.对parse方法递归处理 parse第一次调用表示的是用来解析第一页对
-
本文向大家介绍基于python爬取梨视频实现过程解析，包括了基于python爬取梨视频实现过程解析的使用技巧和注意事项，需要的朋友参考一下 目标网址：梨视频 然后我们找到科技这一页：https://www.pearvideo.com/category_8。其实你要哪一页都行，你喜欢就行。嘿嘿… 这是动态网站，所以咱们直奔network 然后去到XHR： 找规律，这个应该不难，我就直接贴网址上来咯，
-
本文向大家介绍基于python爬虫数据处理(详解)，包括了基于python爬虫数据处理(详解)的使用技巧和注意事项，需要的朋友参考一下 一、首先理解下面几个函数 设置变量 length()函数 char_length() replace() 函数 max() 函数 1.1、设置变量 set @变量名=值 1.2 、length()函数 char_length()函数区别 1.3、 replace(
-
本文向大家介绍Python大数据之从网页上爬取数据的方法详解，包括了Python大数据之从网页上爬取数据的方法详解的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了Python大数据之从网页上爬取数据的方法。分享给大家供大家参考，具体如下： myspider.py ： items.py ： middlewares.py ： pipelines.py : settings.py
-
本文向大家介绍基python实现多线程网页爬虫，包括了基python实现多线程网页爬虫的使用技巧和注意事项，需要的朋友参考一下 一般来说，使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。 实现多线程网页爬虫，采用了多线程和锁机制，实现了广度优先算法