当前位置: 首页 > 编程笔记 >

Python使用urllib模块的urlopen超时问题解决方法

籍利
2023-03-14
本文向大家介绍Python使用urllib模块的urlopen超时问题解决方法,包括了Python使用urllib模块的urlopen超时问题解决方法的使用技巧和注意事项,需要的朋友参考一下

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:


import socket

然后:


socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

 类似资料:
  • 本文向大家介绍详解pyenv下使用python matplotlib模块的问题解决,包括了详解pyenv下使用python matplotlib模块的问题解决的使用技巧和注意事项,需要的朋友参考一下 先来描述一下我遇到的问题,在进行matplotlib学习时, plot.show() 总是无法成功运行,总是会报一个错: RuntimeError: Python is not installed a

  • 本文向大家介绍python 用struct模块解决黏包问题,包括了python 用struct模块解决黏包问题的使用技巧和注意事项,需要的朋友参考一下 为什么会出现黏包现象:   首先只有在TCP协议中才会出现黏包现象,是因为TCP协议是面向流的协议,在发送的数据传输的过程中还有缓存机制来避免数据丢失,因此,在连续发送小数据的时候,以及接收大小不符的时候容易出现黏包现象。本质还是因为我们在接收数据

  • 本文向大家介绍详解python内置模块urllib,包括了详解python内置模块urllib的使用技巧和注意事项,需要的朋友参考一下 urllib 是 python 的内置模块, 主要用于处理url相关的一些操作,例如访问url、解析url等操作。 urllib 包下面的 request 模块主要用于访问url,但是用得太多,因为它的光芒全都被 requests 这个第三方库覆盖了,最常用的还是

  • 本文向大家介绍python中urllib模块用法实例详解,包括了python中urllib模块用法实例详解的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了python中urllib模块用法。分享给大家供大家参考。具体分析如下: 一、问题: 近期公司项目的需求是根据客户提供的api,我们定时去获取数据, 之前的方案是用php收集任务存入到redis队列,然后在linux下做一个常驻进程跑某一

  • 本文向大家介绍Python运行提示缺少模块问题解决方案,包括了Python运行提示缺少模块问题解决方案的使用技巧和注意事项,需要的朋友参考一下 背景: 在pycharm中运行正常,但是使用命令方式就提示没有模块 解决方案 在Python安装目录下的\Lib\site-packages文件夹中建立一个.pth文件,内容为自己写的 查看包是否有导入 再次运行,就成功了 以上就是本文的全部内容,希望对大

  • 本文向大家介绍MongoDB游标超时问题的4种解决方法,包括了MongoDB游标超时问题的4种解决方法的使用技巧和注意事项,需要的朋友参考一下 当我们使用Python从MongoDB里面读取数据时,可能会这样写代码: 短短4行代码,读取MongoDB里面的每一行数据,然后传入parse_data做处理。处理完成以后再读取下一行。逻辑清晰而简单,能有什么问题?只要parse_data(row)不报错