详谈python http长连接客户端
背景：
线上机器，需要过滤access日志，发送给另外一个api
期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截图了。。。）
总之就是端口不够用了报错
原因：
每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口
这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题
第一版短连接版本关键代码如下
因涉及具体业务信息，只贴出了关键部分代码
import pycurl where True: url=myqueue.get() send_msg=pycurl.Curl() send_msg.setopt(pycurl.URL,url) send_msg.perform() print send_msg.getinfo(send_msg.HTTP_CODE)
修改后长连接版本如下：
采用requests库
import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
url=myqueue.get()
r=client.get(url,headers=headers)
print r.status_code
以上这篇详谈python http长连接客户端就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
-
在Netty中创建客户端连接时，我有一个问题。 这里，为什么我们没有一个bind方法，将通道绑定到发起客户端连接的端口（在客户端）？我们唯一需要提供的就是给出服务器地址和端口如下： 这是在客户端还是服务器端创建了一个新的通道？此通道绑定在客户端的哪个端口？ 我们在执行服务器端引导时进行绑定，如下所示 我很困惑，不明白客户端从哪个端口向服务器发送数据，使用的是什么通道？
-
我在Amazon EC2上设置了一个2节点hazelcast集群。在其中一个节点上，我有一个连接到集群并运行原子长计数器增量的客户端程序 如何找出客户端连接并运行增量AndGet操作的Hazelcast服务器节点？ 谢谢
-
执行kafka客户端的生产者/消费者连接池有意义吗？ kafka是否在内部维护已初始化并准备好使用的连接对象列表？ 我们希望最小化连接创建的时间，这样在发送/接收消息时就不会有额外的开销。 目前，我们正在使用apache共享池库来保持连接。 任何帮助都将不胜感激。
-
我想知道以下问题的答案： 1）如果Ignite服务器重新启动，我需要重新启动客户端（web应用程序）。是否有任何方法可以在服务器重新启动时重新连接到服务器。我知道当服务器重新启动时，它分配了一个不同的ID，因此当前现有的连接变得过时。是否有方法克服这个问题，如果是的话，哪一个版本的Ignite支持这个功能。目前我使用1.7版本 3）如果我有一个大对象要缓存，我发现序列化和反序列化在Ignite中需
-
问题内容： 我正在设计一个将Redis用作数据库的Web服务，并且我想了解使用Redis与StackService客户端连接的最佳实践。 关键是我一直在阅读有关Redis的文章，发现与服务器交互的最佳方法是使用单个并发连接。 问题是，尽管每当Web客户端向Web服务发出请求时，我都会使用 PooledRedisClientManager ，但我又获得了一个到Redis服务器的连接客户端（打开的连接
-
按照这里的讨论，我使用以下步骤使外部客户端（基于 kafkajs）连接到 OpenShift 上的 Strimzi。这些步骤从这里开始。 被编辑为如下所示。 要提取证书并在客户端中使用它，我运行了以下命令： 请注意，我必须在我的macOS上使用，而不是，如留档所示。 这是从他们的 页面和他们的文档改编的客户端。 当我从具有的文件夹运行时，我收到一条连接拒绝消息。 我错过了什么？