ConnectionError:写入套接字时出现错误104。对等方重置连接

Question

连接错误：写入套接字时出错104。连接由对等重置。

环境： ubuntu： 16.04 python： 3.6 PC总内存： 32G

我已经安装了redis'3.0.6'。

当您尝试插入500000个数据时，它会成功，但当您尝试插入4000万个大数据时，它会失败。

当尝试将Python数据帧插入redis时，由于容量太大而失败。

数据插入成功：

 1. r = redis.StrictRedis(host='localhost', port=6379, db=0)
 2.log_df_50.shape
   -> (500000, 6)
 3.r.setex('log_df_50',100,log_df_50.to_json())
   -> True

数据插入失败：

 1.r = redis.StrictRedis(host='localhost', port=6379, db=0)
 2. log_df.shape
   -> (41757802, 6)
 3. r.setex('session',100,log_df.to_json())

ConnectionResetError Traceback（最近的调用最后）~/anaconda3/envs/Colabo/lib/python3.6/site-pack/redis/connection.py在send_packed_command（自己，命令，check_health）705中的项目在命令：-

~/anaconda3/envs/Colabo/lib/python3.6/site-包/redis/_compat.py在sendall（袜子，*args，**kwargs）8 def sendall（袜子，*args，**kwargs): ----

连接重置错误：[Errno 104]连接由对等重置

在处理上述异常期间，发生了另一个异常：

中的ConnectionError回溯（最近一次呼叫）----

setex（self，name，time，value）1820中的~/anaconda3/envs/Colabo/lib/python3.6/site-packages/redis/client.py，如果是instance（time，datetime.timedelta）：1821 time=int（time.total_seconds（））-

~/anaconda3/envs/Colabo/lib/python3.6/site-packages/redis/client.py在execute_命令（self，*args，**选项）898 conn=self.connection或pool.get_connection（命令名，**选项）899尝试：--

~/anaconda3/envs/Colabo/lib/python3.6/site-pack/redis/connection.py在send_command（自己，*args，**kwargs）724"打包并发送命令到Redis服务器"725self.send_packed_command（self.pack_command（*args），--

~/anaconda3/envs/Colabo/lib/python3.6/site-packages/redis/connection.py在send\u packed\u命令（self，command，check\u health）716 errmsg=e.args[1]717 raise ConnectionError（“写入套接字时出现错误%s.%s”。%--

连接错误：写入套接字时出错104。连接由对等重置。

原因有什么线索吗？

如何将Python大容量数据框插入redis？

我应该怎么做才能解决这个问题？

Answer 1

我也有同样的问题。在中设置ssl=True

1. r = redis.StrictRedis(host='localhost', port=6379, db=0, ssl=True)

帮我解决了

Answer 2

我认为问题在于Redis协议中键/值的512 MB限制。
https://redis.io/topics/protocol
https://redis.io/topics/data-types-intro

现在你对此无能为力。

您可能需要将数据帧切成更小的片段。

更新：
您还可以使用较新的Redis（最低5.0）并在Redis.conf中增加proto-max-bulk-len。https://github.com/redis/redis/issues/7354
我还必须增加客户端查询缓冲区限制。