SSEClient无法使用SSE协议检索长流

Question

我试图使用Python从服务器使用SSE（服务器发送事件）流。为此，我尝试使用sseclient包。

pip安装sseclient0.0.27版已安装。

现在的程序：

from sseclient import SSEClient
import json

url - # URL
token = # token

headers = {}
headers['Accept'] = 'text/event-stream'
headers['Authorization'] = 'Bearer ' + token

messages = SSEClient(url, headers=headers)

for message in messages:
    node = json.loads(message.data)
    # process the node

当我使用一个短流（只有几条消息）时，它工作得很好。

但当我使用一个由几千条消息组成的流时，它会中断：

Traceback (most recent call last):
  File "/Users/romanpuchkovskiy/scripts/./search.py", line 67, in <module>
    node = json.loads(message.data)
  File "/usr/local/Cellar/python@3.9/3.9.0_1/Frameworks/Python.framework/Versions/3.9/lib/python3.9/json/__init__.py", line 346, in loads
    return _default_decoder.decode(s)
  File "/usr/local/Cellar/python@3.9/3.9.0_1/Frameworks/Python.framework/Versions/3.9/lib/python3.9/json/decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "/usr/local/Cellar/python@3.9/3.9.0_1/Frameworks/Python.framework/Versions/3.9/lib/python3.9/json/decoder.py", line 353, in raw_decode
    obj, end = self.scan_once(s, idx)
json.decoder.JSONDecodeError: Expecting ',' delimiter: line 1 column 411 (char 410)

实际上是进一步的处理中断了，但这意味着sseclient会破坏数据（因此以后无法将其解析为JSON）。我使用相同的请求使用CURL检查了流，并且响应正常。用Java编写的客户端也可以成功地使用它（使用spring webflux中的WebClient）。

原因可能是什么？

Answer 1

原来，sseclient中有一个bug：https://github.com/btubbs/sseclient/issues/28

它仍然是开放的，但有一个公关解决这个问题https://github.com/btubbs/sseclient/pull/35

它还没有合并。我把打了补丁的SSE客户端拿走了。py这里https://raw.githubusercontent.com/mutantmonkey/sseclient/disable_short_reads_when_chunked/sseclient.py，将它放在脚本所在的目录中，现在一切正常。