谷歌云存储批量移动文件失败。“由对等点重置连接”

Question

def archive_pending_blobs(bucket: Bucket, blobs: typing.List[Blob], pending_prefix: str,
                          loaded_prefix: str) -> None:
    """Archive pending blobs to loaded prefix."""
    try:
        for b in blobs:
            bucket.copy_blob(b, bucket, b.name.replace(pending_prefix, loaded_prefix))
        bucket.delete_blobs(blobs)
    except Exception as e:
        print('gcs achieving error for path: {} err: {}'.format(pending_prefix, e))
        raise e

回溯（最近的调用为last）：文件“/env/local/lib/python3.7/site-packages/urllib3/connectionpool.py”，第600行，在urlopen chunked=chunked)文件“/env/local/lib/python3.7/site-packages/urllib3/connectionpool.py”中，第384行，在_make_request six.raise_from（e,None）文件“中，第2行，在raise_from文件”opt/python3.7/lib/python3.7/http/client.py“，第1321行，在getresponse response.begin（）文件”/opt/python3.7/lib/python3.7/http/client.py“中，第296行，在begin version,status,reason=self._read_status()文件”/opt/python3.7/lib/python3.7/http/client.py“中，第257行，在_read_status行=str(self.fp.readline(_maxline+1),”iso-8859-1“中into return self._sock.recv_into(b)文件”/opt/python3.7/lib/python3.7/ssl.py“，第1049行，在recv_into return self.read（nbytes,buffer）文件”/opt/py“中thon3.7/lib/python3.7/ssl.py“，第908行，在read return self._sslobj.read（len,buffer）connectionreseterror：[Errno 104]由对等方重置连接在处理上述异常期间，另一个异常发生：Traceback（最近的调用为last）：File”/env/local/lib/python3.7/site-packages/requests/adapters.py“,第445行，在send timeout=timeout File”al/lib/python3.7/site-packages/urllib3/util/retry.py“，第367行，在增量引发six.reraise（type（error）,error,_stacktrace）文件”/env/local/lib/python3.7/site-packages/urllib3/packages/six.py“，第685行，在reraise引发value.with_traceback(tb)文件”/env/local/lib/python3.7/site-packages/urllib3/connectionpool.py“，第600行，在urlopen lib3/connectionpool.py”，第384行，在_make_request six.raise_from（e,None）文件“”中，第2行，在rai中se_from文件“/env/local/lib/python3.7/site-packages/urllib3/connectionpool.py”，第380行，在_make_request httplib_respons=conn.getresponse（）文件“/opt/python3.7/lib/python3.7/http/client.py”中，第1321行，在getresponse response.begin（）文件“/opt/python3.7/lib/python3.7/http/client.py”中，在getresponse response.begin（）文件“line=str(self.fp.readline(_maxline+1),”ISO-8859-1“）文件”/opt/python3.7/lib/python3.7/socket.py“,第589行，在readinto返回self._sock.recv_into(b)文件”/opt/python3.7/lib/python3.7/ssl.py“中，第1049行，在recv_into返回self.read(nbytes,buffer）文件”/opt/python3.7/lib/python3.7/ssl.py“中，在readinto返回'，ConnectionResetError(104,'Connection reset by Peer'))在处理上述异常期间，发生了另一个异常：Traceback（最近的call last）：文件“/user_code/main.py”，第230行，在bq_merge archive_pending_blobs（bucket,blobs[min_idx:max_idx],pending_prefix,loaded_prefix)中文件“/user_code/main.py”，第44行，在archive_pending_blobs中文件“/user_code/main.py”，第40行，在archive_pending_blobs bucket.copy_blobb（b,bucket,b.name.replace（blob_target_object=new_blob，文件“/env/local/lib/python3.7/site-packages/google/cloud/_http.py”,第290行，api_request headers=headers,target_object=_target_object）文件“/env/local/lib/python3.7/site-packages/google/cloud/_http.py”,第183行，在_make_request返回self._do_request（方法，url,headers,data,do_request url=url,method=method,headers=headers,data=data)文件“/env/local/lib/python3.7/site-packages/google/auth/transport/requests.py“，第201行，在request method,url中，data=data,headers=request_headers,**kwargs）文件”/env/local/lib/python3.7/site-packages/requests/sessions.py“，第512行，在request resp=self.send（prep,**send_kwargs）文件”/env/local/lib/python3.7/site-packages/requests/sessions.py“，第622行，在send r=adapter.send（request,requests.exceptions.ConnectionError：('Connection Aborted.',ConnectionReseterRorror（104,'Connection reset by Peer'))在处理上述异常期间，发生了另一个异常：Traceback（最近的调用为last）：File”/env/local/lib/python3.7/site-packages/google/cloud/functions_v1beta2/worker.py“,li

Answer 1

根据StackOverflow关于连接由对等方重置的回答，如果远程服务器发送RST数据包以间接地删除连接，这似乎是一个致命的错误。

这另一个这样的答案解决了如何解决它。给出的解决方案是使用time.sleep，但正如我们在注释中讨论的那样，在您的情况下不起作用。这就是为什么我建议使用截断指数退避的不同方法：

截断指数退避是网络应用程序的一种标准错误处理策略，在这种策略中，客户端周期性地重试失败的请求，请求之间的延迟增加。[...]