从bucket到文件系统的一次缓慢传输

Question

Im使用RCONE在微型存储桶和共享存储之间传输数据。我正在迁移一个商店，数据量约为200GB的产品图片。每个图片都有自己的文件夹/路径。因此，有很多文件夹需要创建来保存。Rclone安装在新服务器上，存储通过san连接到服务器。传输已经进行了一个多星期，我们现在的容量是170GB。一切都很好，但在我看来它真的很慢。从bucket到经典文件系统的传输有这么慢，这正常吗？

Answer 1

（算算一下，速度只有2.3Mbps。老实说，我不会为此付出任何代价。）

也许你应该把问题分解开来，一部分一部分地诊断。下面是几个常见的地方，以防传输速度慢（一般来说，对于任何文件传输）：

首先，网络和文件系统通常无法处理大量的小文件，因此要解决这个问题，请先将较大的文件上载到minio（1GB）。对于每个步骤，首先使用大文件进行测试。

1. 震源的速度够快吗？尝试将文件从minio复制到本地存储器或Ramdisk（/tmp通常是tmpfs，反过来存储在RAM中，请使用mount进行检查）

同样，请分别对大文件和碎片文件执行这些步骤。碎片文件很可能是一个问题。如果是这样，我将尝试在rclone中寻找并发选项。