红宝石 P 存储文件太大

Question

我正在使用PStore来存储一些计算机模拟的结果。不幸的是，当文件变得太大（从我所看到的超过2GB）时，我无法再将文件写入磁盘，我收到以下错误;

Errno::EINVAL: Invalid argument - <filename>

我知道这可能是IO的限制，但我想知道是否有解决方法。例如，要读取大型 JSON 文件，我会先拆分文件，然后分批读取。也许最终的解决方案应该是在后端切换到一个合适的数据库，但是由于特定Ruby（Sketchup）的一些限制，我使用这个并不总是可能的。

Answer 1

我将假设您的数据有一个字段，可以用作粗略的键。

因此，我建议不要将数据转储到一个大文件中，而是将数据放入不同的文件/桶中。例如，如果您的数据有一个< code>name字段，您可以取名称的前1-4个字符，用这些字符创建一个文件，如< code > rojj-datafile . p store 并在那里添加条目。任何名字以“rojj”开头的记录都放在那个文件里。

更结构化的版本是将第一个字符作为目录，然后将文件放入其中，如< code > r/rojj-datafile . p store 。

显然，您的读/写机制必须考虑到这种新的文件结构，毫无疑问，将数据处理到pStore中的速度会变慢。