线程安全和容错文件写入

Question

我有一个长时间运行的过程，该过程将很多东西写入文件中。结果应该是全部或什么都没有，因此我正在写入一个临时文件，并在最后将其重命名为真实名称。目前，我的代码是这样的：

filename = 'whatever'
tmpname = 'whatever' + str(time.time())

with open(tmpname, 'wb') as fp:
    fp.write(stuff)
    fp.write(more stuff)

if os.path.exists(filename):
    os.unlink(filename)
os.rename(tmpname, filename)

我对此不满意，原因有几个：

• 如果发生异常，它将无法正确清理
• 它忽略了并发问题
• 它是不可重用的（我在程序的不同位置需要它）

有什么建议可以改善我的代码吗？有图书馆可以帮助我吗？

Answer 1

您可以使用Python的tempfile模块为您提供一个临时文件名。它可以以线程安全的方式创建一个临时文件，而不是使用一个临时文件（time.time()如果同时在多个线程中使用该文件可能返回相同的名称）。

正如对您的问题的评论中所建议的那样，这可以与上下文管理器一起使用。通过查看Pythontempfile.py源代码，您可以得到一些有关如何实现想要执行的操作的想法。

下面的代码段可能会做您想要的。它使用从返回的对象的某些内部tempfile。

• 创建临时文件是线程安全的。
• 成功完成文件重命名是原子的，至少在Linux上是如此。没有之间的单独检查os.path.exists()和os.rename()可能引入竞争状态。对于Linux上的原子重命名，源和目标必须位于同一html" target="_blank">文件系统上，这就是为什么此代码将临时文件与目标文件放置在同一目录中的原因。
• 在大多数情况下，RenamedTemporaryFile该类的行为应类似于a NamedTemporaryFile，除非使用上下文管理器关闭该类时，文件会重命名。

样品：

import tempfile
import os

class RenamedTemporaryFile(object):
    """
    A temporary file object which will be renamed to the specified
    path on exit.
    """
    def __init__(self, final_path, **kwargs):
        tmpfile_dir = kwargs.pop('dir', None)

        # Put temporary file in the same directory as the location for the
        # final file so that an atomic move into place can occur.

        if tmpfile_dir is None:
            tmpfile_dir = os.path.dirname(final_path)

        self.tmpfile = tempfile.NamedTemporaryFile(dir=tmpfile_dir, **kwargs)
        self.final_path = final_path

    def __getattr__(self, attr):
        """
        Delegate attribute access to the underlying temporary file object.
        """
        return getattr(self.tmpfile, attr)

    def __enter__(self):
        self.tmpfile.__enter__()
        return self

    def __exit__(self, exc_type, exc_val, exc_tb):
        if exc_type is None:
            self.tmpfile.delete = False
            result = self.tmpfile.__exit__(exc_type, exc_val, exc_tb)
            os.rename(self.tmpfile.name, self.final_path)
        else:
            result = self.tmpfile.__exit__(exc_type, exc_val, exc_tb)

        return result

然后可以像这样使用它：

with RenamedTemporaryFile('whatever') as f:
    f.write('stuff')

在写入过程中，内容进入一个临时文件，退出时该文件被重命名。这段代码可能需要进行一些调整，但是总体思路应该可以帮助您入门。