Django上传：丢弃上传的重复项，使用现有文件（基于md5的检查）

Question

我有一个带有的模型FileField，其中包含用户上传的文件。由于我想节省空间，因此我想避免重复。

我想要达到的目标：

1. 计算 上传文件的 md5校验和
2. 使用 基于其md5sum* 的 文件名 存储文件 *
3. 如果已经存在具有该名称的文件（新文件是 重复的 文件），则 丢弃上传的文件并改用现有文件

1 和 2 已经可以使用，但是 我该如何忘记上传的副本并使用现有文件呢？

请注意，我想 保留现有的文件 ，并 没有 覆盖它（主要是为了保持修改时间是相同的-更好的为备份）。

笔记：

• 我正在使用Django 1.5
• 上传处理程序为 django.core.files.uploadhandler.TemporaryFileUploadHandler

码：

def media_file_name(instance, filename):
    h = instance.md5sum
    basename, ext = os.path.splitext(filename)
    return os.path.join('mediafiles', h[0:1], h[1:2], h + ext.lower())

class Media(models.Model):
    orig_file = models.FileField(upload_to=media_file_name)
    md5sum = models.CharField(max_length=36)
    ...

    def save(self, *args, **kwargs):
            if not self.pk:  # file is new
                md5 = hashlib.md5()
                for chunk in self.orig_file.chunks():
                    md5.update(chunk)
                self.md5sum = md5.hexdigest()
            super(Media, self).save(*args, **kwargs)

任何帮助表示赞赏！

Answer 1

多亏了alTus的回答，我才知道编写
自定义存储类
是关键，而且比预期的要容易。

• 我只是省略了调用超类_save方法来写文件（如果文件已经存在的话），而我只是返回名称。
• 我覆盖get_available_name，以避免在文件名已经存在的情况下，在文件名后附加数字

我不知道这是否是 正确的 方法，但到目前为止效果很好。

希望这是有用的！

这是完整的示例代码：

import hashlib
import os

from django.core.files.storage import FileSystemStorage
from django.db import models

class MediaFileSystemStorage(FileSystemStorage):
    def get_available_name(self, name, max_length=None):
        if max_length and len(name) > max_length:
            raise(Exception("name's length is greater than max_length"))
        return name

    def _save(self, name, content):
        if self.exists(name):
            # if the file exists, do not call the superclasses _save method
            return name
        # if the file is new, DO call it
        return super(MediaFileSystemStorage, self)._save(name, content)


def media_file_name(instance, filename):
    h = instance.md5sum
    basename, ext = os.path.splitext(filename)
    return os.path.join('mediafiles', h[0:1], h[1:2], h + ext.lower())


class Media(models.Model):
    # use the custom storage class fo the FileField
    orig_file = models.FileField(
        upload_to=media_file_name, storage=MediaFileSystemStorage())
    md5sum = models.CharField(max_length=36)
    # ...

    def save(self, *args, **kwargs):
        if not self.pk:  # file is new
            md5 = hashlib.md5()
            for chunk in self.orig_file.chunks():
                md5.update(chunk)
            self.md5sum = md5.hexdigest()
        super(Media, self).save(*args, **kwargs)