Python和Redis的优雅缓存

Question

我希望以优雅的方式缓存来自外部服务的数据：旧数据虽然已过期，但仍在被服务，直到工作人员成功获取新数据。数据不是时间关键型的，但是缺少数据（外部服务关闭）会阻止服务运行，因此使用持久缓存。

目前

>

我将获取时间戳存储在一个单独的Redis密钥中

我无限期地缓存数据，直到工作人员获取新数据（我不设置过期时间）

问题

>

这是使用Redis进行优雅缓存的正确方法吗？

我可以从Redis本机获取密钥更新的时间戳吗，这样我就不需要自己存储这些信息了

以下是代码：

def set_data(self, data):
    self.redis.set("bitcoinaverage", pickle.dumps(data))
    self.redis.set("bitcoinaverage_updated", calendar.timegm(datetime.datetime.utcnow().utctimetuple()))

def get_data(self):
    return pickle.loads(self.redis.get("bitcoinaverage"))

def is_up_to_date(self):

    last_updated = datetime.utcfromtimestamp(self.redis.get("bitcoinaverage_updated"))

    if not last_updated:
        return False

    return datetime.datetime.utcnow() < last_updated + self.refresh_delay

def tick(self):
    """ Run a periodical worker task to see if we need to update.
    """
    if not self.is_up_to_date():
        self.update()

Answer 1

你所做的肯定会奏效。

没有办法本机获得插入/更新密钥的时间戳，所以您必须按照当前的方式存储它，或者作为替代方案，您可以更改您为bitcoin平均密钥存储的内容以包含时间戳（例如使用一些JSON同时保存时间戳和腌制数据，并存储JSON），这使得get_data（）和is_up_to_date（）更加复杂。

如果没有为该密钥存储任何内容，那么get_data（）中会发生什么情况？get_data（）是最新的吗？你测试过这种情况吗？

Answer 2

你所拥有的东西可以工作，但这取决于你期望你的数据集有多大。如果我理解正确，您当前的实现将要求您运行一个工作程序，用tick（）ping每个键。在您当前的实现中，这将非常非常昂贵，因为您必须通过网络查询Redis，并将每个键的结果发送回（如果需要更新，可能需要两个查询）。如果只是为了你提到的两把钥匙，那没关系。如果是为了更多，管道是你的朋友。

如果您想变得更优雅、更健壮，可以在密钥过期时使用通知。这里的范例是，为每个值设置两个键：k，和k_-updatedk将保存键的实际值，k_updated将只是一个哑键，设置了TTL，以便在需要更新k时使用。当k_updated过期时，您将收到一个通知，您可以让一个侦听器立即将其作为更新k的新作业请求处理，并设置一个新的k_updated。这将使用pubsub模型，如果您想非常健壮的话，您可以有多个订阅者，并使用一个队列来管理新作业。该系统的好处：

>

密钥过期后将立即更新，无需不断查询它们以查看是否需要更新。

您可以让多个独立的工作人员订阅并监听更新任务，并在新的更新作业进入时对其进行管理，这样，如果一个更新工作人员出现故障，您就不会丢失更新，直到您重新启动更新框。

如果你没有极端速度或强健的需要，后一种系统可能会被过度使用，但是如果你做了或者计划了，这是值得考虑的。