AWS S3 bucket的备份策略

Question

我正在寻找一些备份S3 bucket的建议或最佳实践。
备份S3数据的目的是防止数据丢失，原因如下：

1. S3问题
2. 意外从S3删除此数据的问题

经过一番调查，我看到以下选项：

1. 使用版本控制http://docs.aws.amazon.com/amazons3/latest/dev/versioning.html
2. 使用AWS SDK从一个S3桶复制到另一个S3桶
3. 备份到Amazon Glacier http://aws.Amazon.com/en/Glacier/
4. 备份到生产服务器，生产服务器本身已备份

我应该选择什么选项？只在S3上存储数据有多安全？想听听你的意见。
一些有用的链接：

• 数据保护文档
• 数据保护常见问题

Answer 1

最初发布在我的博客上:http://eladnava.com/backing-up-your-amazon-s3-buckets-to-ec2/

这可以通过使用多个命令行实用程序轻松实现，这些实用程序可以将远程S3 bucket同步到本地文件系统。

s3cmd
起初，s3cmd看起来非常有前途。然而，在我巨大的S3 bucket上尝试之后，它未能扩展，出现分段错误。不过，它在小桶上确实工作得很好。因为它对大桶不起作用，我开始寻找替代方案。

它提供了一个有用的sync命令，可以快速轻松地将远程bucket文件下载到本地文件系统。

$ aws s3 sync s3://your-bucket-name /home/ubuntu/s3/your-bucket-name/

• 可伸缩-支持巨大的S3桶
• 多线程-通过使用多线程来更快地同步文件
• 仅智能同步新的或更新的文件
• 快速-由于它的多线程特性和智能同步算法

方便的是，sync命令不会删除源(S3 bucket）中缺少的目标文件夹（本地文件系统）中的文件，反之亦然。这非常适合备份S3--如果文件从bucket中删除，则重新同步不会在本地删除它们。如果删除本地文件，它也不会从源桶中删除。

让我们从安装AWSCLI开始。有几种方法可以做到这一点，但是，我发现通过apt-get安装它是最简单的。

$ sudo apt-get install awscli

接下来，我们需要通过创建用户并附加AmazonS3ReadOnlyAccess策略，用访问密钥ID和密钥配置AWSCLI。这还将防止您或任何获得这些凭据访问权限的人删除您的S3文件。确保输入您的S3区域，例如US-EAST-1。

$ aws configure

让我们准备本地S3备份目录，最好在/home/ubuntu/S3/{BUCKET_NAME}中。确保将{BUCKET_NAME}替换为实际的bucket名称。

$ mkdir -p /home/ubuntu/s3/{BUCKET_NAME}

让我们使用以下命令第一次同步桶：

$ aws s3 sync s3://{BUCKET_NAME} /home/ubuntu/s3/{BUCKET_NAME}/

假设bucket存在，AWS凭据和区域正确，目标文件夹有效，awscli将开始将整个bucket下载到本地文件系统。

根据存储桶的大小和您的Internet连接，它可能需要几秒钟到几个小时的时间。完成后，我们将继续设置一个自动cron作业，以保持bucket的本地副本是最新的。

继续在/home/ubuntu/s3中创建sync.sh文件：

$ nano /home/ubuntu/s3/sync.sh

将以下代码复制并粘贴到sync.sh:

#!/bin/sh

# Echo the current date and time

echo '-----------------------------'
date
echo '-----------------------------'
echo ''

# Echo script initialization
echo 'Syncing remote S3 bucket...'

# Actually run the sync command (replace {BUCKET_NAME} with your S3 bucket name)
/usr/bin/aws s3 sync s3://{BUCKET_NAME} /home/ubuntu/s3/{BUCKET_NAME}/

# Echo script completion
echo 'Sync complete'

确保在整个脚本中用您的S3 bucket名称替换{BUCKET_NAME}两次。

$ sudo chmod +x /home/ubuntu/s3/sync.sh

让我们尝试运行该脚本以确保它实际工作：

$ /home/ubuntu/s3/sync.sh

输出应该类似于以下内容：

接下来，让我们通过执行以下命令来编辑当前用户的crontab:

$ crontab -e

m h  dom mon dow   command

以下命令配置crontab每小时运行sync.sh脚本（通过minute:0和hour:*参数指定），并将脚本输出管道到s3目录中的sync.log文件：

0 * * * * /home/ubuntu/s3/sync.sh > /home/ubuntu/s3/sync.log

您应该将这行添加到正在编辑的crontab文件的底部。然后，继续并通过按Ctrl+W将文件保存到磁盘，然后输入。然后，您可以通过按Ctrl+X退出nano。crontab现在将每小时运行一次同步任务。

Pro提示：您可以通过检查/home/ubuntu/s3/sync.log、检查执行日期和时间的内容以及检查日志以查看同步了哪些新文件来验证每小时执行一次的cron作业是否执行成功。

一切就绪！您的S3 bucket现在将每小时自动同步到您的EC2服务器，您应该可以走了。请注意，随着时间的推移，随着S3桶变大，您可能必须增加EC2服务器的EBS卷大小以容纳新文件。您始终可以通过遵循本指南来增加EBS卷大小。