我想知道每个人都是如何对S3存储桶进行外部备份的,以及对此的最佳实践/建议。不管AWS多么出色,它仍然是单点故障。

特别是在更大规模的企业范围内,大量的存储桶非常大。功能似乎非常有限。

我的解决方法如下:


我现在正在考虑的方法是将数据下载到外部服务器(像EC2实例一样,裸机要贵得多),然后将其推送给我的备份提供程序。


评论

您是否研究过亚马逊的Glacier服务?与AWS Lambda结合使用时,您可以创建一个非常经济高效的备份服务,而却要花时间访问备份。

您要解决的实际问题是什么?是成本,需要更高的可靠性,您要从全区域故障中恢复还是其他?

简短的答案是,是的,下载和上传是您唯一的选择。 S3旨在作为数据的目的地,而不是航路点。根据您拥有的数据量以及您要移动数据的频率(以及原因),可能会有不同的“最佳”方法(请注意,可能需要为数据传输付费)。

@kdgregory是的,我看到这是唯一的方法,并且按照问题的第三行,我已经解决了该问题。放开这个,看看别人的建议。

只是拥有一个外部备份,而不是将所有内容都放在S3上,这是一个单点故障。

#1 楼

对于S3,要提高耐用性,如果要提高耐用性,可以考虑跨区域复制。 AWS还提供您可能需要调查的AWS Backup服务。对于将数据的持久性传输给另一提供商,我不确定会有什么好处。您将为转移支付更多的费用,并且不会将它与IAM提供的安全性集成在一起。

如果您担心有人恶意地做某事,那么可以采取安全性最佳做法,日志记录,cloudtrail和其他选项以提供保证。如果更多是关于存储桶失败的可能性(看起来很低),那么跨区域复制可能是您的最佳选择,而对配置的影响却最小。

#2 楼

您可以使用Amazon,其他云服务(如Google和本地系统)对s3进行备份。


本地系统


S3浏览器随附了一个简单的Folder Sync Tool允许您仅上载或下载新文件和更改过的文件,从而显着优化带宽使用并节省执行Amazon S3备份时的时间。


如果您的计算机是使用窗口。这是链接http://s3browser.com/amazon-s3-folder-sync.aspx
如果您使用的是基于Linux的系统,那我也厌倦了此工具,它也是一个不错的DragonDisk。 />基于云的备份

您也可以在Google Cloud中备份s3。


gsutil命令行工具还使您可以传输数据在云存储和其他位置之间。虽然您可以使用gsutil来处理Amazon S3存储桶并将数据从Amazon S3传输到Google Cloud Storage,但建议在此用例中使用Storage Transfer Service。



AWS


与任何环境一样,最佳实践是进行备份并采取防范措施,以防止恶意或意外用户错误。对于S3数据,最佳实践包括安全访问权限,跨区域复制,版本控制和正常运行的经过定期测试的备份。



Amazon S3的耐久性如何?


Amazon S3 Standard和Standard-IA旨在在给定年份提供99.999999999%的对象耐久性。该耐用性级别对应于每年平均预期损失0.000000001%对象。例如,如果您使用Amazon S3存储10,000个对象,
您平均可以预期每10,000,000年遭受一次单个对象的损失
。此外,Amazon S3旨在承受两个设施中的并发数据丢失。



https://aws.amazon.com/s3/faqs/

评论


感谢您提供的信息,但这不能回答所提出的实际问题:)

–凯尔·斯汀坎普(Kyle Steenkamp)
17-10-12在8:35

在公司环境中,S3本身的可靠性并不重要,它仍然是一个提供商的一项服务。一位具有访问权限的工程师可以轻松地丢弃整个存储桶,并且您一夜间无法恢复就可能丢失数百TB的数据。这是一个单点故障。

–吉里·克劳达(Jiri Klouda)
17年12月11日17:27



#3 楼

AWS Datasync服务将是将S3,EFS或FSx数据从AWS同步到另一个位置的好方法。您可以在Azure或GCP中的VM上部署代理,然后使用其存储解决方案从AWS接收数据。显然,您将需要查看出站数据传输的费用,但是如果您有足够的业务理由进行此操作,那么成本应该不是问题。