这是关于企业存储成本的规范问题。
另请参阅以下问题:
解释存储问题的最佳方法是什么?对开发人员和其他用户
关于
的一般性问题,例如:
为什么我必须每月额外支付50美元GB的存储空间?
我们的文件服务器总是空间不足,为什么我们的sysadmin不能只在其中扔一个额外的1TB驱动器?
为什么SAN设备如此昂贵?
这里的答案将试图更好地了解企业级存储的工作方式以及影响价格的因素。如果您可以扩展问题或提供有关答案的见解,请发布。
#1 楼
与台式机硬盘相比,服务器硬盘的容量很小。 450和600GB在全新服务器中并不罕见,您可以以一个600GB SAS(服务器)硬盘的价格购买许多4TB SATA台式机驱动器。
您的SATA硬盘驱动器位于您在家中的台式PC就像福特,通用汽车(GM)或梅赛德斯(Mercedes)的有轨电车,或任何其他面向日常人群的汽车制造商(大容量V8或V12、5升或6升)。因为它们需要由没有赛车执照的人驾驶,或者需要了解内部燃烧发动机的工作原理,所以它们具有很大的公差。他们有转速限制器,可以在一定等级的任何机油上运行,保养间隔可以说相隔10,000公里,但是如果您错过了几个星期的保养间隔,您的脸就不会爆炸。当您长途行驶时,它们不会着火。
服务器中的SAS驱动器更类似于一级方程式引擎。它们的体积很小(2.4升),但由于其很小的公差而具有巨大的功率输出。它们的转速更高,并且通常没有转速限制器(这意味着如果驱动不当会遭受严重的损坏),并且如果错过保养间隔(每隔几个小时),它们就会爆炸。
您基本上是在比较粉笔和奶酪。英特尔白皮书企业级和台式机级硬盘讨论了数字和完整的故障信息。在这里我们来讨论一些硬盘号。假设您请求1MB的附加数据(一个不错的整数)。那到底有多少数据?好吧,您的1MB数据将进入RAID阵列。假设他们很安全,并将其纳入RAID1。您的1MB数据已镜像,因此实际上是2MB数据。
假设您的数据在SAN内。如果SAN节点发生故障,您的数据将以字节级别同步到第二个SAN节点。这样就重复了,您的2MB数据现在是4MB。
您希望提供商保留现场备份,以便在非灾难紧急情况下可以恢复您的数据?任何体面的提供商都将为您提供至少1个现场备份,也许还会更多。假设他们每周在现场进行快照,持续三个星期。这额外需要3MB的数据,因此您现在可以达到7MB。
如果发生严重灾难,您的提供商最好将副本放在异地。即使已经使用了一个月,它也应该存在。因此,现在您的内存已达到8MB。
如果这是一个真正的高级提供商,他们甚至可能拥有实时同步的灾难恢复站点。这些磁盘也将被RAID,因此需要额外的2MB,因此您最多需要10MB的数据。
您最终将不得不传输这些数据。什么?转移吗?是的,数据传输要花钱。当您下载它,通过互联网访问它时,它会花费很多钱,甚至要备份它也会花费一些钱(有人必须将这些磁带带出办公室,而且可能是因为您1MB的数据意味着他们必须购买额外的数据)一组磁带并将它们转移到某个地方。)
SATA家用驱动器出现故障时,您可以致电技术支持并说服它们您的驱动器已损坏。然后,将驱动器发送给制造商(大多数情况下是用您自己的钱)。等一下找回替换驱动器并必须重新安装(几乎可以肯定它不是可热插拔的,或者已经在驱动器底座中)。
当该SAS驱动器发生故障时,请致电技术支持。他们几乎从不质疑您的观点,即该驱动器需要立即更换,并直接发货。通常,新驱动器在同一天晚些时候交付,否则第二天也很常见。通常,如果您不知道如何制造商会派出代表来实际安装驱动器(如果您打算休假,并且需要在旅途中保持工作的状态,非常方便)。
企业级驱动器具有严格的公差,请参见上面的#2,其使用寿命通常比消费级驱动器(MTBF)长约10倍。企业级驱动器几乎始终支持高级错误和故障检测,Google报告发现该驱动器大约有40%的时间有效,但这是任何人都不希望计算机突然死机的原因。
只有一个驱动器在您的家用计算机中,其统计上的故障几率仅仅是驱动器的几率。以前曾在MTBF中对驱动器进行评级(其中SAS驱动器仍享有约50%或更高的额定值),现在看到错误率更为常见。一个典型的SAS驱动器发生不可恢复错误的可能性要低10到1,000倍(其中100倍是我最近发现的最常见错误)。 (根据Seagate,Western Digital和Hitachi提供的制造商文档,错误率;无偏差;明确声明不作赔偿)。
错误率尤其重要,当您遇到驱动器上无法恢复的错误时,但是当同一阵列中的另一个驱动器发生故障并且您不依赖于读取阵列中的所有驱动器来恢复故障磁盘时。
SAS是SCSI的派生产品,它是存储协议。 SATA基于ATA,后者本身基于ISA总线(恐龙时代计算机中的8/16位总线)。 SCSI存储协议具有更广泛的命令,用于优化将数据从驱动器传输到控制器再传输回控制器的方式。效率的提高将使原本相等的SAS驱动器在本质上比SATA驱动器更快,尤其是在极端工作负载下。
生产的SAS驱动器较少,规模经济要求,在其他条件相同的情况下,它们将变得更加昂贵。
SAS驱动器通常具有10k或15k的旋转速度。 SATA通常为5.4k或7.2k。 SAS驱动器(尤其是2.5英寸大小的SAS驱动器)变得越来越快,它们的寻道时间更快。两者结合起来可大大提高驱动器可以执行的IOps,通常SAS驱动器的速度要快约3倍。当多个用户需要不同的数据时,IOps驱动器/阵列的容量已成为关键的性能指标。
数据中心中的驱动器通常始终处于加电状态。研究发现,驱动器故障受其经历的加热/冷却循环次数的影响( (始终处于运行状态或关闭状态)。要使其始终保持运行状态,通常会延长驱动器的使用寿命。其结果是驱动器会消耗电力。这种电力必须由某种设备提供(对于大型直流电,驱动器可能会单独供电)。与一小部分房屋相比,它们需要更多的电力。)他们还需要将热量散布到某个地方,从而需要冷却系统(它们本身需要更多的电力才能运行)。
基础设施和人员成本。这些驱动器位于高端NAS或SAN单元中。这些单元很昂贵,即使其中没有昂贵的驱动器也是如此。他们需要昂贵的人员来部署和维护它们。这些NAS和SAN单元所在的建筑物的运行成本很高(请参阅上面的冷却要点,但还有很多事情要做。)备份软件通常不是免费的(镜像之类的许可证也不是免费的) ,部署和维护备份的人员通常也很昂贵。租用异地磁带交付和存储的成本只是需要更多存储时开始堆积的许多事物中的一种。
请记住,它们的驱动器容量很可能是台式机驱动器容量的1/10,是价格的五倍,您的1MB数据实际上是10,其他所有差异,您都无法画出有意义的您的台式机存储价格与企业级存储价格之间的结论。
评论
如今,2-4TB SAS / SATA 7.2K驱动器用于大容量存储,因此其中某些不再通用。
–迈尔奇亚(Mircea Chirea)
13年4月25日在20:34
@MirceaChirea企业存储中使用的2-4TB驱动器是NL或ML SAS,与2-4TB SATA磁盘不同。这两个平台之间的每GB价格仍然相差很大。
– MDMarra
13年8月11日在14:41
它们被指定用于24x7全天候使用,而大多数SATA驱动器则不是。它们也会正常失败,并且不会挂起整个RAID阵列。只有支持TLER的SATA磁盘才会正常出现故障并避免这种情况。也没有双端口SATA磁盘,而双端口SAS很常见,并且可以实现控制器的透明故障转移。同样,如果预算有限,那么SATA可能是您唯一的选择,但是企业在NL-SAS和SATA之间存在着巨大的差异。
– MDMarra
13年8月11日在21:07
Backblaze在他们的博客上说,企业级驱动器发生故障的可能性不低于消费者级驱动器
–伯特
2014年4月9日20:38
我仍然坚持我所说的。如今,仅使用消费级驱动器并让软件处理混乱便变得便宜了。错误率?软件RAID 10,或仅具有备份。性能?这就是SSD的用途。
–黛米
18年7月15日在6:16
#2 楼
我之所以没有将其添加到CW的最高答案中,主要是因为这是观点的差异。经常,“企业级”存储如此昂贵的原因可能是,询问者不理解要求,但有时sysadmin也可以理解。
高性能,高可用性,低维护的现成存储阵列价格昂贵。系统设计师的部分工作是要知道哪些地方合适,以及哪种设计地方合适。
我认为不同类型的磁盘驱动器的相对成本实际上与两个示例问题。
为什么我必须每月为每个额外的千兆存储空间支付50美元?
某种服务提供商。我想到的两个可能的答案是:
在曼哈顿/伦敦/香港,您有5个9正常运行时间,24/7支持。旋转盘片只是您要购买的纸叠的一小部分。
您付出了太多。协商,切换提供商或将其放入内部。
我们的文件服务器总是空间不足,为什么我们的系统管理员不只是在这里扔了一个额外的1TB驱动器? />
几乎可以肯定这是一个错误的设计(可能是出于政治原因)。该文件服务器上的数据属于以下范围:
数据值得存储在高性能,高可用性,高成本的设置中。由于空间不足而导致的停机时间会影响您的高可用性,并且是设计或计划失败。
数据不重要或性能降低或更长的停机时间是可以接受的。便宜的磁盘和便宜的备份解决方案是可以接受的。由于磁盘空间不足而导致的常规停机时间似乎仍然是个不平衡的选择,因为在这种情况下,您的大部分成本可能是系统管理员的时间,从长远来看,他们将花费更多的时间对低磁盘进行故障排除空间。
请注意,我说的是频谱,大多数要求介于两者之间。
评论
值得指出的是,从系统管理员的角度来看,从用户的角度来看,“空间不足”可能是在“填满您的配额”。
–理查德·加兹登(Richard Gadsden)
2012年6月27日上午9:26
#3 楼
我同意有关托管公司所提供产品质量的其他文章。但是我们最近重新签订了托管合同,到处购物,没有人在存储空间上有竞争力,价格也不比我们之前的3年合同低。 SAS驱动器的价格一直在下降,磁盘架/阵列/ SAN / FC /交换机的价格一直在下降,所有东西的价格都在下降。但是不是磁盘存储吗?有更多经验的同事指出了这些策略。 CPU,内存,带宽的定价令人眼花!乱!在此注册!立即注册,忽略该磁盘空间问题!您将不需要那么多的磁盘空间。看看CPU和内存!
一旦您履行了他们的合同,他们就会真正找到您,并且他们会在磁盘空间上弥补他们的收入。是的,它是RAID-5和高性能等,但是备份会额外花费,异地复制会花费更多。
对于托管公司,这是一种商业模式。大多数企业在价格上都做类似的事情-在此降低此价格,但在那增加该价格以弥补其他地方的收入。他们也必须支付房租和工资。
对于内部服务器,您有不同的问题。您不能仅使用带有新3Tb硬盘的Fedex盒走进服务器机房。如果您计划进行扩展,则比较容易,但是就插槽,I / O,控制器卡和电源而言,服务器/机架/阵列可能已达到极限。
就像在岩石下看一样,您会惊讶于发现的东西。
评论
磁盘成本可能正在下降,但是人工却在上升。资本支出不是TCO的最大部分。
–克里斯S
2011-12-14 21:13
#4 楼
生产任何物品的成本都将与它在反馈回路中出售的产品数量直接相关。对于传统的硬盘,带有旋转的生锈玻璃和电子设备,可能存在巨大的成本机械和电子组件成本的变化-但是出现了两个明确的价格/质量范围-企业和商品。
但是,企业级驱动器销量的下降对您所获得的收益造成了沉重的损失-成本是成本的七倍,不会比成本高七倍。
(给定容量的)企业单位比商品单位要快一些,例如比较Seagate Barracuda SATA(商品)驱动器和Cheetah SAS(企业)驱动器:
model Barracuda Cheetah
capacity(Gb) 500 450
sustained data 125 168
rate (Mb/s)
cache(Mb) 16 64
annual failure <1% 0.44%
rate
Price GBP 42 275
Price USD 67 440
但是在企业环境中,没有理智的系统管理员将重要数据存储在单个磁盘上驱动器-使用多个驱动器可提供更高的可靠性和带宽,并有效减少延迟;配置为RAID10的梭子鱼驱动器中的四个将比单个Cheetah驱动器快得多,数据丢失的风险要低得多,价格约为价格的60%。
当然,您可以使用Enterprise驱动器获得更好的保修,并且供应商通常可以在同一天为您提供一个-但您可能可以从中购买商品驱动器当地供应商的速度快于供应商提供替换磁盘的速度。另一方面,企业级磁盘很可能是故障驱动器的精确替代品。
那么,也许您从企业级驱动器中获得了更高的可靠性?尽管生产和销售驱动器的人们经常说是这种情况(希捷在他们的网站上对此颇为害羞-但即使他们发布的混淆数字也表明,这个数字不到2)。独立研究表明没有显着差异。
SCSI命令集确实比ATA命令集具有一些技术优势-特别是在允许OS确切知道提交给磁盘的内容方面-但是,这再次仅在文件系统的性能和可靠性方面产生了有效的不同
如果您的服务提供商运行光纤通道SAN,那么每千兆字节的存储成本至少比在您最近的硬件商店购买磁盘高出8倍。 。但是还有其他方法可以显着降低成本。
请注意,这仍然比买现成的磁盘便宜,因为您还为冗余,电源,空气付出了代价。 -调节和支持,但相对于存储设备的成本而言,这些成本应该很小。
#5 楼
还需要注意的是,“本地”存储的成本可能比您想像的要高得多。作为寻求将某些“归档”数据移至云的练习的一部分,我最近完成了定价活动将我们最新的SAN上的可用(例如,格式化的而不是原始的)磁盘空间成本与Amazon云数据服务中的存储成本进行了比较。
仅考虑为SAN支付的价格本身包括磁盘,假设SAN硬件的使用寿命为5年,而不是运行服务器机房的“开销”成本,则我们150GB本地存储的价格为每月31.88美元,而亚马逊为28.41美元(假设每月的流量为20 %上下)。
现在,我不会急于将所有存储转移到云中,因为拥有本地存储还有其他好处,但是我认为这种定价方式很有用:如果您认为云存储很昂贵,那么您实际上要支付多少费用本地存储?
#6 楼
我对这个问题的看法很简单,就是IO ...一个文件,它位于单个商品硬盘上,没有RAID,可能没有热插拔,通常由一个人访问,并且可能从未备份过。这是一种廉价而简单的IO方法...在我们的业务中,我使用了最昂贵的RAID方法(raid 10)之一,需要最少4个驱动器;我们使用6 ...这给我们带来了很高的IO速率和容错能力。
此配置在很大程度上节省了我的a $$,并且此结果意味着更高的性能和更少的最终用户停机时间。对于简单的IO,只有一个人会感到失望,并且可能与停机无关的财务价值很小。 10 ...
使用和备份的IO越多,实现的成本就越高。如果您的企业要求将接受数据丢失,速度非常慢以及没有冗余-那么可以廉价地完成商务级存储!!!准备被解雇...
评论
请关闭所有“为什么存储如此昂贵”的问题,并将其指向此处。这并不意味着对所有发现廉价供应商的人来说都是广告论坛,而是要概述企业级存储中的“隐藏”成本。
必需的BOFH参考(“我需要更多空间!”):bofh.ntk.net/BOFH/0000/bastard01.php
吉姆·索尔特(Jim Salter)已发布了此分类的细分,并在博客文章《令人沮丧的存储计算器》中发表。底线是:根据假设和要求,您需要在所需的最终用户可见存储量的10到25倍之间进行配置。