处理海量数据的新存储技术

随着企业存储需求的上升,磁盘密度继续上升。但真正神奇的是软件,速度和规模的结合。

企业存储需求正达到一个临界点,供应商们争相开发新产品来应对数据洪流。我们将了解这些技术将如何帮助管理存储管理员的主要痛点。

Budd Van Lines副总裁兼CIO Douglas Soltesz正面临着一个共同的问题:似乎无穷无尽的数据洪流。

“如果你给我的存储无限量的,我可以填满它,”他说。最近四个月该公司的办事处和仓库高清监控录像现在会消耗他的Nexenta的STOR NAS和SAN平台60TB。该视频是一个原因,他的存储需求增长50%至80%每年。

他说,如果他有两倍的容量,他的用户就会要求保留两倍的视频。

随着现有的硬盘技术结束了其长达十年的不断增长的密度,IT行业正在等待新的技术,如瓦片磁记录(SMR)和相变存储器(PCM)来提高存储密度。与此同时,他们通过在普通磁盘驱动器、固态硬盘(SSD)和服务器端闪存上实现虚拟化、重复数据删除和缓存数据的软件,降低了成本,提高了数据访问。

磁盘密度越来越高

存储供应商希捷科技(Seagate Technology)的高级副总裁马克•雷(Mark Re)说,经过大约10年的稳步增长,使用垂直磁记录(PMR)的磁盘的密度达到了每平方英寸1TB。

在今年的下半年,希捷将开始发售使用SMR重叠在其上的数据磁道像屋顶瓦挤出更多的数据到磁盘驱动器在IHS iSuppli公司的存储分析师方张说。这应该最终提高驱动器的密度,以1.3T每平方英寸1.4T比特RE,谁补充说,希捷的硬盘SRM将台式机的外形和蔓延到其他平台上启动,如存储阵列,明年说。

下一提前,这将需要的磁盘驱动器到每平方英寸5Tbits,是热辅助磁记录(HAMR),其使用一个小的激光更改磁盘的磁特性回复说。希捷的第一HAMR硬盘预计在2015年或2016年

如果你给我无限的空间,我可以填满它。Douglas Soltesz,副总裁和CIO, Budd Van Lines

在今年的第四季度,希捷的竞争对手西部数据预计发布充满氦气,它提供了比空气阻力更小,从而允许添加其它存储盘或两到驱动器的磁盘驱动器。这些额外的盘片可以解除从今天的4TB到5TB或者6TB垂直记录技术硬盘的最大容量张说。西部数据表示,它也计划在大约两年内释放SMR和HAMR硬盘,并通过十年结束时,希望通过使用自组装分子和纳米压印的翻番硬盘密度。

在闪存方面,厂商正在努力提高不仅密度,而且在基于服务器的闪存和SSD使用闪存的有用容量和寿命。

在大多数闪存和SSD驱动器基于NAND闪存将开始通过非易失性存储器称为相变存储器的新形式由2016年左右取代米兰Shetti,首席技术官的HP Storage说。不同于磁记录通过改变物理一块内存的磁性取向的记录数据,PCM施加热以改变介质的电导率。在IBM苏黎世研究实验室的内存和探测技术经理哈里斯Pozidis说,PCM驱动器不仅比NAND闪存快,但他们的记忆细胞也能承受的读/写周期为NAND闪存的两到三倍的数量。这是不断被读取和写入其中数据的应用,如高速缓存的重要。

Shetti预测的约200至250GB初始驱动器容量,与驱动器大小至少在2018年加倍他强调,这都将是可用的容量,这是不是在当前的SSD的情况下,其中的原始容量的15%至20%是集一边以替换可能磨损的细胞。Shetti说,他预计每GB价格将媲美目前的闪存驱动器。这相当于15%至20%的降价幅度,因为所有的原始容量实际上是可用的。

Dedupe:必备功能

在过去的10年里,重复数据删除技术(消除数据副本的过程)已经从改变游戏规则的新奇事物变成了必须具备的功能。

观察人士说,不要指望重复数据删除技术能在从硬盘上删除的数据量上有任何突破。目前,重复数据删除通常会将数据减少7到10倍。未来的改进将来自数据重复数据删除速度的提高和整个企业中标准重复数据删除系统的使用。

观察人士说,由于重复数据删除技术将在硬件而不是软件中进行,在非易失性存储器(如比NAND闪存快的PCM)中进行,速度将会提高。Shetti还预测“每个[非易失性内存]控制器都将内置[重复数据删除]”,他还指出,与磁盘驱动器不同,重复数据删除不会导致非易失性内存驱动器的碎片整理。

内联重复数据删除(in -line duplication),即在数据存储之前对其进行数据删除处理,这种方法减少了从主存储到备份和复制副本的存储需求。Pure Storage公司表示,其内联数据重复删除技术可以让flash阵列存储比指定大小多5到10倍的数据。

观察人士还希望看到重复数据删除技术从传统的备份应用扩展到其他应用程序以及更多的计算和存储设备。戴尔表示,它计划将通过收购Ocarina获得的重复数据删除技术纳入其equal逻辑和Compellant产品线。戴尔存储部门产品营销执行董事Travis Vigil说:“数据如快照”,之后用于访问更频繁的数据和文件。

惠普存储的产品营销总监Sean Kinney预测,统一重复数据删除平台将会兴起,企业可以将其用于所有应用程序和存储。他说,这将减少许可证、培训和管理成本,以及企业必须购买的存储空间。

性能满足速度

有些用户升级存储系统并不仅仅是因为他们需要管理大量数据的帮助;他们也被快速访问数据的需求所驱动。

Case Western Reserve University正在将100TB的研究文件数据从EMC Celerra NS480转移到Panasas ActiveStor 8以进行快速分析,并将65TB的结构化管理数据转移到Nexsan NST 5310。该校设计高级技术主管布赖恩•克里斯蒂安(Brian Christian)表示,除了提高性能,用户还希望创建最大可达600TB的单名空间——远高于EMC和NetApp产品的64TB限制。

“我们的第一个,小型,高性能集群”在充当网络文件服务器传统的NAS设备,”我们超载了。与我们同行交谈后,我们看到,作为我们需要成长,我们需要一个平行的NAS,这是当我们收购Panasas的,” Christian说。

为了提高性能,许多客户使用服务器内的闪存和存储阵列中的固态硬盘来缓存对速度敏感的数据,然后将其写入更慢、但更便宜、容量更大的硬盘。

三年前,减缓应用程序的性能,提高升级费用促使在TripPak服务和ACS广告,无论是施乐公司,寻找一个能够处理每年新存储他预计10TB的新平台的IT基础设施工程的经理大卫雅培,“没有管理具有一个心脏发作”了成本。

曾风靡一时的作品

拯救:旧的,缓慢的磁盘和磁带

就在研究人员摆弄材料科学和软件开发人员对集群文件系统进行微调的时候,两种老的备用设备——慢的、便宜的旋转磁盘和更旧的磁带驱动器——在管理大量存储中起着至关重要的作用。

Cleversafe的总裁兼首席执行官Chris格拉德温说,对于使用Cleversafe的存储设备的客户,例如,“5400转和7200个硬盘是要走的路”,实现以美元计价,电力每GB成本最低,冷却和空间。希捷公司高级副总裁Mark再次指出,它不仅会是昂贵的,以取代闪存的每个硬盘驱动器,但它也将是不可能制造那么多闪光灯。

磁带比磁盘更慢,更便宜,而且经常被嘲笑为笨拙、难以使用和容易出错。尽管如此,“磁带比磁盘存储具有显著的空间效率优势,因为它能够将更多的记录表面积压缩到一个给定的物理卷中,”Eric Slack在一篇博客中写道,他是storage Switzerland(一家位于得克萨斯州沃斯堡的IT分析公司)的分析师。

根据IBM系统技术集团2012年4月的报告,NAND闪存和硬盘驱动器的密度到2014年将增长20%至30%,而磁带的密度将增长40%至80%。

因此,斯莱克认为,大盘将继续成为处理大数据,其中将包括一个不错的选择,“这是长时间保存,但仍必须可在一个相对短的时间内基于文件的参考数据。”

- 罗伯特L. Scheier

软件即服务提供者为交通行业现在是使用三个网络附加存储(NAS)单位从右舷80 tb的存储图像文件存储系统和45 500 tb的性能敏感的数据虚拟机映像和200多个虚拟桌面纯flash存储阵列。

在转向Nexanta NAS/SAN平台之前,Budd Van Lines依赖的是强力SAN。他说,虽然还没有满,但“IOPS已经快用完了”,用来处理越来越多的工作申请(比如月末会计)的查询。为了提供这种性能,NexantaStor平台在将数据写入7,200 rpm串行附加SCSI (SAS)驱动器以进行长期存储之前,将数据缓存到固态驱动器以更快地访问。

NAS厂商NetApp公司也进入了闪存阵列市场,其EF540,先在一个线阵列的它说,将结合一致,低延迟性能,高可用性和企业存储效率集成的数据保护在线路特征,例如重复数据删除和压缩。

软件+商品磁盘

在线营销SaaS提供商Constant Contact就是从专有硬件和软件转向由软件管理的商品磁盘的公司之一。

CTO Stefan Piesche表示:“当我在三年半前加入时,我们扩大规模的主要方式是购买更多的存储空间、更快的存储空间以及更大更快的数据库服务器。”在存储需求每年增长15%到25%的情况下,为了降低成本,他正在从运行在3Par san上的IBM DB2数据库切换到运行在戴尔服务器、商用磁盘和Fusion-io闪存卡上的开源MySQL和Cassandra NoSQL数据库。

他说,这个新平台不仅比旧的存储“快了一个数量级”,而且提供了高性能、可用性和灾难恢复,而不需要广泛的管理。将数据写入六个存储节点而不通过网络传输数据,从而获得的性能增益意味着存储相同数据的多个副本。然而,Piesche说,由于大宗商品磁盘和服务器的价格较低,这种交换是值得的。

他还指出,即使存储在这些副本中的营销数据过时了几毫秒,他的客户也不会受到影响,尽管对于价格不断变化的金融交易系统来说,情况并非如此。

他说,“分片”或分裂数据库也可以帮助保持联系规模。“我们可以将一组客户放在数据库a、B和C上,这些数据库通常是具有相同模式的同一个数据库的多个实例。我们希望它们在商用硬件上是相同的,以保持我们的运营成本低,所以推出一个新的是不可能的。我们为50,000名客户添加了两台运行MySQL的商品数据库服务器,”而不会影响其他用户的性能,Piesche说。

在这个空间里另一家供应商是CommVault的,通过减少存储以及数据的拷贝数表示,高达50%,高达80%,每年的支持成本降低高达35%的管理开销,其Simpana软件平台,削减存储成本作为与存储相关的应用程序的数量购买和维护。

12 第1页
第1页共2页
工资调查:结果是