信息世界评论:数据重复删除设备
来自FalconStor、NetApp和spectrum Logic的数据重复删除设备为生产存储、基于磁盘的备份和虚拟磁带提供了出色的数据约减
有没有想过为什么硬盘容量会不断增大?你认为它有没有告诉管理层，在未来三年内，他们将需要更少的存储容量?事实上，三年后，您的公司需要存储的数据可能是现在的四倍。千兆字节将继续变成兆兆字节，兆兆字节将很快被pb字节所取代。
幸运的是，有一种方法可以减缓不可避免的数据蔓延:在存储系统上使用数据重复删除。数据重复数据删除是分析存储介质上的数据块或数据段并发现重复模式的过程。通过删除重复的模式并用更小的占位符替换它们，可以大大减少总体存储需求。当需要计划备份和灾难恢复需求时，或者仅仅确定来年的在线存储需求时，这一点就变得非常重要。如果管理员可以通过删除重复的数据来增加存储使用量20%、40%或60%，那么当前的存储投资就可以进一步增加。
[如何进行数据重复删除?块级方法和文件级方法有什么区别?如何在源、目标和内联方法之间进行选择?请下载InfoWorld的数据重复数据删除深度潜水报告。]
为了了解重复数据删除能做什么，我检查了四种使用该技术的存储设备:theFalconStor FDS 304,NetApp FAS2040,光谱逻辑nTier v80和nTier vX。所有四个设备都提供了出色的可伸缩性、性能和数据重复删除功能。每个解决方案都有一些自己的个性——一个看起来像一个磁带驱动器架，另一个像一个大型网络连接存储系统，第三个像一个直连光纤通道设备。
FalconStor的FDS 304是一个2U NAS(网络附加存储)设备，利用SATA硬盘驱动器和千兆和10千兆以太网网络接口。它通常将FDS 304部署为磁盘到磁盘的备份伙伴或基于磁盘的备份的目标，但它也可以作为主线存储。NetApp的FAS2040也是2U格式，可以部署为千兆NAS、光纤通道或IP SAN，也可以部署为以太网设备上的光纤通道。它也将把操作视为基于磁盘的备份和数据复制的目标;它还可以用作通用存储介质。对于那些在物理磁带库上有大量投资的企业或者那些将要虚拟化磁带场的企业来说，spectrum Logic的nTier系列是一个很好的选择。虚拟磁带库(VTL)设备，使用FalconStor的数据重复数据删除引擎，nTier可以替换物理磁带系统，或在删除存储数据时与物理磁带库并行运行。
所有这些设备都提供了易于实现、易于管理和有效的数据重复数据删除系统，任何企业网络都可以利用该系统。根据我对一组高度复制的Windows和Office文件及其备份的测试，您可以期望从所有这些文件中获得类似水平的数据重复删除。注意:如果您计划删除系统备份集和原始文件，您将需要确保重复数据删除引擎与您的备份软件一起工作。
FalconStor FDS 300FalconStor FDS(文件接口重复数据删除系统)设备旨在成为磁盘到磁盘备份和归档应用程序的目标，它提供了性能、数据复制和重复数据删除的可靠组合，同时无缝集成到数据中心。2020欧洲杯预赛作为CIFS、NFS和赛门铁克OpenStorage (OST)的目标，FDS不需要进行任何网络重构来将其集成到现有环境中。它有一个灵活的重复数据删除策略引擎，允许它控制重复数据删除何时发生，甚至可以在必要时从重复数据删除中排除文件夹。总的重复数据删除性能在统计上与谱逻辑相同，考虑到谱逻辑许可了FalconStor的重复数据删除引擎，这并不奇怪。
在这篇综述中，我收到了装载了4TB热插拔SATA RAID 6磁盘存储的FDS 304 2U机箱，通过额外的存储附件可扩展到最大32TB。它的标准配置是4个1GB的以太网接口，(通过两个扩展槽)可以增加更多的千兆位接口(4端口扩展卡)或一个10Gb的单端口以太网接口。与FDS系列中的所有机箱一样，这个机箱将通过千兆和10Gb以太网接口连接到LAN，并充当iSCSI目标。和其他电器一样，它也包括双热插拔电源。FDS 300还有另外三种型号，可以扩展到18TB的机箱内存储容量，使用外部外罩最多可以达到32TB。
FalconStor的FDS设备有一个预配置的虚拟版本，可以在VMware ESX/ESXi 3.5 update 4和上运行vSphere 4;它还为远程办公室提供了一种利用数据重复数据删除的方法，而不需要额外的硬件。虚拟fd有1TB和2TB两种版本，可以方便地将重复数据删除技术带到远程或分支机构。
FDS 304的核心用例场景是基于磁盘的存储和备份系统的目标。虽然FalconStor确实提供VTL设备，但FDS家族主要用于网络上的CIFS和NFS客户机的文件共享。它还意味着取代传统的基于磁带的备份系统。FDS家族提供了赛门铁克NetBackup OST支持，允许在NetBackup(或其他支持OST的产品)和设备之间进行紧密集成。虽然我没有使用NetBackup进行测试，但FalconStor声称使用OST超过10Gb以太网可以达到500MBps的最大入站速度。
我将FDS 304集成到我的测试台上，作为备份目的地和CIFS文件共享。虽然我可以使用iSCSI将数据共享挂载到FDS上作为本地存储，但我决定将一个驱动器号映射到一个Windows Server 2008 R2框和我的四个虚拟Windows 2008 R2服务器上的各种共享。我可以毫不费力地操作来自任何服务器的各种共享的文件——每个共享的行为与典型的Windows共享一样。我还使用另一个共享作为赛门铁克备份Exec的备份目标。
使用FalconStor的FDS管理实用程序，它可以快速访问有多少数据存储在机箱中，以及有多少数据被重复删除。
在我的测试过程中，我每天对5台Windows服务器进行多次备份，没有出现任何问题。不像NetApp FAS2040， FDS没有任何问题，我的备份执行备份集。典型的文件和文件夹重复数据删除非常有效，在高度重复的数据上减少了近90%。备份集是“完整的系统备份”，包括Windows、已安装的应用程序和Microsoft Exchange数据存储。一些Microsoft Word和Excel文件的组合使这组数据更加完整。我发现无论是文件集合还是备份Exec存档，在重复数据删除性能上几乎没有差别。
何时删除数据有两种选择:定期删除或实时删除(数据被写入磁盘时)。我设置了一个夜间计划的重复数据删除通道，它运行时没有任何问题。当我想要立即检查重复数据删除的结果时，我还可以运行手动的删除通过。实时重复数据删除策略在数据被写入设备时对其进行分析，以尽可能地减少数据共享。实时deduping有一个小的性能损失，但在我的测试中可以忽略不计。不管重复数据删除需要什么，FalconStor都会让您定义适合的策略。
我试图通过重命名文件和文件夹以及更改扩展名来愚弄重复数据删除引擎，但与其他设备一样，无论我如何尝试，重复数据删除引擎总是会找到重复的块，并将它们添加到散列表中，或者删除它们以减少总体数据大小。因为重复数据删除引擎是在块级别工作的，所以它忽略了文件名和类型等细节，并正确地分析了重复数据的文件结构。不管文件的类型是什么——PDF、Word文档、ZIP归档等等——dedupe引擎都会像冠军一样找出重复的块。
FalconStor的管理接口，实际上与光谱逻辑的，当我熟悉了UI的组织结构后，就很容易导航了。虽然它不像NetApp的系统管理器那样直观，但我在创建文件共享、定义重复数据删除策略以及监控系统的健康状况和性能方面几乎没有遇到什么麻烦。我可以很容易地查看关于存储使用情况、已删除数据量和重复数据删除所回收的存储百分比的报告。这些报告将帮助它监视总体存储使用情况和重复数据删除性能。
FalconStor FDS 304是一款可靠的网络工程，在存储数据和检测重复信息块方面非常有效。它是基于磁盘的备份和一般文件共享的理想目标。我喜欢在创建CIFS共享时的易用性，以及作为iSCSI目标和导出NFS共享的能力提供了很大的灵活性。虽然报告系统没有什么值得兴奋的地方，但是它确实提供了关于设备健康状况的足够的反馈，以使它得到充分的信息。
FalconStor FDS控制台中的仪表板提供了磁盘使用趋势的概览。
NetApp FAS2040另一个面向基于磁盘的存储和重复数据删除的设备是NetApp的FAS2040。该设备允许数据中心的多种安装选项，包括作为SAN或NAS目标，或直接通过光纤通道。2020欧洲杯预赛就像FalconStor设备在美国，NetApp既可以作为生产存储，也可以作为备份设备，或者两者兼而有之。
该FAS2040配备了两个独立的存储控制器和良好的扩展性，远远超过FalconStor和光谱的逻辑。除了CFIS和NFS协议之外，FAS2040还可以自动将NFS数据存储导出到VMware ESX服务器，这对于向现有的VMware环境添加在线磁盘空间来说是一个很好的节省时间的方法。NetApp的重复数据删除策略没有FalconStor那样的灵活性，但它在使用标准的文件/文件夹结构减少卷上的磁盘使用量方面做得很好。然而，在赛门铁克backup Exec 2010创建的备份集上，情况就不那么好了。
我的netap提供的FAS2040 2U机箱安装了12个300GB SATA驱动器，两个热插拔存储控制器，每个控制器有4个千兆以太网接口和两个4Gb光纤通道端口，以及双电源。我的机箱配置了两个聚合(RAID阵列)——每个控制器一个——在双奇偶校验RAID配置中。为了满足大多数需求，有各种各样的硬盘驱动器——Fibre Channel、SAS或SATA——供FAS2040使用。通过额外的外部驱动底盘，FAS2040可以访问最多136TB的原始空间，远远超过其他底盘审查在这里。
我通过千兆以太网在我的测试网络上安装了FAS2040，独立地连接到机箱中的两个控制器。我将这两个聚合划分为多个卷和共享，其中一些定义为CIFS文件共享，而另一些则设置为iSCSI目标。(与其他系统一样，NetApp也允许您为Linux/Unix客户端创建NFS共享。)与FalconStor和光谱的逻辑设备我使用NetApp的各种CIFS共享作为NAS文件存储，并作为我的物理和虚拟Windows Server 2008机器的备份目的地。无论是使用映射驱动器还是UNC(通用命名约定)从所有服务器(物理服务器和虚拟服务器)到NetApp的连接，我都没有遇到任何问题。我在Windows Server 2008中使用微软的iSCSI启动器将iSCSI共享安装为本地存储时也没有遇到任何问题。每个挂载卷的行为与本地存储完全相同。