重复数据删除可以说是过去二十年中备用技术的最大进步。它是单枪匹集的负责使从磁带转移到磁盘的大部分备份数据，并且其流行度只能随着每次通过的时间而增加。了解不同类型的重复数据删除，也称为DEDUPE，对任何看备份技术的人都很重要。
什么是重复数据删除?
Dedupe是在数据集中的标识和消除重复块。它类似于压缩，只有在单个文件中识别冗余块。重复数据删除可以在不同目录中的文件，不同数据类型，不同位置的不同服务器之间找到冗余数据块。
例如，DEDUPE系统可能能够识别电子表格中的唯一块并备份它们。如果您更新并再次启动并备份，则应该能够识别已更改的段，仅备份它们。然后，如果将其电子邮件发送给同事，则应该能够在您的已发送邮件文件夹中识别相同的块，即使在本计算机本地保存时，即使在笔记本电脑的硬盘上也可以识别相同的块。它不需要备份相同细分的这些额外的副本;它只识别他们的位置。
重复数据删除是如何工作的?
Dedupe Works的通常方式是要除以的数据被切碎为大多数电话块．块是一个或多个连续的数据块。块划分的在哪里以及如何是多项专利的主题，但足以说每种产品都会创建一系列块，然后将与给定的DEDUPE系统的所有先前的块进行比较。
比较工作的方式是每个块都通过确定性加密散列算法进行，例如SHA-1，SHA-2或SHA-256，它会产生所谓的哈希．例如，如果一个人进入“快速棕色狐狸跳过懒狗”到SHA-1哈希计算器中，你得到了以下哈希值：
2 fd4e1c67a2d28fced849ee1bb76e7391b93eb12。(你可以自己试试:https://passwordsgenerator.net/sha1-hash-generator/．)
如果两个块匹配的哈希匹配，它们被认为是相同的，因为即使是最小的变化也会导致块的哈希改变。SHA-1哈希为160位。如果为8 MB块创建160位散列，每次备份同一块时，您会保存近8 MB。这就是为什么Dedupe是这样的空间保护程序。
目标重复数据删除
目标重复数据删除是目前市场上最常见的重复数据删除类型。其思路是购买一个目标重复数据删除磁盘设备，并将备份发送到其网络共享或虚拟磁带机(如果该产品是虚拟带库(VTL))。分块和比较步骤都是在目标上完成的;这些都不是在源代码上完成的。这可以让你在不更改备份软件的情况下获得重复数据删除的好处。
此增量方法允许许多公司从磁带切换到磁盘作为主备份目标。大多数客户将备份复制到磁带以进行异地目的。有些具有更大预算的高级客户使用这些目标的复制能力DEDUPE设备，以便异地备份。一个好的DEDUPE系统会将典型文件的大小缩小为99％，增量备份的大小为90％，使所有备份的复制可以复制。（当然，在原因内。不是每个人都有足够的带宽来处理这种复制级别。）
源重复数据删除
源重复数据删除发生在备份客户端—在源端—因此名称源， 或者客户端dedupe。Childing进程发生在客户端上，然后将哈希值传递给备份服务器以获取查找过程。如果备份服务器表示给定的块是唯一的，则块将被传输到备份服务器并写入磁盘。如果备份服务器之前已经看到给定的块，则甚至不需要传输。这节省了带宽和存储空间。
对源重复数据删除的一个批评是，创建散列的过程是一个需要大量CPU能力的资源密集型操作。虽然这是真的，但它通常会被传输备份所需的CPU数量的显著减少所抵消，因为在任何给定的备份上，超过90%的所有块都是重复的。
节省的带宽还允许源重复数据删除在目标重复数据删除不能运行的地方运行。例如，它允许公司备份他们的笔记本电脑或移动设备，所有这些都使用互联网作为带宽。使用目标重复数据删除系统备份这类设备将需要备份的每个设备的本地设备。这就是为什么源重复数据删除是远程备份的首选方法。
由于有几个原因，该字段中的源代码件的源代码部的安装并不多。一个原因是目标Dedupe产品已经出局并稳定，而不是大多数源代码产品。但也许最大的原因是目标代码可以逐步实现Dedupe（即，使用相同的备份软件并仅更改目标），其中源代码源通常需要批发替换备份系统。最后，并非所有的源代码实施都是平等的，有些沿途有一点岩石道路。
重复数据删除的优点和缺点
目标重复数据删除的主要优点是，您可以将其与任何备份软件一起使用，只要它是设备支持的备份软件。缺点是，在任何要备份的地方都需要一个设备，即使它只是一个虚拟设备。源重复数据删除的主要优点恰恰相反;你可以从任何地方进行备份。这种灵活性可能会导致备份满足您的需求，但恢复速度不满足，因此一定要考虑到这一点。