重复数据删除

重复数据删除（deduplication）

挑战

在网络上分接多个点可能导致同一数据包被复制多次，尤其是东西向流量和来自SPAN端口流量。这可能会对各种工具的性能产生负面影响，因为它们不仅需要多次处理相同的流量，而且在很多情况下还会进一步消耗处理资源来进行重复数据删除。在数据包数据正在记录到存储或环形缓冲区的情况下，重复的数据包只会占用空间而没有其他好处。在某些情况下，重复数据包甚至会造成假阳性或歪曲报告。

Cubro的解决方案

Cubro提供了几个选项，能够根据用户可选择的参数进行重复数据删除，然后再将流量转发给监控工具。这使客户可以灵活地选择满足其端口密度和带宽需求的设备，而无需花费不必要的预算。卸载此资源密集型任务可以释放其他工具处理资源，从而提高执行它们设计要处理的功能的效率。

Cubro EXA8是一款多功能、高性价比的设备，可为10Gbps链路提供重复数据删除功能，从而防止监控设备过载。启用重复数据删除功能后，EXA8将使用完整的数据包计算出一个校验和或Hash-key。使用数据包中的每一个位，可确保所产生的hash值代表数据包中最大的唯一性。这一点很重要，它可以防止一个不同的数据包，只有最细微的变化，因为hash算法只使用了数据包数据的一个子集而被丢弃。Hash-key本身是一个MD5计算，结果是一个16字节长的字符串。Hash-key被存储（每个数据包一个），每个传入的数据包都会根据存储在内存中的hash值检查其hash-key。如果发现到达数据包的hash值与内存中已存储的hash值相匹配，则会丢弃传入的数据包，确保在指定时间窗口内的重复数据包不会转发到输出。