目前已有的技术产品包括
1、Aspera公司的专利技术FASP,这个技术包括Amazon在内很多公司都在使用,但需要按照流量付费。据该公司技术测试,相比传统TCP协议,他们技术的传输速度提高百倍以上,当然带宽是10G、100G的前提下测试的。
2、 UDT协议,这个协议是基于UDP协议的优化产品,是个开源项目,符合BSD规范。UDT协议改进了一些拥堵算法及长距离传输、穿透防火墙的能力,不会和网络环境中的TCP抢占资源,等等很优秀的特性,本来这个协议是在高带宽的网络环境下比较适用,但自从3.5版本之后,这个协议进行了改良,低带宽情况下也有很好的表现。
Supercomputing 2009 Bandwidth Challenge Winner Supercomputing 2008 Bandwidth Challenge Winner Supercomputing 2006 Bandwidth Challenge Winner
3、根据上面描述,可以通过切割文件,然后UDT协议传输每块文件,校验,最后再合并,实现一个能支撑大数据量传输的系统需求。目前的gridftp有类似功能实现