这两天关于大文件上传这个问题搞得很是头疼,昨天下班回去调研了下,对于不同大小的文件对应有几种解决办法:
l 500M以下的用http协议传输(网上一搜大把的),比如Flash,Plupload,WebUploader,SilverUpload,swfupload等,这些都是用Flash或者Silverlight(微软已放弃的技术)来实现的。
l 500M以上1G以下的用http协议分块。如HTML5(不支持低版本浏览器,且比较消耗系统资源)
l 1G~10G以上的使用HttpUploader6传输。QQ邮箱,百度其它网盘均采用了控件技术来实现,与HTML5和Flash技术相比控件技术在稳定性可扩展性方面都有巨大优势。
l 100G~1T以上的使用HttpUploader7传输。这个属于特殊行业需求,不过部分行业也确实需要,而且成熟的解决方案也不多。
第一种很简单,博主在这里就不谈了。
第二种网上也比较多,不过可惜的是资料都非常凌乱,没有统一的规范,都是东一榔头西一棒子的,让人看的头晕。不是缺文件就是缺图片,不是缺数据库就是缺代码。弄一个完整的项目真心很不容易。
1已上传的文件怎么唯一标识,然后不用再次上传
2.前端怎么分块
3.后端怎么接受分块,组装多个分块
一、取文件的md5值,上传后把md5存数据库;再次上传时获取前端传来的md5到数据库中查询,如果已存在,则不用再次上传。在HttpUploader6也已经封装好了,不需要你再做任何处理。
二、关于前端分块,HttpUploader6这个控件已经做好了,不需要开发人员再做其它的处理,直接使用就行了。
三、后端接受分块
在up6这个项目中有一个f_post.jsp页面,用来接收分块数据。
代码如下:
说明:它的代码是JSP页面的,只需要修改一下就可以直接用在spring中
String uid = request.getHeader("uid");//
String id = request.getHeader("id");
String md5 = request.getHeader("md5");
String lenSvr = request.getHeader("lenSvr");
String lenLoc = request.getHeader("lenLoc");
String blockOffset = request.getHeader("blockOffset");
String blockSize = request.getHeader("blockSize");
String blockIndex = request.getHeader("blockIndex");
String complete = request.getHeader("complete");
String pathSvr = request.getHeader("pathSvr");
pathSvr = PathTool.url_decode(pathSvr);
//参数为空
if( StringUtils.isBlank( uid )
|| StringUtils.isBlank( id )
|| StringUtils.isBlank( blockOffset )
|| StringUtils.isBlank(pathSvr))
{
XDebug.Output("param is null");
return;
}
// Check that we have a file upload request
boolean isMultipart = ServletFileUpload.isMultipartContent(request);
FileItemFactory factory = new DiskFileItemFactory();
ServletFileUpload upload = new ServletFileUpload(factory);
List files = null;
try
{
files = upload.parseRequest(request);
}
catch (FileUploadException e)
{// 解析文件数据错误
out.println("read file data error:" + e.toString());
return;
}
FileItem rangeFile = null;
// 得到所有上传的文件
Iterator fileItr = files.iterator();
// 循环处理所有文件
while (fileItr.hasNext())
{
// 得到当前文件
rangeFile = (FileItem) fileItr.next();
}
//文件块验证
if(Integer.parseInt(blockSize) == rangeFile.getSize())
{
//保存文件块数据
FileBlockWriter res = new FileBlockWriter();
res.write( Long.parseLong(blockOffset),pathSvr,rangeFile);
rangeFile.delete();
out.write("ok");
}
else
{
rangeFile.delete();
out.write("block size error");
}%>
项目下载地址:
http://download.csdn.net/download/activexme/10214556
http://www.ncmem.com/download/up6.3/jsp/Uploader6.3Oracle.rar
https://pan.baidu.com/s/1dGYV83n
https://pan.baidu.com/s/1kWjYyN1
https://pan.baidu.com/s/1bqADhl9