项目技术方案:大文件传输系统(信创兼容版)
编制:湖南长沙某软件公司 技术部
日期:2023年11月20日
一、项目背景与需求分析
公司承接政府项目,需开发一套支持50G文件传输的系统,核心需求如下:
- 功能需求:
- 支持单文件/文件夹上传(保留层级结构)及下载
- 断点续传(刷新/关闭浏览器后恢复进度)
- 高稳定性(政府项目对数据完整性要求极高)
- 兼容性需求:
- 浏览器:IE8+、龙芯浏览器、红莲花浏览器、奇安信安全浏览器
- 操作系统:统信UOS、中标麒麟、银河麒麟
- 数据库:SQL Server/MySQL/Oracle + 达梦/人大金仓
- 安全与部署:
- 信创国产化环境适配
- 私有化部署(内网环境)
- 需提供完整源代码(避免授权成本)
二、技术选型与风险评估
1. 开源组件调研
- WebUploader:已停更,IE8兼容需依赖Flash(信创浏览器支持差),无官方技术支持。
- Uppy:现代浏览器支持好,但IE8不兼容,无信创适配方案。
- FineUploader:商业授权成本高,不适合2000+项目部署。
结论:现有开源方案均无法满足信创兼容+源代码授权+高稳定性需求,需自研或采购商业产品源代码。
2. 自研技术方案
基于公司研发能力,建议采用以下架构:
- 前端:Vue3 + 自定义分片上传组件(兼容IE8需降级到jQuery+Flash)
- 后端:JSP/Servlet + 分片合并服务
- 数据库:通用JDBC适配层(支持多数据库)
- 加密:国密SM4(可选AES双协议)
三、核心代码实现
1. 前端实现(Vue3 + 兼容IE8方案)
// src/components/FileUploader.vue (主组件)import{ref}from'vue';importSM4from'sm4.js';// 国密加密库exportdefault{setup(){constfiles=ref([]);constchunkSize=10*1024*1024;// 10MB分片// 处理文件夹上传(递归生成文件树)consthandleFileChange=(e)=>{constitems=e.target.files;constfileTree=buildFileTree(items);files.value=flattenFileTree(fileTree);};// 构建文件夹层级结构constbuildFileTree=(items)=>{consttree={};Array.from(items).forEach(file=>{constpath=file.webkitRelativePath.split('/');letcurrent=tree;path.forEach((part,i)=>{if(i===path.length-1){current[part]={file,path:file.webkitRelativePath};}else{current[part]=current[part]||{};current=current[part];}});});returntree;};// 上传逻辑(断点续传核心)conststartUpload=async()=>{for(constfileObjoffiles.value){const{file,path}=fileObj;constfileId=awaitinitUpload(file.name,file.size,path);// 检查已上传分片(从LocalStorage或服务端)constuploadedChunks=awaitcheckUploadedChunks(fileId);for(letstart=0;start<file.size;start+=chunkSize){if(uploadedChunks.includes(start/chunkSize))continue;constchunk=file.slice(start,start+chunkSize);constencryptedChunk=SM4.encrypt(chunk,'secret-key');awaituploadChunk(fileId,start,encryptedChunk);// 保存进度到LocalStoragelocalStorage.setItem(`upload_${fileId}_progress`,start);}awaitmergeChunks(fileId);}};return{handleFileChange,startUpload};}};2. 后端实现(JSP/Servlet 分片处理)
// UploadServlet.java (分片上传接口)@WebServlet("/api/upload")@MultipartConfigpublicclassUploadServletextendsHttpServlet{privatestaticfinalStringTEMP_DIR="/data/upload_temp/";protectedvoiddoPost(HttpServletRequestreq,HttpServletResponseresp){Stringaction=req.getParameter("action");if("init".equals(action)){// 初始化上传任务(生成唯一ID)StringfileId=UUID.randomUUID().toString();StringfileName=req.getParameter("name");longfileSize=Long.parseLong(req.getParameter("size"));StringfilePath=req.getParameter("path");// 保存元数据到数据库(适配多数据库)saveToDatabase(fileId,fileName,fileSize,filePath);resp.getWriter().write(fileId);}elseif("chunk".equals(action)){// 处理分片上传StringfileId=req.getParameter("fileId");longchunkIndex=Long.parseLong(req.getParameter("chunkIndex"));PartfilePart=req.getPart("chunk");// 解密分片(示例:SM4)StringencryptedData=IOUtils.toString(filePart.getInputStream(),StandardCharsets.UTF_8);byte[]decryptedData=SM4Util.decrypt(encryptedData,"secret-key");// 保存分片Files.write(Paths.get(TEMP_DIR+fileId+"_"+chunkIndex),decryptedData);// 记录分片状态(Redis或数据库)markChunkUploaded(fileId,chunkIndex);}}}3. 断点续传实现(LocalStorage + 服务端校验)
// 前端断点续传逻辑constcheckUploadedChunks=async(fileId)=>{// 1. 从LocalStorage读取本地进度constlocalProgress=localStorage.getItem(`upload_${fileId}_progress`);if(localProgress){return[parseInt(localProgress)/chunkSize];}// 2. 服务端二次校验(避免多设备冲突)constresponse=awaitfetch(`/api/upload?action=check&fileId=${fileId}`);returnawaitresponse.json();};四、信创环境适配方案
浏览器兼容:
- IE8:使用jQuery + Flash上传组件
- 信创浏览器:测试龙芯/红莲花浏览器的Flash/HTML5支持
操作系统适配:
- 统信UOS:提供DEB安装包
- 中标麒麟:适配RPM依赖管理
数据库适配:
// 通用JDBC工具类(适配多数据库)publicclassDBUtil{privatestaticDataSourcedataSource;static{StringdbType=System.getProperty("db.type");if("dm".equals(dbType)){// 达梦数据库配置dataSource=newDmDataSource();}elseif("kingbase".equals(dbType)){// 人大金仓配置dataSource=newKingbaseDataSource();}else{// MySQL/Oracle等dataSource=newHikariDataSource();}}}
五、风险与解决方案
- Flash在信创浏览器的支持问题:
- 方案:提供降级HTML5模式,测试红莲花浏览器的兼容性
- 50G文件内存溢出:
- 方案:采用流式加密(分段处理)
- 长期技术支持:
- 方案:采购商业产品源代码(如Plupload企业版)或组建内部团队维护
六、下一步计划
- 完成文件夹层级结构的完整测试
- 搭建统信UOS + 达梦数据库的测试环境
- 编写《信创环境部署指南》
(签名:湖南长沙某软件公司 技术经理 李工)
备注:建议优先采购成熟的商业产品源代码(如支持国密的Plupload),避免自研周期过长。如需进一步讨论,请联系技术部邮箱:tech@company.com。
导入项目
导入到Eclipse:点击查看教程
导入到IDEA:点击查看教程
springboot统一配置:点击查看教程
工程
NOSQL
NOSQL示例不需要任何配置,可以直接访问测试
创建数据表
选择对应的数据表脚本,这里以SQL为例
修改数据库连接信息
访问页面进行测试
文件存储路径
up6/upload/年/月/日/guid/filename
效果预览
文件上传
文件刷新续传
支持离线保存文件进度,在关闭浏览器,刷新浏览器后进行不丢失,仍然能够继续上传
文件夹上传
支持上传文件夹并保留层级结构,同样支持进度信息离线保存,刷新页面,关闭页面,重启系统不丢失上传进度。
下载示例
点击下载完整示例