[转载自简书] ASPNetCore上传大文件碰到的一些问题总结

上传大文件碰到不少问题,总结一下。

先介绍一下功能:ajax上传文件到NetCore的web api接口,

安装在Linux服务器的服务端通过Nginx接受到后再存到文件服务器上。

如果文件不大,这个过程没有任何问题,如果超过几十M甚至几百M就碰见不少问题。

1. 超时问题(timeout)

这个和NetCore无关,是ajax请求忘记设置timeout参数值,在网页端加上即可。

2. Request body too large 错误

Post的body大概超过30m就会报这个错误,完整的错误是Microsoft.AspNetCore.Server.Kestrel.Core.BadHttpRequestException: Request body too large
解决的方法有二种,一种是在请求的函数前加Attribute

[HttpPost("upload")]
[RequestSizeLimit(100_000_000)] //最大100m左右
//[DisableRequestSizeLimit]  //或者取消大小的限制
public async Task<string> UploadFiles(ModelTest test) { 

还有一种方法是全局增加请求body的大小或者不限body的大小。

public static IWebHost BuildWebHost(string[] args)
{
    var config = new ConfigurationBuilder()
    .AddCommandLine(args)
    .Build();
    return WebHost.CreateDefaultBuilder(args).UseConfiguration(config)
        .UseStartup<Startup>().UseKestrel(options => { //所有controller都不限制post的body大小 options.Limits.MaxRequestBodySize = null; }) .Build(); } 

3. Multipart body length limit 134217728 exceeded错误

Post的body大概超过100多M会碰到这个错误,完整的错误信息是 System.IO.InvalidDataException: Multipart body length limit 134217728 exceeded.
解决的方法是在startup.cs添加代码:

public void ConfigureServices(IServiceCollection services) { services.AddMvc(); //解决Multipart body length limit 134217728 exceeded services.Configure<FormOptions>(x => { x.ValueLengthLimit = int.MaxValue; x.MultipartBodyLengthLimit = int.MaxValue; // In case of multipart }); } 

4. Nginx限制上传大小的错误

通过Nginx端口映射,请求会先经过Nginx,也需要额外再设置一个参数client_max_body_size,否则上传大文件也会有问题

location ^~ /sample2/ {
    rewrite  ^/sample2/(.*)$ /$1 break;          
    proxy_pass http://localhost:5556;
    client_max_body_size    300m; #最大接受300m文件以内的
}

5. 上传七牛大文件问题

使用七牛的SDK上传一般小文件很简单,但是上传大文件就需要使用分片上传了,否则会返回错误-256错误
以下是正常上传和分片上传的2个函数,大家可以参考

扫描二维码关注公众号,回复: 6180188 查看本文章
//适应一般小文件
public HttpResult uploadByte(string saveKeys, byte[] data) { Config.AutoZone(AK, bucket, false); Mac mac = new Mac(AK, SK); string saveKey = saveKeys; PutPolicy putPolicy = new PutPolicy(); // 如果需要设置为"覆盖"上传(如果云端已有同名文件则覆盖),请使用 SCOPE = "BUCKET:KEY" putPolicy.Scope = bucket + ":" + saveKey; //putPolicy.Scope = bucket; // 上传策略有效期(对应于生成的凭证的有效期) putPolicy.SetExpires(100000); string jstr = putPolicy.ToJsonString(); string token = Auth.CreateUploadToken(mac, jstr); FormUploader fu = new FormUploader(); HttpResult result = fu.UploadData(data, saveKey, token); return result; } //适用于大文件上传 public HttpResult UploadBigFile(string saveKeys, byte[] data) { Config.AutoZone(AK, bucket, false); // 这个示例单独使用了一个Settings类,其中包含AccessKey和SecretKey // 实际应用中,请自行设置您的AccessKey和SecretKey Mac mac = new Mac(AK, SK); // 断点记录文件,可以不用设置,让SDK自动生成,如果出现续上传的情况,SDK会尝试从该文件载入断点记录 // 对于不同的上传任务,请使用不同的recordFile PutPolicy putPolicy = new PutPolicy(); // 如果需要设置为"覆盖"上传(如果云端已有同名文件则覆盖),请使用 SCOPE = "BUCKET:KEY" putPolicy.Scope = bucket + ":" + saveKeys; //putPolicy.Scope = bucket; // 上传策略有效期(对应于生成的凭证的有效期) putPolicy.SetExpires(100000); string token = Auth.CreateUploadToken(mac, putPolicy.ToJsonString()); // 包含两个参数,并且都有默认值 // 参数1(bool): uploadFromCDN是否从CDN加速上传,默认否 // 参数2(enum): chunkUnit上传分片大小,可选值128KB,256KB,512KB,1024KB,2048KB,4096KB ResumableUploader ru = new ResumableUploader(false, ChunkUnit.U1024K); // ResumableUploader.UploadFile有多种形式,您可以根据需要来选择 // // 最简模式,使用默认recordFile和默认uploadProgressHandler // UploadFile(localFile,saveKey,token) // // 基本模式,使用默认uploadProgressHandler // UploadFile(localFile,saveKey,token,recordFile) // // 一般模式,使用自定义进度处理(可以监视上传进度) // UploadFile(localFile,saveKey,token,recordFile,uploadProgressHandler) // // 高级模式,包含上传控制(可控制暂停/继续 或者强制终止) // UploadFile(localFile,saveKey,token,recordFile,uploadProgressHandler,uploadController) // // 支持自定义参数 //var extra = new System.Collections.Generic.Dictionary<string, string>(); //extra.Add("FileType", "UploadFromLocal"); //extra.Add("YourKey", "YourValue"); //uploadFile(...,extra,...) //最大尝试次数(有效值1~20),在上传过程中(如mkblk或者bput操作)如果发生错误,它将自动重试,如果没有错误则无需重试 int maxTry = 10; // 使用默认进度处理,使用自定义上传控制 UploadProgressHandler upph = new UploadProgressHandler(ResumableUploader.DefaultUploadProgressHandler); HttpResult result = ru.UploadData(data, saveKeys, token, upph); return result; }



猜你喜欢

转载自www.cnblogs.com/ydchw/p/10840198.html