阿里云对象存储OSS-分片上传
文章目录
- 对象存储OSS-分片上传
- 什么是分片上传
- 分片上传的实用场景
- 分片上传的三个步骤
- 1、初始化一个分片上传事件
- 2、上传分片
- 3、完成分片上传
- 代码实现
- 方式一
- 方式二
- 问题
- 1、分片上传，上传进度怎么处理？
- 注意事项
- 心得
对象存储OSS-分片上传
什么是分片上传
当使用简单上传（PutObject）功能来上传较大的文件到OSS的时候，如果上传的过程中出现了网络错误，会出现上传失败，重试必须从文件起始位置上传。针对这种情况，OSS提供了分片上传(Multipart Upload)来达到断点续传的效果。
顾名思义，分片上传就是将要上传的文件分成多个数据块（OSS里又称之为Part）来分别上传，上传完成之后再调用OSS的接口将这些Part组合成一个Object。
分片上传的实用场景
一般传输大文件的时候使用分片上传，比如大的视频点播文件等。
分片上传的三个步骤
1、初始化一个分片上传事件
略…
2、上传分片
这里有两个步骤，1将文件分片，2将分片的文件上传。分片的大小可根据整个文件的大小来合理的设置分片数量。例如，有一个文件是5个G，分片数量设置为10，即将一个5个G的文件分10次上传，每次上传0.5个G。
3、完成分片上传
略…
代码实现
方式一
方式一是在OSS SDK文档中看到的实现分片上传原理的代码实现，通过测试这种方式效率感觉不高，比较慢，上传大的文件（视频）的时候会闪退，提价了工单问了工作人员，也没解决，建议使用方式二的上传方式，方式一的代码可以让我们更加直白的理解什么是分片，怎么分片。
上传部分代码
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{//7、初始化OSSInitMultipartUploadRequest__block NSString * uploadId = nil;__block NSMutableArray *partInfos = [NSMutableArray new];NSString *uploadToBucket = [VHOSSManager sharedManager].federationToken.bucketName;NSString *uploadObjectkey = [NSString stringWithFormat:@"demand/%@%@",uplodFile.fileMD5,uplodFile.MIMEType];OSSInitMultipartUploadRequest * init = [OSSInitMultipartUploadRequest new];init.bucketName = uploadToBucket;init.objectKey = uploadObjectkey;OSSTask * initTask = [[VHOSSManager sharedManager].client multipartUploadInit:init];[initTask waitUntilFinished];if (!initTask.error) {OSSInitMultipartUploadResult *result = initTask.result;uploadId = result.uploadId;} else {OSSLogDebug(@"multipart upload failed, error: %@", initTask.error);return;}//8、分片上传uint64_t offset = uplodFile.totalBytes / chuckCount;//每个分片大小__block uint64_t mostUploadSize = 0;for (int i = 1; i <= chuckCount; i++) {@autoreleasepool {OSSUploadPartRequest * uploadPart = [OSSUploadPartRequest new];uploadPart.bucketName = uploadToBucket;uploadPart.objectkey = uploadObjectkey;uploadPart.uploadId = uploadId;uploadPart.partNumber = i; // part number start from 1uploadPart.uploadPartProgress = ^(int64_t bytesSent, int64_t totalBytesSent, int64_t totalBytesExpectedToSend) { //本次回调上传的长度，当前总共上传的长度，一共需要上传的长度mostUploadSize += bytesSent;if (progressCallback) {progressCallback(uplodFile,i,totalBytesSent,totalBytesExpectedToSend,mostUploadSize,uplodFile.totalBytes);}};NSFileHandle* readHandle = [NSFileHandle fileHandleForReadingAtPath:filePath];[readHandle seekToFileOffset:offset * (i -1)];NSData* data = [readHandle readDataOfLength:offset];uploadPart.uploadPartData = data;OSSTask * uploadPartTask = [[VHOSSManager sharedManager].client uploadPart:uploadPart];[uploadPartTask waitUntilFinished];if (!uploadPartTask.error) {OSSUploadPartResult * result = uploadPartTask.result;uint64_t fileSize = [[[NSFileManager defaultManager] attributesOfItemAtPath:uploadPart.uploadPartFileURL.absoluteString error:nil] fileSize];[partInfos addObject:[OSSPartInfo partInfoWithPartNum:i eTag:result.eTag size:fileSize]];} else {OSSLogDebug(@"upload part error: %@", uploadPartTask.error);return;}}}//9、完成分片上传OSSCompleteMultipartUploadRequest * complete = [OSSCompleteMultipartUploadRequest new];complete.bucketName = uploadToBucket;complete.objectKey = uploadObjectkey;complete.uploadId = uploadId;complete.partInfos = partInfos;OSSTask * completeTask = [[VHOSSManager sharedManager].client completeMultipartUpload:complete];[[completeTask continueWithBlock:^id(OSSTask *task) {dispatch_async(dispatch_get_main_queue(), ^{if (!task.error) {//OSSCompleteMultipartUploadResult *result = task.result;if (successCallback) {successCallback(nil);}} else {if (failedCallback) {failedCallback(nil,task.error);}}OSSLogDebug(@"upload result error: %@", task.error);});return nil;}] waitUntilFinished];
});
-
上传分片的时候记录mostUploadSize，本地累计
-
分片策略可以自己定义，上面使用的是均分每个片进行上传
分片上传是将每个分片分别上传，每次上传文件的某一片的数据，每次上传读取对应分片的数据：
NSFileHandle* readHandle = [NSFileHandle fileHandleForReadingAtPath:filePath];
[readHandle seekToFileOffset:offset * (i -1)];
NSData* data = [readHandle readDataOfLength:offset];
uploadPart.uploadPartData = data;
offset是每个分片的长度，i是从1开始的
第1个分片的数据是将数据seek到0的位置，读取长度为offset的数据进行上传，
第2个分片的数据是将数据seek到1的位置，然后读取长度offset的数据进行上传，
第i个分片…
方式二
方式二是OSS SDK Demo里面提供的一种分片上传方式，设置分片大小直接传partSize即可。
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{//计算每个分片大小uint64_t partSize = uplodFile.totalBytes / chuckCount;//bucketNSString *uploadToBucket = [VHOSSManager sharedManager].federationToken.bucketName;NSString *uploadObjectkey = [NSString stringWithFormat:@"%@/%@%@",[VHOSSManager sharedManager].federationToken.bucketCatalog,uplodFile.fileMD5,uplodFile.MIMEType];// 获取沙盒的cache路径NSString *cachesDir = [NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) firstObject];// 获取本地大文件urlNSURL *fileURL = [NSURL URLWithString:filePath];OSSResumableUploadRequest * resumableUpload = [OSSResumableUploadRequest new];resumableUpload.bucketName = uploadToBucket;resumableUpload.objectKey = uploadObjectkey;resumableUpload.uploadingFileURL = fileURL; // 设置要上传的文件urlresumableUpload.contentType = @"application/octet-stream"; // 设置content-typeresumableUpload.partSize = partSize; // 设置分片大小resumableUpload.recordDirectoryPath = cachesDir; // 设置分片信息的本地存储路径// 设置metadataresumableUpload.completeMetaHeader = [NSMutableDictionary dictionaryWithObjectsAndKeys:@"value1", @"x-oss-meta-name1", nil];// 设置上传进度回调resumableUpload.uploadProgress = ^(int64_t bytesSent, int64_t totalByteSent, int64_t totalBytesExpectedToSend) {uplodFile.totalBytes = totalBytesExpectedToSend;if (progressCallback) {progressCallback(uplodFile,totalByteSent,totalBytesExpectedToSend);}};//OSSTask * resumeTask = [[VHOSSManager sharedManager].client resumableUpload:resumableUpload];[resumeTask waitUntilFinished];// 阻塞当前线程直到上传任务完成dispatch_async(dispatch_get_main_queue(), ^{if (resumeTask.result) {if (successCallback) {successCallback(uplodFile);}} else {if (failedCallback) {failedCallback(uplodFile,resumeTask.error);}}});});
问题
1、分片上传，上传进度怎么处理？
分片上传Api
/**分片上传进度回调@param fileInfo 当前上传的文件@param partNum 当前第N个分片（分片数是从1开始）@param partUploadedSize 当前分片已上传文件大小@param partTotalSize 当前分片文件大小@param uploadTotalSize 当前总共上传的文件大小@param mostTotalSize 文件总大小*/
typedef void (^MultipartUploadProgressCallback) (VHUploadFileInfo* _Nullable fileInfo, NSInteger partNum,int64_t partUploadedSize, int64_t partTotalSize, int64_t uploadTotalSize,int64_t mostTotalSize);
可以回调每个分片的上传进度，也可以回调整个文件的上传进度，具体可见上传部分代码实现。
注意事项
- uploadPart 要求除最后一个 Part 外，其他的 Part 大小都要大于100KB。
心得
OSS很强大，各种功能都有。
小文件能不使用分片就别使用分片，除非是大文件，分片上传的思想是很好的，但是要注意使用场景。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！