iOS开发-AudioToolBox之AudioQueue录音
文章目录
- 思维流程
- 参数配置以及初始化
- 开始暂停结束
- 数据处理
- 音频打断，前后台切换以及Route改变处理
关于
AudioQueue的录音和播放，都使用了
3缓存机制，这样避免资源开销，内存分配，循环使用该
3个buffer即可。
对于AudioQueue的录音，一般只需要了解如下：
- 如何初始化
- 如何开始，暂停，结束
- 如何配置录音参数
- 如何获取录音数据
- 如何处理异常状况
一般来说一个模块都需要初始化，音频初始化则需要配置
采样率 通道数 以及格式，使用AudioStreamBasicDescription来配置
思维流程
- 设置好参数信息，这样
AudioQueue就知道我们需要什么样的数据了 - 创建
AudioQueue实例并设置一个Record回调，Record回调会在录制到一帧声音之后返回 - 创建三个空
buffer，并加入到AudioQueue,我们重复利用这个三个buffer，在录制的Record回调返回后，会返回一个buffer，同时这个buffer会自动移出队列，我们拿到buffer中的数据后再讲其加入到队列中。 - 开始我们的录制，收到Record回调
参数配置以及初始化
_aqc.mDataFormat.mSampleRate = 16000.0; //采样率_aqc.mDataFormat.mBitsPerChannel = 16; //在一个数据帧中，每个通道的样本数据的位数。_aqc.mDataFormat.mChannelsPerFrame = 1; //每帧数据通道数_aqc.mDataFormat.mFormatID = kAudioFormatLinearPCM; //数据格式 PCM or AAC ..._aqc.mDataFormat.mFramesPerPacket = 1; //每包数据帧数_aqc.mDataFormat.mBytesPerFrame = (_aqc.mDataFormat.mBitsPerChannel / 8) * _aqc.mDataFormat.mChannelsPerFrame;_aqc.mDataFormat.mBytesPerPacket = _aqc.mDataFormat.mBytesPerFrame * _aqc.mDataFormat.mFramesPerPacket;_aqc.mDataFormat.mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked;_aqc.frameSize = kFrameSize; //这里设置2048//初始化，分别是参数、回调、self指针or this ，Null，Runloop模式，自动创建的队列AudioQueueNewInput(&_aqc.mDataFormat, AQInputCallback, (__bridge void *)(self), NULL, kCFRunLoopCommonModes, 0, &_aqc.queue);//这里分配三个缓存的内存并加入队列for (int i=0; i这里或许有如下疑惑：
1.采样率是什么？
首先需要理解音频的量化：模拟信号转数字信号的过程
模拟信号就是波形线，我们需要将时间t=1s内的波形全部转为数字(数字信号)，这样才能存储在内存中。举个栗子：即0.0001秒的波形值为1.4，0.0002秒的波形值为3.8，这个波形值的存储位数即为采样位深 mBitsPerChannel。那么采样率就是采样的频率，即将1s划分为多少份来记录波形值。通常的采样率有16khz,44khz等等。
2.一帧数据是什么？
一帧数据，即将源音频文件划分多少帧，取其一帧或者几帧，通过包发出，所以一个数据包中可能有几帧。
一帧音频，可能是双通道，单通道，双通道对比单通道数据大小要乘以2
一帧PCM数据大小计算: PCM Buffersize=采样率 * 采样时间 * 采样位深/8 * 通道数（Bytes）
对于16khz采样率，单通道，采样位深16Bit的1s音频大小为
16000x1x16/8 = 32000字节
如果1s为30帧，即20ms一帧
则每帧的数据大小为32000/20=1600字节。
所以在上方代码中，设置每帧大小kFrameSize=2048，即32000/2048=15.625帧，每秒至少要有16帧，才能满足。
开始暂停结束
AudioQueueStart(_aqc.queue, NULL); //这里开始queue
AudioQueuePause(_aqc.queue); //暂停
AudioQueueStop(_aqc.queue, true); //停止结束的时候要注意释放相关资源：
if (status != noErr) {for(int i = 0; i < kNumberBuffers; i++) {AudioQueueFreeBuffer(_aqc.queue, _aqc.mBuffers[i]);}
}
AudioQueueDispose(_aqc.queue, true);
数据处理
static void AQInputCallback (void * inUserData,AudioQueueRef inAudioQueue,AudioQueueBufferRef inBuffer,const AudioTimeStamp * inStartTime,UInt32 inNumPackets,const AudioStreamPacketDescription * inPacketDesc)
{GSAudioSendEngine *engine = (__bridge GSAudioSendEngine *) inUserData;if (!engine) {ALog(@"engine is dealloc");return;}//这里是实际播放时间，暂停停止都不计算在内，是真实的播放数据时间NSTimeInterval playedTime = inStartTime->mSampleTime / engine.aqc.mDataFormat.mSampleRate;printf("inNumPackets %d record time %f\n",inNumPackets,playedTime);if (inNumPackets > 0) {//这里就是数据回调出去[engine processAudioBuffer:inBuffer withQueue:inAudioQueue];}if (engine.aqc.run) {AudioQueueEnqueueBuffer(engine.aqc.queue, inBuffer, 0, NULL);}}
音频打断，前后台切换以及Route改变处理
- 对于app来说，如果知道自己是否采用后台播放模式，则不用判断是否处于后台播放模式。这里开发SDK才使用了
_isBackgroundAudioMode判断 - 仅仅监听音频打断通知并不够，当各个代码互相影响时，会触发Route改变通知，同样需要处理。
- 前后进入也需要做适当的处理逻辑。对于非后台模式的app，进入后台时不关闭AudioSession的话，在其再次激活时，会收到一个打断通知。见此文章
- 更加严谨的应用需要处理
AVAudioSessionMediaServicesWereResetNotification通知。见此文章
- (void)handleRouteChange:(NSNotification *)notification {// AVAudioSession *session = [AVAudioSession sharedInstance];NSString *seccReason = @"";NSInteger reason = [[[notification userInfo] objectForKey:AVAudioSessionRouteChangeReasonKey] integerValue];// AVAudioSessionRouteDescription* prevRoute = [[notification userInfo] objectForKey:AVAudioSessionRouteChangePreviousRouteKey];switch (reason) {case AVAudioSessionRouteChangeReasonNoSuitableRouteForCategory:seccReason = @"The route changed because no suitable route is now available for the specified category.";break;case AVAudioSessionRouteChangeReasonWakeFromSleep:case AVAudioSessionRouteChangeReasonOverride:case AVAudioSessionRouteChangeReasonCategoryChange:case AVAudioSessionRouteChangeReasonOldDeviceUnavailable:case AVAudioSessionRouteChangeReasonNewDeviceAvailable: {seccReason = [NSString stringWithFormat:@"AVAudioSession Route change Reason is %ld (wakesleep:6,override:4,change:3,oldUnavailiable:2,newDevice:1)",(long)reason];//这里当route改变时(例如其他Audio Unit的三方类初始化,Session重置Mode,Category),可能会导致队列停止,没有数据输出，这里重置[self resetAudio];}break;case AVAudioSessionRouteChangeReasonUnknown:default:seccReason = @"The reason for the change is unknown.";break;}ALog(@" handleRouteChange reason is %@", seccReason);
}- (void)resetAudio {if (_aqc.run) {[self stop];[self start];}else {[self start];}
}- (void)handleAudioSessionInterruption:(NSNotification*)notification {if (!self.isRunning) return;ALog(@"handleAudioSessionInterruption:%@",notification);NSNumber *interruptionType = [[notification userInfo] objectForKey:AVAudioSessionInterruptionTypeKey];NSNumber *interruptionOption = [[notification userInfo] objectForKey:AVAudioSessionInterruptionOptionKey];switch (interruptionType.unsignedIntegerValue) {case AVAudioSessionInterruptionTypeBegan:{// • Audio has stopped, already inactive// • Change state of UI, etc., to reflect non-playing stateif (_isBackground) {if (_isBackgroundAudioMode) {[self stop]; //should stop whatever in background or app is not background audio type}}else{[self stop];}_isAudioInteruptBegan = YES;} break;case AVAudioSessionInterruptionTypeEnded:{// • Make session active// • Update user interface// • AVAudioSessionInterruptionOptionShouldResume optionif (interruptionOption.unsignedIntegerValue == AVAudioSessionInterruptionOptionShouldResume) {// Here you should continue playback.// Apps that do not require user input to begin audio playback (such as games) can ignore this flag and always resume playback when an interruption ends.NSError *error;[[AVAudioSession sharedInstance] setActive:YES withOptions:kAudioSessionSetActiveFlag_NotifyOthersOnDeactivation error:&error];if (error) {NSLog(@"error: %@", error.description);}if (_isBackground) { //如果是后台//如果app适配后台播放音频模式,并且没有第二个app在占用音频if (_isBackgroundAudioMode && ![AVAudioSession sharedInstance].secondaryAudioShouldBeSilencedHint) {[self resetAudio];_audioCookedValue = 1;}else{//没有重置的情况下，我们放在进入前台时重置_audioCookedValue = 2;}}else{ //if UITextView / UITextField audio entry interruped , need reset openal[self resetAudio];_audioCookedValue = 1;}ALog(@"AVAudioSessionInterruptionOptionShouldResume");}else {if (![AVAudioSession sharedInstance].secondaryAudioShouldBeSilencedHint) {if (_isBackground) {if (_isBackgroundAudioMode) {[self resetAudio];_audioCookedValue = 1;}else{_audioCookedValue = 2;}}else{ //if UITextView / UITextField audio entry interruped , need reset openal[self resetAudio];_audioCookedValue = 1;}ALog(@"AVAudioSessionInterruptionOptionKey is 0 - UnknowError");}else {ALog(@"secondaryAudioShouldBeSilencedHint is YES");}}}break;default:break;}
}- (void)appDidBecomeActive {if (!self.isRunning) return;_isBackground = NO;_isAudioInteruptBegan = NO;//进入前台就认为没有音频打断了if (_audioCookedValue == 2) { //当需要进入前台重置时[self resetAudio];}_audioCookedValue = 0;if (!_isBackgroundAudioMode) {[[AVAudioSession sharedInstance] setActive:YES error:nil];//to avoid receive notification interrupt start , and resume audio session}else {}
}- (void)appWillResignActive {if (!self.isRunning) return;_isBackground = YES;if (!_isBackgroundAudioMode) {[self stop];NSError *error = nil;if (![AVAudioSession sharedInstance].secondaryAudioShouldBeSilencedHint) {//关闭音频session,避免打断通知混乱的问题[[AVAudioSession sharedInstance] setActive:NO withOptions:AVAudioSessionSetActiveOptionNotifyOthersOnDeactivation error:&error];}if (error) {ALog(@"inactive session error %@",error.description);}//to avoid receive notification interrupt start,option kAudioSessionSetActiveFlag_NotifyOthersOnDeactivation is need}
}
这里附上demo地址 https://github.com/shengpeng3344/AudioQueueRecordSample/
学无止境，互相学习吧
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！