ios音频视频开发,ios音频后期软件

iOS Camera开发指南

该框架框架包含视频相关的APIs和音频相关的APIs。

创新互联客户idc服务中心，提供眉山联通机房、成都服务器、成都主机托管、成都双线服务器等业务的一站式服务。通过各地的服务中心，我们向成都用户提供优质廉价的产品以及开放、透明、稳定、高性价比的服务，资深网络工程师在机房提供7*24小时标准级技术保障。

针对音频及视频，其主要提供的功能可以归纳为4各方面：

1）、Capture

音频、视频、图像媒体的捕捉，并输出我们可用的数据对象的过程。

2）、Edit

针对现有的媒体片段（音频片段或视频片段），重新创建Assets，重新加工、生成新的媒体片段。例如，Reading, Writing, Reencoding Assets, Thumbnails

3）、Export

提供导出音视频的API。例如，修改文件格式、消减时长等。

4）、Presentation

例如，播放、音视频的预览

设备的输入源主要包括：麦克风（Microphone），摄像头（Camera），屏幕等

输入源一般包括：AVCaptureVideoPreviewLayer，AVCaptureAudioPreviewOutput，文件、Raw Buffer等。

从一个设备，例如照相机或者麦克风管理捕获，组合对象来表示输入和输出，并使用 AVCaptureSession 的实例来协调它们之间的数据流。

一个简单的会话协调：

AVCapture Session作为整个Capture的核心，不断从输入源获取数据，然后分发给各个输出源，从而完成一次简单的会话。

AVCaptureSession参数配置

开始会话

结束会话

然而，很多情况下，需要考虑多个输入源是如何被表示以及如何连接到输出。

输入源有自己的硬件参数可以设置流控，输出源作为一个被动接受对象，它并没有太多流控设置，所以苹果巧妙的引入AVCaptureConnections。每个Output与Session建立连接后，都会分配一个默认的AVCpatureConnection。

AVCaptureConnections就是Session和Output中间的控制节点。很多实时数据，也都是从connection得到的。

输入设备的配置

输出的配置

接收输出资源

1)、视频

2）、照片输出

iOS 音视频开发 - 系统中断音频（Swift语言）

注册 AVAudioSession.interruptionNotification 的通知，可以收到播放打断通知。 系统将此通知发布到主线程。

其中userinfo有如下字段：

分began与end，用来表示打断开始与打断结束。

只在打断结束时返回。选项用 shouldResume 来指示：另一个音频会话的中断已结束，应用程序可以恢复其音频会话。

该属性只在打断开始时返回。存在于版本iOS 10.3-14.5。

用于确定这次中断是否由于系统挂起App所致。

获取到的是一个NSNumber表示的Bool。为true表示中断是由于系统挂起，false是被另一音频打断。

该属性只在打断开始时返回。存在于版本iOS 14.5以后，用来代替 AVAudioSessionInterruptionWasSuspendedKey 。

default ：因为另一个音频会话被激活,音频中断。（例如后台播着音频，此时播放微信语音）

appWasSuspended ：由于APP被系统挂起，音频中断

builtInMicMuted ：音频因内置麦克风静音而中断(例如iPad智能关闭套【iPad's Smart Folio】合上)

iOS开发中对音效和音乐播放的简单实现

一、简单介绍

简单来说，音频可以分为2种

（1）音效

又称“短音频”，通常在程序中的播放时长为1~2秒

在应用程序中起到点缀效果，提升整体用户体验

（2）音乐

比如游戏中的“背景音乐”，一般播放时间较长

框架：播放音频需要用到AVFoundation.framework框架

二、音效的播放

1.获得音效文件的路径

复制代码 代码如下:

NSURL *url = [[NSBundle mainBundle] URLForResource:@"m_03.wav" withExtension:nil];

2.加载音效文件，得到对应的音效ID

复制代码 代码如下:

SystemSoundID soundID = 0;

AudioServicesCreateSystemSoundID((__bridge CFURLRef)(url), soundID);

3.播放音效

复制代码 代码如下:

AudioServicesPlaySystemSound(soundID);

注意：音效文件只需要加载1次

4.音效播放常见函数总结

加载音效文件

复制代码 代码如下:

AudioServicesCreateSystemSoundID(CFURLRef inFileURL, SystemSoundID *outSystemSoundID)

释放音效资源

复制代码 代码如下:

AudioServicesDisposeSystemSoundID(SystemSoundID inSystemSoundID)

播放音效

复制代码 代码如下:

AudioServicesPlaySystemSound(SystemSoundID inSystemSoundID)

播放音效带点震动

复制代码 代码如下:

AudioServicesPlayAlertSound(SystemSoundID inSystemSoundID)

三、程序示例

先导入需要依赖的框架

导入需要播放的音效文件素材

说明：AVFoundation.framework框架中的东西转换为CF需要使用桥接。

代码示例：

复制代码 代码如下:

YYViewController.m文件

//

// YYViewController.m

// 14-音效播放

//

// Created by apple on 14-8-8.

// Copyright (c) 2014年 yangyong. All rights reserved.

//

#import "YYViewController.h"

#import

@interface YYViewController ()

@end

复制代码 代码如下:

@implementation YYViewController

- (void)viewDidLoad

{

[super viewDidLoad];

}

-(void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event

{

//1.获得音效文件的全路径

NSURL *url=[[NSBundle mainBundle]URLForResource:@"buyao.wav" withExtension:nil];

//2.加载音效文件，创建音效ID（SoundID,一个ID对应一个音效文件）

SystemSoundID soundID=0;

AudioServicesCreateSystemSoundID((__bridge CFURLRef)url, soundID);

//把需要销毁的音效文件的ID传递给它既可销毁

//AudioServicesDisposeSystemSoundID(soundID);

//3.播放音效文件

//下面的两个函数都可以用来播放音效文件，第一个函数伴随有震动效果

AudioServicesPlayAlertSound(soundID);

//AudioServicesPlaySystemSound(#systemsoundid)

}

@end

说明：点击屏幕可以播放音效文件。

音乐的播放

一、简单说明

音乐播放用到一个叫做AVAudioPlayer的`类，这个类可以用于播放手机本地的音乐文件。

注意：

（1）该类（AVAudioPlayer）只能用于播放本地音频。

（2）时间比较短的（称之为音效）使用AudioServicesCreateSystemSoundID来创建，而本地时间较长（称之为音乐）使用AVAudioPlayer类。

二、代码示例

AVAudioPlayer类依赖于AVFoundation框架，因此使用该类必须先导入AVFoundation框架，并包含其头文件（包含主头文件即可）。

导入必要的，需要播放的音频文件到项目中。

代码示例：

复制代码 代码如下:

//

// YYViewController.m

// 15-播放音乐

//

#import "YYViewController.h"

#import

@interface YYViewController ()

@end

复制代码 代码如下:

@implementation YYViewController

- (void)viewDidLoad

{

[super viewDidLoad];

}

-(void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event

{

//1.音频文件的url路径

NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];

//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）

AVAudioPlayer *audioPlayer=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];

//3.缓冲

[audioPlayer prepareToPlay];

//4.播放

[audioPlayer play];

}

@end

代码说明：运行程序，点击模拟器界面，却并没有能够播放音频文件，原因是代码中创建的AVAudioPlayer播放器是一个局部变量，应该调整为全局属性。

可将代码调整如下，即可播放音频：

复制代码 代码如下:

#import "YYViewController.h"

#import

@interface YYViewController ()

@property(nonatomic,strong)AVAudioPlayer *audioplayer;

@end

复制代码 代码如下:

@implementation YYViewController

- (void)viewDidLoad

{

[super viewDidLoad];

}

-(void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event

{

//1.音频文件的url路径

NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];

//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）

self.audioplayer=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];

//3.缓冲

[self.audioplayer prepareToPlay];

//4.播放

[self.audioplayer play];

}

@end

注意：一个AVAudioPlayer只能播放一个url，如果想要播放多个文件，那么就得创建多个播放器。

三、相关说明

新建一个项目，在storyboard中放三个按钮，分别用来控制音乐的播放、暂停和停止。

程序代码如下：

复制代码 代码如下:

#import "YYViewController.h"

#import

@interface YYViewController ()

@property(nonatomic,strong)AVAudioPlayer *player;

- (IBAction)play;

- (IBAction)pause;

- (IBAction)stop;

@end

@implementation YYViewController

- (void)viewDidLoad

{

[super viewDidLoad];

//1.音频文件的url路径

NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];

//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）

self.player=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];

//3.缓冲

[self.player prepareToPlay];

}

- (IBAction)play {

//开始播放/继续播放

[self.player play];

}

- (IBAction)pause {

//暂停

[self.player pause];

}

- (IBAction)stop {

//停止

//注意：如果点击了stop,那么一定要让播放器重新创建，否则会出现一些莫名其面的问题

[self.player stop];

}

@end

注意：如果点了“停止”，那么一定要播放器重新创建，不然的话会出现莫名其妙的问题。

点击了stop之后，播放器实际上就不能再继续使用了，如果还继续使用，那么后续的一些东西会无法控制。

推荐代码：

复制代码 代码如下:

#import "YYViewController.h"

#import

@interface YYViewController ()

@property(nonatomic,strong)AVAudioPlayer *player;

- (IBAction)play;

- (IBAction)pause;

- (IBAction)stop;

@end

复制代码 代码如下:

@implementation YYViewController

#pragma mark-懒加载

-(AVAudioPlayer *)player

{

if (_player==Nil) {

//1.音频文件的url路径

NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];

//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）

self.player=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];

//3.缓冲

[self.player prepareToPlay];

}

return _player;

}

- (void)viewDidLoad

{

[super viewDidLoad];

}

- (IBAction)play {

//开始播放/继续播放

[self.player play];

}

- (IBAction)pause {

//暂停

[self.player pause];

}

- (IBAction)stop {

//停止

//注意：如果点击了stop,那么一定要让播放器重新创建，否则会出现一些莫名其面的问题

[self.player stop];

self.player=Nil;

}

@end

四、播放多个文件

点击，url，按住common建查看。

可以发现，这个url是只读的，因此只能通过initWithContentsOfUrl的方式进行设置，也就意味着一个播放器对象只能播放一个音频文件。

那么如何实现播放多个音频文件呢？

可以考虑封装一个播放音乐的工具类，下一篇文章将会介绍具体怎么实现。

iOS音视频编码

iOS音视频开发涉及的方面比较广泛，一般分为采集、音视频的封装、编码、推流、拉流、解封装、解码、播放等阶段。其中音视频的编码和解码阶段是非常重要的步骤。其中编码分为硬编码和软编码，对应解码分为硬解码和软解码。

硬编码是指使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等。

硬编码一般性能高，对CPU没有压力，但是对其他硬件要求较高（如GPU等）。

软编码是指使用CPU进行编码，软编码通常使用：ffmpeg+x264。

软编码实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低。

常见的直播服务普遍采用了RTMP作为流媒体协议，FLV作为封装格式，H.264作为视频编码格式，AAC作为音频编码格式。

iOS中编码方式：

在iOS8之前，苹果并没有开放硬编码的接口，所以只能采用ffmpeg+x624进行软编码

在iOS8之后，苹果开放了接口，并且封装了VideoToolBoxAudioToolbox两个框架，分别用于对视频音频进行硬编码