ios开发音视频数据采集 ios传感器数据采集app

视频直播App搭建的音视频采集和处理

1、作为直播平台搭建中的核心功能，音视频处理的一般流程：直播客户端分为两个端：共享端和观看端。其中共享端又包含：音视频采集，音视频编码两个模块，我们需要对每个模块做的事情非常清楚。

网站的建设创新互联专注网站定制,经验丰富,不做模板,主营网站定制开发.小程序定制开发,H5页面制作!给你焕然一新的设计体验!已为成都iso认证等企业提供专业服务。

2、前端设备，手机或者摄像机等设备将直播的音视频内容进行采集处理，才推动到平台源站服务器（采用多机集群热备份机制）。

3、预处理：对采集到的数据通过SDK层面接口进行润化处理，主要是图像方面的处理，如美颜、水印、滤镜等，GPU优化提速，平衡手机功耗及效果。

MAC/iOS利用FFmpeg解析音视频数据流

通过上图可以得知，Audio Queue的播放流程即是一个 生产者与消费者 的模式： 创建多个Buffer容器，依次填充(生产)Buffer后插入队列中，开始播放(消费)，然后通过回调将消费过的Buffer reuse，循环整个过程。

引用 wiki百科 的解析.FFmpeg 项目由以下几部分组成：FFmpeg 可以在Windows、Linux还有Mac OS等多种操作系统中进行安装和使用。

ffmpeg播放视频的部分方法解析 The number of *pixels* that a line in the buffer takes in memory. This may be = width.图像的一行在内存里占的空间，做了对齐，可能比宽度大一些。

iOS音视频采集与格式转换(yuv转rgb)

1、yuv是一种图片储存格式，跟RGB格式类似。RGB格式的图片很好理解，计算机中的大多数图片，都是以RGB格式存储的。yuv中，y表示亮度，单独只有y数据就可以形成一张图片，只不过这张图片是灰色的。

2、因为在 OpenGL 中纹理的默认格式都是 RGBA 格式的，并且也要为后续的纹理处理以及渲染到屏幕上打下基础，最终编码器也是以 RGBA 格式为基础进行转换和处理的。 YUV转RGBA 在FragmentShader 中将 YUV 转换为 RGBA 格式。

3、这种格式应该被视为用于标准定义 TV 分辨率 (720 x 576) 和更低分辨率视频的首选 YUV 格式。

4、yuv三个分量的取值范围也是[0，255]，且取整数的。

5、RGB模型 转换成 YUV模型 ，在显示的时候再将 YUV模型 转换成 RGB模型 。RGB 到 YUV 的转换，就是将图像所有像素点的 R、G、B 分量量转换到 Y、U、V 分量。