直播平台源码搭建教程之最简单的iOS直播推流yuv、pcm数据的介绍和获取
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!!
源代码:https://github.com/hardman/AWLive
前面介绍了如何通过相机实时获取音视频数据。
我们接下来就需要了解获取到的数据到底是什么样的。
使用系统提供的接口获取到的音视频数据都保存在CMSampleBufferRef中。
使用GPUImamge获取到的音频数据为CMSampleBufferRef,获取到的视频格式为BGRA格式的二进制数据。
这个结构在iOS中表示一帧音频/视频数据。
它里面包含了这一帧数据的内容和格式。
我们可以把它的内容取出来,提取出/转换成 我们想要的数据。
代表视频的CMSampleBufferRef中保存的数据是yuv420格式的视频帧(因为我们在视频输出设置中将输出格式设为:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)。
代表音频的CMSampleBufferRef中保存的数据是PCM格式的音频帧。
视频是由一帧一帧的数据连接而成,而一帧视频数据其实就是一张图片。
yuv是一种图片储存格式,跟RGB格式类似。
RGB格式的图片很好理解,计算机中的大多数图片,都是以RGB格式存储的。
yuv中,y表示亮度,单独只有y数据就可以形成一张图片,只不过这张图片是灰色的。u和v表示色差(u和v也被称为:Cb-蓝色差,Cr-红色差),
为什么要yuv?
有一定历史原因,最早的电视信号,为了兼容黑白电视,采用的就是yuv格式。
一张yuv的图像,去掉uv,只保留y,这张图片就是黑白的。
而且yuv可以通过抛弃色差来进行带宽优化。
比如yuv420格式图像相比RGB来说,要节省一半的字节大小,抛弃相邻的色差对于人眼来说,差别不大。
一张yuv格式的图像,占用字节数为 (width * height + (width * height) / 4 + (width * height) / 4) = (width * height) * 3 / 2 一张RGB格式的图像,占用字节数为(width * height) * 3
在传输上,yuv格式的视频也更灵活(yuv3种数据可分别传输)。
很多视频编码器最初是不支持rgb格式的。但是所有的视频编码器都支持yuv格式。
综合来讲,我们选择使用yuv格式,所以我们编码之前,首先将视频数据转成yuv格式。
我们这里使用的就是yuv420格式的视频。
yuv420也包含不同的数据排列格式:I420,NV12,NV21.
其格式分别如下, I420格式:y,u,v 3个部分分别存储:Y0,Y1...Yn,U0,U1...Un/2,V0,V1...Vn/2 NV12格式:y和uv 2个部分分别存储:Y0,Y1...Yn,U0,V0,U1,V1...Un/2,Vn/2 NV21格式:同NV12,只是U和V的顺序相反。
综合来说,除了存储顺序不同之外,上述格式对于显示来说没有任何区别。
使用哪种视频的格式,取决于初始化相机时设置的视频输出格式。 设置为kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange时,表示输出的视频格式为NV12; 设置为kCVPixelFormatType_420YpCbCr8Planar时,表示使用I420。
GPUImage设置相机输出数据时,使用的就是NV12.
为了一致,我们这里也选择NV12格式输出视频。
脉冲编码调制,其实是将不规则的模拟信号转换成数字信号,这样就可以通过物理介质存储起来。
而声音也是一种特定频率(20-20000HZ)的模拟信号,也可以通过这种技术转换成数字信号,从而保存下来。
PCM格式,就是录制声音时,保存的最原始的声音数据格式。
相信你应该听说过wav格式的音频,它其实就是给PCM数据流加上一段header数据,就成为了wav格式。
而wav格式有时候之所以被称为无损格式,就是因为他保存的是原始pcm数据(也跟采样率和比特率有关)。
像我们耳熟能详的那些音频格式,mp3,aac等等,都是有损压缩,为了节约占用空间,在很少损失音效的基础上,进行最大程度的压缩。
所有的音频编码器,都支持pcm编码,而且录制的声音,默认也是PCM格式,所以我们下一步就是要获取录制的PCM数据。
在前面的文章(使用系统接口捕获视频)中,初始化输出设备时,我们将输出的数据设置为kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange。 因此在CMSampleBufferRef中保存的是yuv420(NV12)格式数据。 通过下面的方法将CMSampleBufferRef转为yuv420(NV12)。
至此我们已经将捕获的视频数据转为了yuv420格式,将音频数据转为了pcm格式。
接下来就可以对这些数据进行各种编码了。编码完成后,就可以将数据发送给服务器了。