大学毕业做音视频开发，月入20K，你呢？

悠悠 2023-07-14 08:06 23阅读 0赞

# 音视频趋势 #

随着5G时代的到来，音视频领域将会大放异彩。

5G让所有人兴奋，用户期待，因为5G网络更快更稳定延迟更低。运营商和上下游产业也期待，大家都想在5G时代分一杯羹。

近几年抖音快手B站等App的火热，已经说明问题了。随着WiFi设施的全面普及，流量费用的进一步下降，使得我们随时随地刷视频成为了可能。回想起我大学时代，那个时候流量很贵，贵到什么程度呢？1M流量要10块钱！大家想一想，1M流量10块钱，1G流量1万块钱，你还敢用4G刷视频么？4G时代，大家刷短视频，5G时代，大家刷长视频。基于这个判断，音视频相关技术是未来几年的热点，除了抖音快手，新的现象级客户端有可能会出现。

**作为移动开发人员，如何跟上热点学习音视频技术呢？**

今天主要介绍视频入门基础知识

# 视频编码基础知识 #

#### 视频和图像和关系 ####

好了，刚才说了图像，现在，我们开始说视频。所谓视频，大家从小就看动画，都知道视频是怎么来的吧？没错，大量的图片连续起来，就是视频。

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LTZmMmIxNzJjOWUyMGJkM2QuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNDAwL2Zvcm1hdC93ZWJw][]

衡量视频，又是用的什么指标参数呢？最主要的一个，就是帧率（Frame Rate）。在视频中，一个帧（Frame）就是指一幅静止的画面。帧率，就是指视频每秒钟包括的画面数量（FPS，Frame per second）。

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LTVkNThhNzk0N2M3YTUzNWMuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNTQyL2Zvcm1hdC93ZWJw][]

帧率越高，视频就越逼真、越流畅。

#### 未经编码的视频数据量会有多大？ ####

**有了视频之后，就涉及到两个问题：**

> 一个是存储；
> 
> 二个是传输。

![format_png][]

而之所以会有视频编码，关键就在于此：一个视频，如果未经编码，它的体积是非常庞大的。

**以一个分辨率1920×1280，帧率30的视频为例：**

> 共：1920×1280=2,073,600（Pixels 像素），每个像素点是24bit（前面算过的哦）；
> 
> 也就是：每幅图片2073600×24=49766400 bit，8 bit（位）=1 byte（字节）；
> 
> 所以：49766400bit=6220800byte≈6.22MB。

这是一幅1920×1280图片的原始大小，再乘以帧率30。

\*\*也就是说：\*\*每秒视频的大小是186.6MB，每分钟大约是11GB，一部90分钟的电影，约是1000GB。。。

吓尿了吧？就算你现在电脑硬盘是4TB的（实际也就3600GB），也放不下几部大姐姐啊！不仅要存储，还要传输，不然视频从哪来呢？如果按照100M的网速（12.5MB/s），下刚才那部电影，需要22个小时。。。再次崩溃。。。

正因为如此，屌丝工程师们就提出了，必须对视频进行编码。

#### 什么是编码？ ####

\*\*编码：\*\*就是按指定的方法，将信息从一种形式（格式），转换成另一种形式（格式）。\*\*视频编码：\*\*就是将一种视频格式，转换成另一种视频格式。

![format_png 1][]

编码的终极目的，说白了，就是为了压缩。各种五花八门的视频编码方式，都是为了让视频变得体积更小，有利于存储和传输。

**我们先来看看，视频从录制到播放的整个过程，如下：**

![format_png 2][]

首先是视频采集。通常我们会使用摄像机、摄像头进行视频采集。限于篇幅，我就不打算和大家解释CCD成像原理了。

![format_png 3][]

采集了视频数据之后，就要进行模数转换，将模拟信号变成数字信号。其实现在很多都是摄像机（摄像头）直接输出数字信号。信号输出之后，还要进行预处理，将RGB信号变成YUV信号。

***前面我们介绍了RGB信号，那什么是YUV信号呢？***

简单来说，YUV就是另外一种颜色数字化表示方式。视频通信系统之所以要采用YUV，而不是RGB，主要是因为**RGB信号不利于压缩**。在YUV这种方式里面，加入了亮度这一概念。在最近十年中，视频工程师发现，眼睛对于亮和暗的分辨要比对颜色的分辨更精细一些，也就是说，人眼对色度的敏感程度要低于对亮度的敏感程度。

所以，工程师认为，在我们的视频存储中，没有必要存储全部颜色信号。我们可以把更多带宽留给黑—白信号（被称作“亮度”），将稍少的带宽留给彩色信号（被称作“色度”）。于是，就有了YUV。

YUV里面的“Y”，就是亮度（Luma），“U”和“V”则是色度（Chroma）。

大家偶尔会见到的Y’CbCr，也称为YUV，是YUV的压缩版本，不同之处在于Y’CbCr用于数字图像领域，YUV用于模拟信号领域，MPEG、DVD、摄像机中常说的YUV其实就是Y’CbCr。

![image][]

▲ YUV（Y’CbCr）是如何形成图像的

YUV码流的存储格式其实与其采样的方式密切相关。（采样，就是捕捉数据）

**主流的采样方式有三种：**

> 1）YUV4:4:4；
> 
> 2）YUV4:2:2；
> 
> 3）YUV4:2:0。

![image][image 1]

具体解释起来有点繁琐，大家只需记住，通常用的是YUV4:2:0的采样方式，能获得1/2的压缩率。

这些预处理做完之后，就是正式的编码了。

# 5、视频编码的实现原理 #

#### 5.1 视频编码技术的基本原理 ####

前面我们说了，编码就是为了压缩。要实现压缩，就要设计各种算法，将视频数据中的冗余信息去除。当你面对一张图片，或者一段视频的时候，你想一想，如果是你，你会如何进行压缩呢？

![format_png 4][]

▲ 对于新垣女神，我一bit也不舍得压缩…

我觉得，首先你想到的，应该是找规律。是的，寻找像素之间的相关性，还有不同时间的图像帧之间，它们的相关性。

\*\*举个例子：\*\*如果一幅图（1920×1080分辨率），全是红色的，我有没有必要说2073600次\[255,0,0\]？我只要说一次\[255,0,0\]，然后再说2073599次“同上”。

![format_png 5][]

如果一段1分钟的视频，有十几秒画面是不动的，或者，有80%的图像面积，整个过程都是不变（不动）的。那么，是不是这块存储开销，就可以节约掉了？

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LTkxMmMxYjJkZThlMWM0OWMuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNTAwL2Zvcm1hdC93ZWJw][]

▲ 以上图为例，只有部分元素在动，大部分是不动的

是的，所谓编码算法，就是寻找规律，构建模型。谁能找到更精准的规律，建立更高效的模型，谁就是厉害的算法。

**通常来说，视频里面的冗余信息包括：**

![format_png 6][]

![format_png 7][]

视频编码技术优先消除的目标，就是空间冗余和时间冗余。

接下来，就和大家介绍一下，究竟是采用什么样的办法，才能干掉它们。以下内容稍微有点高能，不过我相信大家耐心一些还是可以看懂的。

#### 视频编码技术的实现方法 ####

视频是由不同的帧画面连续播放形成的。

**这些帧，主要分为三类，分别是：**

> 1）I帧；
> 
> 2）B帧；
> 
> 3）P帧。

\*\*I帧：\*\*是自带全部信息的独立帧，是最完整的画面（占用的空间最大），无需参考其它图像便可独立进行解码。视频序列中的第一个帧，始终都是I帧。

**P帧：**“帧间预测编码帧”，需要参考前面的I帧和/或P帧的不同部分，才能进行编码。P帧对前面的P和I参考帧有依赖性。但是，P帧压缩率比较高，占用的空间较小。

![format_png 8][]

▲ P帧

**B帧：**“双向预测编码帧”，以前帧后帧作为参考帧。不仅参考前面，还参考后面的帧，所以，它的压缩率最高，可以达到200:1。不过，因为依赖后面的帧，所以不适合实时传输（例如视频会议）。

![format_png 9][]

▲ B帧

通过对帧的分类处理，可以大幅压缩视频的大小。毕竟，要处理的对象，大幅减少了（从整个图像，变成图像中的一个区域）。

![format_png 10][]

**如果从视频码流中抓一个包，也可以看到I帧的信息，如下：**

![format_png 11][]

我们来通过一个例子看一下。

**这有两个帧：**

![format_png 12][]

好像是一样的？

**不对，我做个GIF动图，就能看出来，是不一样的：**

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LWFlZTMzZDFiNTIwZDRkMDYuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNjQwL2Zvcm1hdC93ZWJw][]

人在动，背景是没有在动的。

**第一帧是I帧，第二帧是P帧。两个帧之间的差值，就是如下：**

![format_png 13][]

**也就是说，图中的部分像素，进行了移动。移动轨迹如下：**

![format_png 14][]

这个，就是运动估计和补偿。

![format_png 15][]

当然了，如果总是按照像素来算，数据量会比较大，所以，一般都是把图像切割为不同的“块（Block）”或“宏块（MacroBlock）”，对它们进行计算。一个宏块一般为16像素×16像素。

![format_png 16][]

▲ 将图片切割为宏块

好了，我来梳理一下。

对I帧的处理，是采用帧内编码方式，只利用本帧图像内的空间相关性。对P帧的处理，采用帧间编码（前向运动估计），同时利用空间和时间上的相关性。简单来说，采用运动补偿(motion compensation)算法来去掉冗余信息。

![format_png 17][]

需要特别注意，I帧（帧内编码），虽然只有空间相关性，但整个编码过程也不简单。

![format_png 18][]

如上图所示，整个帧内编码，还要经过DCT（离散余弦变换）、量化、编码等多个过程。限于篇幅，加之较为复杂，今天就放弃解释了。

那么，视频经过编码解码之后，如何衡量和评价编解码的效果呢？

一般来说，分为客观评价和主观评价。客观评价，就是拿数字来说话。例如计算“信噪比/峰值信噪比”。

![format_png 19][]

信噪比的计算，我就不介绍了，丢个公式，有空可以自己慢慢研究…

![format_png 20][]

除了客观评价，就是主观评价了。主观评价，就是用人的主观感知直接测量，额，说人话就是——“好不好看我说了算”。

![format_png 21][]

**学习分享**

音视频，人工智能，这些是未来没办法阻挡的发展大趋势。我在猎聘网上看那些招聘岗位，要求精通NDK的薪资都在30-60K。追求高薪岗位的小伙伴，NDK开发一定要掌握并且去深挖。

题外话，虽然我在大厂工作多年，但也指导过不少同行。深知学习分享的重要性。

当程序员容易，当一个优秀的程序员是需要不断学习的，从初级程序员到高级程序员，从初级架构师到资深架构师，或者走向管理，从技术经理到技术总监，每个阶段都需要掌握不同的能力。早早确定自己的职业方向，才能在工作和能力提升中甩开同龄人。

**以下是今天给大家分享的一些独家干货：**

![format_png 22][]

![format_png 23][]

**【Android高级架构思维脑图（技能树）】**

![format_png 24][]

**【NDK学习视频】、【NDK资料包】【私信我】查看免费领取方式！**

[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LTZmMmIxNzJjOWUyMGJkM2QuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNDAwL2Zvcm1hdC93ZWJw]: /images/20230529/e64c670ee50b48059b5042bf83de21f6.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LTVkNThhNzk0N2M3YTUzNWMuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNTQyL2Zvcm1hdC93ZWJw]: /images/20230529/6495b6039a68457e9d7e446bcd76b26a.png
[format_png]: /images/20230529/c1d0e42ca5954c4f99d7ed0082662d4b.png
[format_png 1]: /images/20230529/2ca5233c16ae4d3b9b678915d073b3e9.png
[format_png 2]: /images/20230529/88a935a0826c4659bba4af18994db89c.png
[format_png 3]: /images/20230529/78595ec0fb634b189daf8bdb5546d293.png
[image]: /images/20230529/c026a62489674b8fb54eabb39c3e5862.png
[image 1]: /images/20230529/a473ff3bd4a4421e81b6bc38ac57c4dd.png
[format_png 4]: /images/20230529/56db9bdecd954cbf99cc11de5ff3eef7.png
[format_png 5]: /images/20230529/f7b28076c5e94dfeae6774af4ae77521.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LTkxMmMxYjJkZThlMWM0OWMuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNTAwL2Zvcm1hdC93ZWJw]: /images/20230529/6bcc0d827fcb4f14a6e0a414d527db71.png
[format_png 6]: /images/20230529/281754ebf1674da5877af882e381574e.png
[format_png 7]: /images/20230529/896323bee5c94d189c05cf4b0f94b410.png
[format_png 8]: /images/20230529/a97190da8b3d4a889b24cc475f79f0a8.png
[format_png 9]: /images/20230529/18da211d74aa490cbf070a3e9e4ebcd3.png
[format_png 10]: /images/20230529/dc7efeddaafe4dd99a633d25182702a3.png
[format_png 11]: /images/20230529/94c49a12e9e7463e8a771ce697f3bbc4.png
[format_png 12]: /images/20230529/579b58f137b0451988b004b16d606fb2.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNTAwODM5LWFlZTMzZDFiNTIwZDRkMDYuZ2lmP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXB8aW1hZ2VWaWV3Mi8yL3cvNjQwL2Zvcm1hdC93ZWJw]: /images/20230529/b72678b87f6c4a44bab261c9bf810c26.png
[format_png 13]: /images/20230529/4a4afaed4d5b4e7a933206506f861c6d.png
[format_png 14]: /images/20230529/ad0d6426c47f44688f52915d6944bd74.png
[format_png 15]: /images/20230529/0ab93ee3c40c4235b26dbbc390957ba3.png
[format_png 16]: /images/20230529/ccd4681aea9c4587ab45201aab749a4f.png
[format_png 17]: /images/20230529/e48e11a6954b459eac68edd99f10a3a8.png
[format_png 18]: /images/20230529/74db0a5e8e644df38dda2c0ad11a4c9c.png
[format_png 19]: /images/20230529/200ec9aef4d349139aa27b1a72dfb3d0.png
[format_png 20]: /images/20230529/48058e8098b24f119f5872fe48fdf389.png
[format_png 21]: /images/20230529/106c9322274b4001a6cd5309e935adec.png
[format_png 22]: /images/20230529/5a73faa5b1624a2588cde50635a81bb3.png
[format_png 23]: /images/20230529/19d5de90f97e4ed19d15b3ccbf27d255.png
[format_png 24]: /images/20230529/447f6a2ccc70443195ac720136df14f5.png