新知一下
海量新知
6 2 9 1 6 4 8

干货:Android 音视频开发学习路线图

字节流动 | 一个开发者的认知、技术与生活感 2022/01/28 13:10

1

前言

2020 年要属什么最火,肯定是短视频和直播带货了。我自己基本上每天晚上睡觉之前都会刷一会儿 douyin 短视频,不得不承认 douyin 的推荐算法是真 nb ,推荐的都是我的最爱 ? 。

那么 douyin 短视频这么 nb 我们可不可以自己模仿着也做一个? 想想都觉得难啊,但是还是可以模仿着做一个的。我们先来看一下效果,这只是第一个版本,具备的功能有限。后面会一直持续迭代下去!

新知达人, 干货:Android 音视频开发学习路线图

那么,作为一个音视频零基础的人来说, 开发一款短视频 SDK 到底需要具备哪些知识呢? 下面就由我为大家介绍一翻(ps:以下学习路径仅代表个人观点)。

2

基础知识

1、你必须要有 「C/C++」 开发语言基础,可以看我之前写的文章

音视频学习 (一) C 语言入门

https://juejin.im/post/6844904022827073543

音视频学习 (二) C++ 语言入门

https://juejin.im/post/6844904039407173646

2、接下来就需要掌握 「JNI」 基础了

音视频学习 (三) JNI 从入门到掌握

https://juejin.im/post/6844904041235873799

3、有了 「C/C++/JNI」 基础,你还要学会如何交叉编译 「FFmpeg」 等 C/C++ 库

音视频学习 (四) 交叉编译动态库、静态库的入门学习

https://juejin.im/post/6844904046067712008

音视频学习 (五) Shell 脚本入门

https://juejin.im/post/6844904046659125262

音视频学习 (六) FFmpeg 4.2.2 交叉编译

https://juejin.im/post/6844904048303276045

4、有了以上的基础,那么就可以开始了解 音视频 的基础知识了

雷神-视音频编解码技术零基础学习方法

https://blog.csdn.net/leixiaohua1020/article/details/18893769

雷神-视音频数据处理入门:RGB、YUV像素数据处理

https://blog.csdn.net/leixiaohua1020/article/details/50534150

雷神-视音频数据处理入门:PCM音频采样数据处理

https://blog.csdn.net/leixiaohua1020/article/details/50534316

雷神-视音频数据处理入门:H.264视频码流解析

https://blog.csdn.net/leixiaohua1020/article/details/50534369

雷神-视音频数据处理入门:AAC音频码流解析

https://blog.csdn.net/leixiaohua1020/article/details/50535042

音视频学习 (七) 掌握音频基础知识并使用 AudioTrack、OpenSL ES 渲染 PCM 数据

https://juejin.im/post/5e3fcc5bf265da57685db2a9

音视频学习 (八) 掌握视频基础知识并使用 OpenGL ES 2.0 渲染 YUV 数据

https://juejin.im/post/6844904064401178632

5、现在可以入手音视频 AAC 、H264 软硬编解码了

Libfdkaac 音频编解码

https://github.com/yangkun19921001/AVSample/tree/master/fdkaac_audio_encode_decode/src/main/cpp

Libx264 视频编码

https://github.com/yangkun19921001/AVSample/tree/master/x264_video_encode

Android MediaCodec AAC 硬编解码

https://github.com/yangkun19921001/AVSample/tree/master/mediacodec_audio_encode_decode

Android MediaCodec H264 硬编解码

https://github.com/yangkun19921001/AVSample/tree/master/mediacodec_video_encode_decode

FFmpeg API 实现音频 AAC 软编解码

https://github.com/yangkun19921001/AVSample/tree/master/ffmpeg_audio_encode_decode

FFmpeg API 实现视频 H264 软编解码

https://github.com/yangkun19921001/AVSample/tree/master/ffmpeg_video_encode_decode

MP3 编解码

https://github.com/yangkun19921001/AVSample/tree/master/lame_ffmpeg_mp3_encode_decode

ffmpeg 基于 h264,AAC 文件打包为 MP4

https://github.com/yangkun19921001/AVSample/tree/master/ffmpeg_muxer

Java API 实现音视频播放(mp3/mp4/pcm/yuv)

https://github.com/yangkun19921001/AVSample/tree/master/javaavplayer

Native 端实现音视频播放(PCM/YUV)

https://github.com/yangkun19921001/AVSample/tree/master/nativeavplayer

基础知识差不多就这些了,如果有落下的后面再补上。

3

中级知识

1、FFmpeg + OpenGL ES + OpenSL ES + soundtouch 完成音视频播放

Google 官方的音视频播放库 -grafika

https://github.com/google/grafika

bilibili 官方开源的音视频播放库- ijkplayer

https://github.com/bilibili/ijkplayer

当然也可以参考我自己的 AVEditor 音视频播放模块

https://github.com/yangkun19921001/AVEditor

2、OpenGL ES 渲染视频是必须要会的

NDK_OpenGLES_3_0

https://github.com/githubhaohao/NDK_OpenGLES_3_0

3、Camera + MediaCodec + OpenGL ES + OpenSL ES + FFmpeg MP4Muxer 实现音视频录制为 MP4 格式

camera_recorder

https://github.com/yangkun19921001/AVSample/tree/master/camera_recorder

4、RTMP 推流实现

AVRtmpPushSDK

https://github.com/yangkun19921001/AVRtmpPushSDK

4

高级知识

1、音视频变速、变调录制

音频-soundtouch

https://github.com/rspeyer/soundtouch

视频修改时间戳即可达到变速录制

2、音视频录制实时滤镜实现

android-gpuimage

https://github.com/cats-oss/android-gpuimage

3、分段录制、水印、背景音

「分段录制:」 每次录制完成将录制的路径保存下来,最后将这些 MP4 的文件合并为一个 MP4 文件

「水印:」  拿着上一个视频处理的 纹理 ID ,在这基础上渲染一个 BItmap 即可

「背景音混音:」 可以参考如下实现代码

/**

 * 参考地址:https://www.shangmayuan.com/a/6daeefedbecb463f9dfce318.html

 * 归一算法:http://www.cppblog.com/jinq0123/archive/2007/10/31/35615.aspx

 * 能量值实现:https://www.jianshu.com/p/d3745dd23056

 * 实现原理:

 * 其实音频混音的核心原理就是将两个音频的原始byte数据进行叠加,

 * 很是简单的 + 起来,好比某个位置的数据是 1 而另外一个音频一样位置是 2 加起来就是3,

 * 这样就完成了音频的混音,固然这是最基础也是最垃圾的混音算法,咱们这里会介绍其中的一种混音算法,

 * 基本上能够达到商业使用的。那就是归一化混音算法。

 *

 *    C = A + B - A * B / (数据类型的最大值);

 *    byte数据就是

 *     C = A + B - A * B / 127;

 *     short数据就是

 *     C = A + B - A * B / 32767;

 *     //vol的取值范围 一般是小于10,大于0的,若是是0的话,就没有声音了,若是太大了就会出现杂音

 *     C = A * vol;

 *

 *

 *     混音算法总结:

 *     总结一下我对混音算法的学习,大概有以下几种方式:

 *      1. 直接加和

 *      2. 加和后再除以混音通道数,防止溢出

 *      3. 加和并箝位,如有溢出就设最大值

 *      4. 饱和处理,接近最大值时进行扭曲(“软件混音的实现”一文算法就是这类)

 *      5. 归一化处理,全部乘个系数,使幅值归一化。(只适用于文件)

 *      6. 衰减因子法,用衰减因子限制幅值[1]。

 */

extern "C"

JNIEXPORT jbyteArray JNICALL

Java_org_doubango_ngn_media_mixer_MultiAudioMixer_audioMix2(JNIEnv *env, jobject instance,

                                                            jbyteArray sourceA_,

                                                            jbyteArray sourceB_,

                                                            jbyteArray dst_, jfloat firstVol,

                                                            jfloat secondVol)
 
{

    jbyte *sourceA = env->GetByteArrayElements(sourceA_, NULL);

    jbyte *sourceB = env->GetByteArrayElements(sourceB_, NULL);

    jbyte *dst = env->GetByteArrayElements(dst_, NULL);

    //归一化混音

    int aL = env->GetArrayLength(sourceA_);

    int bL = env->GetArrayLength(sourceB_);

    //除以通道数量

    int row = aL / 2;

    short sA[row];

    for (int i = 0; i < row; ++i) {

        sA[i] = (short) ((sourceA[i * 2] & 0xff) | (sourceA[i * 2 + 1] & 0xff) << 8);

    }

    short sB[row];

    for (int i = 0; i < row; ++i) {

        sB[i] = (short) ((sourceB[i * 2] & 0xff) | (sourceB[i * 2 + 1] & 0xff) << 8);

    }

    short result[row];

    for (int i = 0; i < row; ++i) {

        int a = (int) (sA[i] * firstVol);

        int b = (int) (sB[i] * secondVol);

        if (a < 0 && b < 0) {

            int i1 = a + b - a * b / (-32768);

            if (i1 > 32768) {

                result[i] = 32767;

            } else if (i1 < -32768) {

                result[i] = -32768;

            } else {

                result[i] = (short) i1;

            }

        } else if (a > 0 && b > 0) {

            int i1 = a + b - a * b / 32767;

            if (i1 > 32767) {

                result[i] = 32767;

            } else if (i1 < -32768) {

                result[i] = -32768;

            } else {

                result[i] = (short) i1;

            }

        } else {

            int i1 = a + b;

            if (i1 > 32767) {

                result[i] = 32767;

            } else if (i1 < -32768) {

                result[i] = -32768;

            } else {

                result[i] = (short) i1;

            }

        }

    }

    for (int i = 0; i < row; ++i) {

        dst[i * 2 + 1] = (jbyte) ((result[i] & 0xFF00) >> 8);

        dst[i * 2] = (jbyte) (result[i] & 0x00FF);

    }

    jbyteArray result1 = env->NewByteArray(aL);

    env->SetByteArrayRegion(result1, 0, aL, dst);

    env->ReleaseByteArrayElements(sourceA_, sourceA, 0);

    env->ReleaseByteArrayElements(sourceB_, sourceB, 0);

    env->ReleaseByteArrayElements(dst_, dst, 0);

    return result1;

}

5、人脸识别-特效

可以使用 OpenCV 来做人脸识别,拿到人脸特征点位,最后利用这些点位用 OpenGL 绘制绘制出来就行了。

6、音视频剪辑技术

5

书籍推荐

  • <<音视频进阶指南>>

  • <<OpenGL ES 3.0 编程指南>>

  • <<学习 OpenCV 3 中文版>>

6

总结

目前能想到的从 0-1 开发一款短视频 SDK 需要具备的知识大概就是这些。其实学习这些知识相对而言时间成本都比较高,因为每一个知识点基本上都是一个独立的,就拿 OpenGL 来说, 要学这门知识基本上肯定是要 按 月 为单位来计算

当然不要看着学习成本高,就直接放弃了,一般来说高投入肯定会有高回报的。

好了,短视频入门开发就介绍到这里了。下面推荐一个目前我自己开源的零基础音视频进阶路线项目, 有需要的可以关注 star 一波 AVSample

https://github.com/yangkun19921001/AVSample

贴一张进阶路线图

新知达人, 干货:Android 音视频开发学习路线图

短视频 SDK 项目有更新都会提交到此处 AVEditor (ps:目前只是一个半成品,功能尚未开发完成)


更多“Android”相关内容

更多“Android”相关内容

新知精选

更多新知精选