【显示技术 - 视频编码】硬件加速 - 对接FFMPEG框架的H.265编码

xiaoxiao2021-02-27  168

最近在搞的一个项目,使用硬件加速,代替软件x265库进行H.265编码,好听点的叫法就是异构。

作为软件工程师,硬件算法的实现基本就和本人无关了,不过好在这块本身也不是兴趣所在~~   为了更好地讲硬件加速的效果进行展示,也为了省去许多工作,因此选用FFMPEG作为数据输入与输出的框架。

关于FFMPEG,网上资料也很多,雷神的博客也介绍得比较到位了,雷神侧重于讲解FFMPEG本身的代码框架及原理,这里的切入点不太一样,应用场景不同。

下面是主题。。

第一步,搞清楚FFMPEG框架能够完成的工作及特性

1. 修改点

仿照 libavcodec/libx265.c 写一个libh265.c,实现几个接口即可,没错,就是这么简单。。

init

close

encode2

libx265的结构体实现如下:

AVCodec ff_libx265_encoder = { .name = "libx265", .long_name = NULL_IF_CONFIG_SMALL("libx265 H.265 / HEVC"), .type = AVMEDIA_TYPE_VIDEO, .id = AV_CODEC_ID_HEVC, .init = libx265_encode_init, .encode2 = libx265_encode_frame, .close = libx265_encode_close, .capabilities = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS, };

事实上,init 和close就是一些初始化,关键就是实现encode2

2. FFMPEG框架本身具有诸多功能,能帮助读取数据,送到encode2进行编码(接收编码后的数据也在该接口完成),编码完成后还能将编码后数据进行封装、发送等

3. 借用一下libx265的代码说一下该encode2接口的特性及在该接口中我们需要完成的工作

static int libx265_encode_frame(AVCodecContext *avctx, AVPacket *pkt, const AVFrame *pic, int *got_packet) 数据一帧一帧地从文件或其他源读入之后,信息存在AVFrame中传入(每次传入一帧,或者当数据下发完毕,发送完毕,纯接收数据时,该参数传入NULL),正常关心该结构中的几个成员即可:

data 指向数据

width/height 视频分辨率

pts 帧序号

接口中必需完成的工作:

1. 数据发送到编码器进行编码,软件直接调用编码库接口编码,硬件通过驱动发送数据

2. 检查回收结果,两种情况:

    a. 无结果,上一次编码还没完成,我们不必傻乎乎等着,直接返回0,将got_packet 设0返回即可,FFMPEG自己会记录发送的包数量与接收的包数量,没收完全,它后面会传入 AVFrame 参数NULL来接收结果。

    b. 有结果,可能是上次结果(正常都是如此,毕竟编码比数据读入慢多了),创建一个packet,将结果存入,结果信息记录在 AVPacket参数中返回

            创建packet接口:

ff_alloc_packet(pkt, payload); 将编码后数据拷贝到创建的packet中去

设置AVPacket信息,设置pts/dts

更新got_packet 的值并返回

3. 利用FFMPEG实现基本功能,实现以上接口实现就已经完成了,下面说几个在学习过程中的实验及发现。

4. FFMPEG多线程

多线程有两种形式

第一种,x265软件编码多线程,该多线程参数由FFMPEG带入,

.capabilities = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS,

例如两条frame处理的线程:

         ffmpeg -i xxx -threads 2 -thread_type frame xxx

该参数会通过avctx参数带入到编码接口中,告诉软件编码器应当用几个线程进行并行编码,不设置的情况下默认是有多少个核开多少个线程

第二种,FFMPEG数据读取、调用encode2编码、收数据多线程:

.capabilities = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS | AV_CODEC_CAP_INTRA_ONLY,

会开启多个线程,并行读取数据,调用encode2接口进行编码、收数据

转载请注明原文地址: https://www.6miu.com/read-12108.html

最新回复(0)