Android FFmpeg 開発 (2)、ビデオのデコードとレンダリングを実現

前回の記事では、FFmpeg をクロスコンパイルし、コンパイル済みの製品である libffmpeg.so を取得し、libffmpeg.so ライブラリを統合する Android プロジェクトを作成しました. Android FFmpeg開発 (1)を読む前に、前の記事を読むことをお勧めします。、FFmpeg のコンパイルと統合

この記事では、FFmpeg を使用してローカル MP4 ビデオ ファイルのビデオ ストリームをデコードし、次に FFmpeg の libswscale モジュールを使用して元のビデオ YUV フレームを RGB フレームに変換し、最後に RGB フレーム データを SurfaceView の表面にブラッシングして実現します。ビデオ画像のレンダリング。

次に、FFmpeg を使用してビデオのデコードとレンダリングを完了するプロセスを紹介します。

1. FFmpeg がビデオ ストリームをデコードします。

FFmpeg API を使用してビデオをデコードし、デコードされたデータを RGBA 形式のデータに変換し、最後に画面データを表面にブラシします. FFmpeg コア API 呼び出しプロセスは次のとおりです。

デコード処理コードは次のとおりです。

 // 1. 创建封装格式上下文
 mAVFormatContext = avformat_alloc_context();

 // 2. 打开文件
 if (avformat_open_input(&mAVFormatContext, mUrl, NULL, NULL) != 0) {
    
    
     LOGD("BaseDecoder::initFFDecoder, avformat_open_input fail\n");
     break;
 }

 // 3. 获取音视频信息流信息
 if (avformat_find_stream_info(mAVFormatContext, NULL) < 0) {
    
    
     LOGD("BaseDecoder::initFFDecoder, avformat_find_stream_info fail\n");
     break;
 }

 // 4. 获取音视频流的索引
 for (int i = 0; i < mAVFormatContext->nb_streams; i++) {
    
    
     if (mAVFormatContext->streams[i]->codecpar->codec_type == mMediaType) {
    
    
         mStreamIndex = i;
         break;
     }
 }

 if (mStreamIndex == -1) {
    
    
     LOGD("BaseDecoder::initFFDecoder, failed to find stream index\n");
     break;
 }

 // 5. 获取解码器参数
 AVCodecParameters *codecParameters = mAVFormatContext->streams[mStreamIndex]->codecpar;

 // 6. 获取解码器
 mAVCodec = avcodec_find_decoder(codecParameters->codec_id);
 if (mAVCodec == nullptr) {
    
    
     LOGD("BaseDecoder::initFFDecoder, avcodec_find_decoder fail\n");
     break;
 }

 // 7. 创建解码器上下文
 mAVCodecContext = avcodec_alloc_context3(mAVCodec);
 if (avcodec_parameters_to_context(mAVCodecContext, codecParameters) != 0) {
    
    
     LOGD("BaseDecoder::initFFDecoder, avcodec_parameters_to_context fail\n");
     break;
 }

 // 8. open 解码器
 AVDictionary *pAVDictionary = nullptr;
 av_dict_set(&pAVDictionary, "buffer_size", "1024000", 0);
 av_dict_set(&pAVDictionary, "stimeout", "20000000", 0);
 av_dict_set(&pAVDictionary, "max_delay", "30000000", 0);
 av_dict_set(&pAVDictionary, "rtsp_transport", "tcp", 0);
 res = avcodec_open2(mAVCodecContext, mAVCodec, &pAVDictionary);
 if (res < 0) {
    
    
     LOGD("BaseDecoder::initFFDecoder, avcodec_open2 fail, result=%d\n", res);
     break;
 }


// 9. 循环解码
for (;;) {
    
    
	if (解码结束) {
    
    
		break;
	}
	av_read_frame(mAVFormatContext, mAVPacket);
	avcodec_send_packet(mAVCodecContext, mAVPacket);
    while (avcodec_receive_frame(mAVCodecContext, mFrame) == 0) {
    
    
       // 渲染...
   }
}

2、ANativeWindow フレームのレンダリング

前のセクションで、ビデオ ストリームのデコードを完了し、各フレームの元のデータ (YUV フレーム) を取得しました. 次に、データの各フレームを、Surface に対応する FrameBuffer にブラッシングして、フレーム レンダリングを実現する必要があります。どのような問題を解決する必要があるかを考えてください。

1. デコードされたフレーム (AVFrame) のサイズが異なります。SurfaceView のサイズに応じて、デコードされたフレームをスケーリングする必要があります。
2. デコードされたフレーム（AVFrame）のデータ形式はYUV形式ですが、SurfaceView対応のローカルウィンドウANativeWindowはRGBAデータしか受け付けないため、形式変換が必要です
3. 再生同期制御。サブスレッドがフレームをデコードおよびレンダリングする速度は、ビデオの各フレームの実際の再生時間と同期する必要があります。通常の状況では、ビデオのフレーム レートは約 25 FPS ですが、サブスレッドが実際にフレームをデコードしてレンダリングする速度は 25 よりはるかに高速です。

1と2の問題は、FFmpegのlibswscaleモジュールで解決できます。キーコードを見てください：

// 根据java层的surface获取ANativeWindow
mNativeWindow = ANativeWindow_fromSurface(env, surface);

// 获取window的宽高
int windowWidth = ANativeWindow_getWidth(mNativeWindow);
int windowHeight = ANativeWindow_getHeight(mNativeWindow);

// 获取视频的宽高
int videoWidth = mAVCodecContext->width;
int videoHeight = mAVCodecContext->height;

// 根据视频宽高比，调整window的宽高，最终宽高输出为mDstWidth和mDstHeight
if (windowWidth < windowHeight * videoWidth / videoHeight) {
    
    
    mDstWidth = windowWidth;
    mDstHeight = windowWidth * videoHeight / videoWidth;
} else {
    
    
    mDstHeight = windowHeight;
    mDstWidth = windowHeight * videoWidth / videoHeight;
}

// 调整window buffer的尺寸
ANativeWindow_setBuffersGeometry(mNativeWindow, mDstWidth, mDstHeight, WINDOW_FORMAT_RGBA_8888);

// 分配一个AVFrame，后面scale之后的视频帧会存储到mRGBAFrame中
mRGBAFrame = av_frame_alloc();
// 根据尺寸和图像格式，获取buffer大小
int bufferSize = av_image_get_buffer_size(AV_PIX_FMT_RGBA, mDstWidth, mDstHeight, 1);
// 根据不福尔size分配一块FrameBuffer内存
mFrameBuffer = (uint8_t *) av_malloc(bufferSize * sizeof(uint8_t));
// 利用mFrameBuffer的size和图像格式AV_PIX_FMT_RGBA，填充mRGBAFrame
av_image_fill_arrays(mRGBAFrame->data, mRGBAFrame->linesize,
                     mFrameBuffer, AV_PIX_FMT_RGBA,
                     mDstWidth, mDstHeight, 1);

// 根据目标尺寸和图片格式初始化SwsContext
mSwsContext = sws_getContext(videoWidth, videoHeight, getCodecContext()->pix_fmt,
                                     mDstWidth, mDstHeight, AV_PIX_FMT_RGBA,
                                     SWS_FAST_BILINEAR, NULL, NULL, NULL);

/**
 * 收到一个解码帧
 */
void VideoDecoder::onFrameAvailable(AVFrame *frame) {
    
    
    if (mVideoRender != nullptr && frame != nullptr) {
    
    
    	// 自定义结构体，用于存储最终转换后的帧数据
        NativeImage image;
        
        if (mVideoRender->getRenderType() == VIDEO_RENDER_ANWINDOW) {
    
    
        	// 帧缩放+格式转换(YUV to RGB)
            sws_scale(mSwsContext, frame->data, frame->linesize, 0, mVideoHeight,
                      mRGBAFrame->data, mRGBAFrame->linesize);
            // 构造NativeImage
            image.format = IMAGE_FORMAT_RGBA;
            image.width = mRenderWidth;
            image.height = mRenderHeight;
            image.ppPlane[0] = mRGBAFrame->data[0];
            image.pLineSize[0] = image.width * 4;
        }

        mVideoRender->renderVideoFrame(&image);
    }
}

/**
 * 最终渲染
 */
void NativeRender::renderVideoFrame(NativeImage *pImage) {
    
    
    if (mNativeWindow == nullptr || pImage == nullptr) {
    
    
        return;
    }
	// 获取window对应的buffer
    ANativeWindow_lock(mNativeWindow, &mNativeWindowBuffer, nullptr);
    uint8_t *dstBuffer = static_cast<uint8_t *>(mNativeWindowBuffer.bits);

    int srcLineSize = pImage->width * 4;
    int dstLineSize = mNativeWindowBuffer.stride * 4;

    for (int i = 0; i < mDstHeight; ++i) {
    
    
    	// 将RGB数据拷贝到window的buffer中
        memcpy(dstBuffer + i * dstLineSize, pImage->ppPlane[0] + i * srcLineSize, srcLineSize);
    }
	// 提交
    ANativeWindow_unlockAndPost(mNativeWindow);
}

次に、同期関数の実装を見てください。ここでは、全体的な実装方法であるシステム時刻に同期します。

1. 最初のフレームがデコードされた時刻 (開始時刻) を記録します。 mStartTimeStamp = getSysCurrentTime();
2. 新しいフレームがデコードされるたびに、現在の経過時間を記録します。
3. 現在のフレーム AVFrame からこのフレームの再生時間を取得します: mCurrentTime = mFrame->pkt_dts;
4. 現在デコードされているフレームの再生時間が経過時間よりも長い場合、スリープ スレッドは待機します。

実際、同期機能全体としては、「あなたが私を追いかけて待っている」というプロセスです。コアコードは次のとおりです。

// 在第一次解码时设置mStartTimeStamp，定为开始播放的时间
if (mStartTimeStamp == -1) {
    
    
    // 设置起播时间
    mStartTimeStamp = getSysCurrentTime();
}

/**
 * 获取当前解码帧的播放时间
 */
if (mFrame->pkt_dts != AV_NOPTS_VALUE) {
    
    
    mCurTimeStamp = mFrame->pkt_dts;
} else if (mFrame->pts != AV_NOPTS_VALUE) {
    
    
    mCurTimeStamp = mFrame->pts;
} else {
    
    
    mCurTimeStamp = 0;
}

// 距离起播时间的流逝时间
long curSysTime = getSysCurrentTime();
long elapsedTime = curSysTime - mStartTimeStamp;

// 解码速度快于系统时间
if (mCurTimeStamp > elapsedTime) {
    
    
    auto sleepTime = static_cast<unsigned int >(mCurTimeStamp - elapsedTime);
    // 限制休眠时间
    sleepTime = sleepTime > DELAY_THRESHOLD ? DELAY_THRESHOLD : sleepTime;
	// 解码速度太快，等待...
    av_usleep(sleepTime * 1000);
}

3. まとめ

この記事では FFmpeg+ANativeWindow を使用して、ビデオのデコードとレンダリングを完了し、デコード速度をシステム クロックに同期させます. 次の記事では、オーディオ ストリームのデコードと再生を実現します.

ソースリンク

git clone [email protected]:lorienzhang/HelloFFmpeg.git
# 检出 v2 tag 进行查看
git checkout v2