Qtオーディオおよびビデオ開発18-haikang SDKコールバック

I.はじめに

Haikang sdkは、handleメソッドに加えてリアルタイムビデオストリームを表示し、各画像を描画して処理するためのコールバックメソッドもサポートします。もちろん、コールバックメソッドは、ビデオデータを取得するだけでなく、オーディオデータも一緒に取得されます。オーディオデバイスを呼び出して再生するだけです。、Haikang sdkコールバックに関しては、それが完了するまでに少し時間がかかりました。おそらく、最初に提供されたデモを参照せず、徹底的に検索していませんでした。sdkドキュメントを見て、1週間で終わりました。聞き取れませんでした。後で正しい方法を見つけましたが、ほとんど見つかりませんでした。これは、人生のことも含めて、多くのことを思い出します。本当ですか？頑固でさまざまな方法を試し、ほとんどあきらめるときは、実際には現時点で成功から一歩離れており、本当に足りないのです。人生の多くのことを処理する場合も同様です。、それで、多くの場合、方向が正しい場合、そしてあなたがしつこく頑張って働いた場合、それがうまくいかない場合は、もっと頑張って大丈夫だと推定します。

どこに障害があるのかをまとめるのは久しぶりです。コールバック関数を設定するためのNET_DVR_RealPlay_V40の呼び出しも正しく、コールバック関数も入力されています。また、PlayM4_SetDecCallBackMendを呼び出してデコードコールバック関数を設定することも正しいことです。結局、問題はデコードされたデータにあり、データも取得されていることがわかりました。デフォルトはyv12データです。画像に変換する必要がある場合は、変換を行う必要があります。この変換はオンラインで多数の関数を見つけます私はテストに来ましたが、すべて失敗しましたが、後でyv12からrgb888へのフォーマットを見つけたので、それが可能になりました。

Haikang SDKコールバックプロセス：

NET_DVR_RealPlay_V40を呼び出して、コールバック処理関数を設定します。
コールバック処理関数RealDataCallBackで順番に開いて再生し、デコードします。
PlayM4_GetPortを呼び出して、再生ライブラリの未使用のチャネル番号を取得します。
PlayM4_OpenStreamを呼び出して、ビデオストリームを開きます。
PlayM4_SetDecCallBackMendを呼び出して、デコードコールバック関数を設定します。デコードのみを行い、表示は行いません。
PlayM4_Playを呼び出して、ビデオストリームを再生します。
PlayM4_InputDataを呼び出して、データを周期的にデコードします。
オーディオデータとビデオデータは、デコードコールバック関数DecCallBackで個別に処理されます。
自分でパッケージ化したyv12ToRGB888関数を呼び出して、データをQImageに変換します。

コールバック関数については、次の点に注意してください。

コールバック関数にはキーワードCALLBACKが必要です。
コールバック関数自体は、グローバル関数または静的関数でなければならず、特定のクラスのメンバー関数として定義することはできません。
コールバック関数は、開発者によって直接呼び出されて実行されるのではなく、開始点としてシステムインターフェイスAPI関数を使用します。
コールバック関数は通常、パラメーターとしてシステムAPIに渡され、APIによって呼び出されます。
コールバック関数は、システムAPIによって1回呼び出される場合と、ループ内で複数回呼び出される場合があります。

2.機能

ビデオストリームとローカルMP4ファイルの再生をサポートします。
ハンドルとコールバックの2つのモードをサポートします。
メインインターフェイスにスタックされていないマルチスレッドディスプレイイメージ。
Webカメラを自動的に再接続します。
境界線のサイズ、オフセット、境界線の色を設定できます。
OSDラベルを描画するかどうか、つまりラベルテキストまたは画像とラベル位置を描画するかどうかを設定できます。
2つのOSD位置とスタイルを設定できます。
ファイルに保存するかどうか、ファイル名を設定できます。
ファイルを直接haikangwidgetコントロールにドラッグして再生できます。
h264 / h265ビデオストリームをサポートします。
再生を一時停止して再開できます。
単一のビデオファイルのストレージとビデオファイルのタイミングストレージをサポートします。
上部のフローティングバーをカスタマイズし、クリック信号通知を送信して、それを有効にするかどうかを設定します。
画面のストレッチ塗りつぶしまたは同じ比率の塗りつぶしを設定できます。
デコードを速度優先、品質優先、およびイコライゼーション処理に設定できます。
ビデオのスクリーンショット（元の写真）とスクリーンショット（ビデオ形式）を撮ることができます。
ビデオファイルはMP4ファイルとして保存されます。
フォーカス制御、パン/チルト制御をサポートします。
カスタマイズ可能な機能。

3、レンダリング

ここに画像の説明を挿入

4、関連サイト

国内サイト：https : //gitee.com/feiyangqingyun/QWidgetDemo
国際サイト：https : //github.com/feiyangqingyun/QWidgetDemo
個人ホームページ：https : //blog.csdn.net/feiyangqingyun
Zhihuホームページ：https ://www.zhihu.com/people/feiyangqingyun/
エクスペリエンスアドレス：https : //blog.csdn.net/feiyangqingyun/article/details/97565652

5、コアコード

//yv12转RGB888
static bool yv12ToRGB888(const unsigned char *yv12, unsigned char *rgb888, int width, int height)
{
    if ((width < 1) || (height < 1) || (yv12 == NULL) || (rgb888 == NULL)) {
        return false;
    }

    int len = width * height;
    unsigned char const *yData = yv12;
    unsigned char const *vData = &yData[len];
    unsigned char const *uData = &vData[len >> 2];

    int rgb[3];
    int yIdx, uIdx, vIdx, idx;

    for (int i = 0; i < height; ++i) {
        for (int j = 0; j < width; ++j) {
            yIdx = i * width + j;
            vIdx = (i / 2) * (width / 2) + (j / 2);
            uIdx = vIdx;

            rgb[0] = static_cast<int>(yData[yIdx] + 1.370705 * (vData[uIdx] - 128));
            rgb[1] = static_cast<int>(yData[yIdx] - 0.698001 * (uData[uIdx] - 128) - 0.703125 * (vData[vIdx] - 128));
            rgb[2] = static_cast<int>(yData[yIdx] + 1.732446 * (uData[vIdx] - 128));

            for (int k = 0; k < 3; ++k) {
                idx = (i * width + j) * 3 + k;
                if ((rgb[k] >= 0) && (rgb[k] <= 255)) {
                    rgb888[idx] = static_cast<unsigned char>(rgb[k]);
                } else {
                    rgb888[idx] = (rgb[k] < 0) ? (0) : (255);
                }
            }
        }
    }
    return true;
}

//解码回调 视频为YUV420P数据(YV12),音频为PCM数据
static void CALLBACK DecCallBack(qport nPort, char *pBuf, qport nSize, FRAME_INFO *pFrameInfo, quser luser, quser nReserved2)
{
    HaiKangThread *thread = (HaiKangThread *)luser;
    long frameType = pFrameInfo->nType;

    //视频数据是 T_YV12 音频数据是 T_AUDIO16
    if (frameType == T_YV12) {
        //qDebug() << TIMEMS << width << height << thread;
        int width = pFrameInfo->nWidth;
        int height = pFrameInfo->nHeight;
        QImage image(width, height, QImage::Format_RGB888);
        if (yv12ToRGB888((unsigned char *)pBuf, image.bits(), width, height)) {
            thread->setImage(image);
        }
    } else if (frameType == T_AUDIO16) {
        //qDebug() << TIMEMS << "T_AUDIO16" << thread;
    }
}

static void CALLBACK RealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *dwUser)
{
    //每个类都对应自己的 port
    HaiKangThread *thread = (HaiKangThread *)dwUser;
    qport nPort = thread->port;

    DWORD dRet;
    switch (dwDataType) {
        case NET_DVR_SYSHEAD:
            //获取播放库未使用的通道号
            if (!PlayM4_GetPort(&nPort)) {
                break;
            }

            if (dwBufSize > 0) {
                thread->port = nPort;
                if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }

                //设置解码回调函数 只解码不显示
                if (!PlayM4_SetDecCallBackMend(nPort, DecCallBack, (quser)dwUser)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }

                //打开视频解码
                if (!PlayM4_Play(nPort, NULL)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }

                //打开音频解码, 需要码流是复合流
                if (!PlayM4_PlaySound(nPort)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }
            }
            break;

        case NET_DVR_STREAMDATA:
            //解码数据
            if (dwBufSize > 0 && nPort != -1) {
                BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
                while (!inData) {
                    sleep(10);
                    inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
                }
            }
            break;
    }
}