Solução de hardware H264 e instruções de exibição no sistema iOS
Antes do sistema iOS 8.0, a Apple não abria a função de codificação e decodificação de hardware do sistema, mas o sistema Mac OS sempre teve uma estrutura chamada Video ToolBox para lidar com a codificação e decodificação de hardware. Finalmente, após o iOS 8.0, a Apple introduziu esta estrutura ao sistema iOS.
1. Estrutura de dados básica do VideoToolbox:
1. CVPixelBuffer: estrutura dos dados da imagem antes da codificação e após a decodificação;
2. CMTime, CMClock e CMTimebase: Relacionados ao timestamp. A hora aparece na forma de 64 bits/32 bits;
3. CMBlockBuffer: Após a codificação, a estrutura de dados da imagem resultante;
4. CMVideoFormatDescription: método de armazenamento de imagem, codec e outras descrições de formato;
5. CMSampleBuffer: Uma estrutura de dados de contêiner que armazena imagens de vídeo antes e depois da codificação e decodificação.
A figura a seguir é um diagrama esquemático da estrutura de dados antes e depois da decodificação do H264:
2. Como usar a solução difícil:
O fluxo de código do H264 é composto por unidades NALU, que contêm dados de imagem de vídeo e informações de parâmetros do H264. Entre eles, os dados de imagem de vídeo são CMBlockBuffer, e as informações de parâmetro de H264 podem ser combinadas em FormatDesc. Especificamente, as informações de parâmetro incluem SPS (conjunto de parâmetros de sequência) e PPS (conjunto de parâmetros de imagem). A figura a seguir mostra a estrutura de um fluxo H264:
Método de decodificação 1: (Decodificar e exibir por meio do AVSampleBufferDisplayLayer fornecido pelo sistema)
1. Inicialize o parâmetro de solução de hardware H264:
1) Extraia sps e pps para gerar a descrição do formato;
//spps
_spsSize =format.getCsd_0_size()-4;_sps = (uint8_t *)malloc(_spsSize);memcpy(_sps,format.getCsd_0()+4, _spsSize);
//pps
_ppsSize =format.getCsd_1_size()-4;_pps = (uint8_t *)malloc(_ppsSize);memcpy(_pps,format.getCsd_1()+4, _ppsSize);
2) Use a função CMVideoFormatDescriptionCreateFromH264ParameterSets para criar CMVideoFormatDescriptionRef.
CMVideoFormatDescriptionCreateFromH264ParameterSets(kCFAllocatorDefault,
2, //param count parameterSetPointers, parameterSetSizes, 4, //nalstartcodesize&_decoderFormatDescription);
2. Converta o fluxo de código H264 em CMSampleBuffer antes de decodificar:
1) Use a interface CMBlockBufferCreateWithMemoryBlock para construir um CMBlockBufferRef;
CMBlockBufferRef blockBuffer=NULL;CMBlockBufferCreateWithMemoryBlock(kCFAllocatorDefault, (void*)frame.bytes, frame.length, kCFAllocatorNull,NULL,0, frame.length,0,&blockBuffer);
2) Obtenha CMVideoFormatDescriptionRef, CMBlockBufferRef e informações opcionais de tempo de acordo com o acima, e use a interface CMSampleBufferCreate para obter dados CMSampleBuffer, os dados originais a serem decodificados.
CMSampleBufferRef sampleBuffer =NULL;CMSampleBufferCreateReady(kCFAllocatorDefault, blockBuffer, _decoderFormatDescription,1,0,NULL,1, sampleSizeArray, &sampleBuffer);
3. Exibição de imagem de solução rígida:
Ele é decodificado e exibido pelo AVSampleBufferDisplayLayer fornecido pelo sistema.
AVSampleBufferDisplayLayer é uma camada de exibição fornecida pela Apple que exibe especificamente dados H264 codificados. É uma subclasse de CALayer, portanto, seu uso é semelhante a outros CALayers. Esta camada possui uma função de decodificação de hardware integrada, que pode exibir diretamente a imagem decodificada do CMSampleBuffer original na tela, o que é muito simples e conveniente.
CFArrayRef attachments = CMSampleBufferGetSampleAttachmentsArray(sampleBuffer,YES);CFMutableDictionaryRef dict = (CFMutableDictionaryRef)CFArrayGetValueAtIndex(attachments,0);CFDictionarySetValue(dict, kCMSampleAttachmentKey_DisplayImmediately, kCFBooleanTrue);if(status == kCMBlockBufferNoErr) {
if([_avslayer isReadyForMoreMediaData]) {dispatch_sync(dispatch_get_main_queue(),^{
[_avslayer enfileirarSampleBuffer:sampleBuffer];
});
}
CFRelease(amostraBuffer);
}
Método de decodificação 2: (Decodifique CMSampleBuffer em uma imagem por meio da interface VTDecompression e exiba a imagem por meio de UIImageView ou OpenGL)
1. Inicialize o parâmetro de solução de hardware H264:
Com base no método 1, use a interface VTDecompressionSessionCreate para construir VTDecompressionSessionRef; (inicializar VTDecompressionSession, definir as informações relevantes do decodificador)
VTDecompressionSessionRef _deocderSession;VTDecompressionSessionCreate(kCFAllocatorDefault, _decoderFormatDescription,NULL, attrs, &callBackRecord, &_deocderSession);
2. Converta o fluxo de código H264 em CMSampleBuffer antes de decodificar:
mesmo caminho um
3. Use a interface VTDecompressionSessionDecodeFrame para decodificar os dados CMSampleBuffer em dados CVPixelBufferRef:
CVPixelBufferRef outputPixelBuffer=NULL;
VTDecompressionSessionDecodeFrame(_deocderSession,
sampleBuffer,
bandeiras,
&outputPixelBuffer,
&flagOut);
4. Converta os dados CVPixelBufferRef em UIImage e exiba:
CIImage*ciImage= [CIImage imageWithCVPixelBuffer:outputPixelBuffer];UIImage*uiImage= [UIImage imageWithCIImage:ciImage];
3. Diagrama de fluxo do programa:
Método de decodificação um
Método de decodificação dois
4. Comparação de dois métodos de decodificação:
Método de decodificação um:
Vantagens: Este método decodifica e exibe por meio da camada de exibição AVSampleBufferDisplayLayer fornecida pelo sistema. Essa camada possui uma função de decodificação de hardware integrada, que exibe diretamente a imagem decodificada do CMSampleBuffer original na tela, o que é muito simples e conveniente, possui alta eficiência de execução e uso de memória relativamente pequeno.
Desvantagens: Os dados de imagem não podem ser obtidos diretamente dos dados decodificados e processados de acordo, e os dados decodificados não podem ser usados diretamente em outros aplicativos (geralmente são necessárias conversões mais complexas).
Método de decodificação dois:
Vantagens: Este método obtém dados CVPixelBufferRef através da interface VTDecompressionSessionDecodeFrame. Podemos obter dados de imagem diretamente dos dados CVPixelBufferRef e processá-los adequadamente, o que é conveniente para outras aplicações.
Desvantagens: A eficiência de execução na decodificação é relativamente baixa e a memória ocupada será relativamente grande.
').addClass('pré-numeração').hide(); $(this).addClass('tem-numeração').parent().append($numeração); for (i = 1; i <= linhas; i++) { $numeração.append($('
').text(i)); }; $numbering.fadeIn(1700); }); });
O texto acima apresentou a solução rígida H264 e instruções de exibição no sistema iOS, incluindo aspectos do conteúdo, e espero que seja útil para amigos interessados no desenvolvimento do IOS.
Adicione um endereço de demonstração no github pessoal: h264 hard decoding demo
Autor: Round Moon
Link: https://www.jianshu.com/p/fb78ee430949
Fonte: Jianshu
Os direitos autorais pertencem ao autor. Para reimpressão comercial, por favor, entre em contato com o autor para autorização, para reimpressão não comercial, por favor, indique a fonte.