Acredito que as contas públicas e contas de vídeo curto que muitos amigos seguem recentemente têm artigos ou vídeos sobre ChatGPT. Não vou descrever muito sobre "inteligência artificial generativa" como uma importante tecnologia que facilita a implementação do ChatGPT. "Pai do ChatGPT" Al Terman disse uma vez: "Acho que ainda temos uma certa distância da inteligência artificial generativa. Quanto ao padrão de julgamento, de acordo com minha observação e pensamento nos últimos cinco anos ou até mais, o nascimento da inteligência artificial generativa é um processo gradual (também chamado de "decolagem lenta"), não um momento de clareza - pelo menos não um momento reconhecido de clareza."
Como o nascimento da inteligência artificial generativa é um processo gradual, quais cenários de campo mostrarão gradualmente a forte aplicabilidade da inteligência artificial? Na atividade "CSIG Image and Graphics Enterprise Tour" patrocinada pela Chinese Society of Image and Graphics (CSIG) e co-organizada pela Hehe Information e pelo CSIG Document Image Analysis and Recognition Professional Committee, pudemos pensar sobre isso.
O tema deste evento é "Processamento Inteligente de Imagem e Perspectivas de Tecnologia de Aplicação Multi-Cenário". Acadêmicos da Shanghai Jiaotong University, Xiamen University, Fudan University e University of Science and Technology of China são convidados a compartilhar o processamento de imagens e documentos para pesquisadores em a indústria junto com a equipe de Tecnologia da Informação Hehe.Realizações de pesquisa e prática em modelagem estrutural, tecnologia visual subjacente, aplicação colaborativa de dados cross-media, inteligência artificial generativa e modelos de linguagem conversacional em larga escala.
1. A inteligência artificial generativa será a próxima tendência?
Yang Xiaokang, reitor do Institute of Artificial Intelligence da Shanghai Jiaotong University, compartilhou a pesquisa técnica sobre o tema da inteligência artificial generativa e o metaverso na conferência.
1. O que é inteligência artificial generativa?
A inteligência artificial discriminativa é baseada na "análise-reconhecimento" e desenvolveu uma série de aplicações de pesquisa, como reconhecimento de alvos e regressão de classificação, enquanto a inteligência artificial generativa é usada para gerar várias formas de conteúdo em um método de "reconstrução e síntese". A IA generativa é uma técnica de inteligência artificial que aprende com grandes quantidades de dados e gera novos dados semelhantes aos dados originais. A IA generativa normalmente usa redes neurais ou outros algoritmos de aprendizado de máquina para aprender padrões e regularidades em dados e usar esses padrões e regularidades para gerar novos dados. Ao contrário das tarefas tradicionais de classificação ou regressão, o objetivo da IA generativa é gerar novos dados em vez de classificar ou regredir os dados existentes.
Geralmente, existem duas abordagens principais para a inteligência artificial generativa: modelos generativos baseados em modelos probabilísticos e modelos generativos baseados em aprendizado profundo. Modelos generativos baseados em modelos probabilísticos usam distribuições de probabilidade para descrever o processo generativo de dados e amostrar novos dados a partir deles. Os modelos generativos baseados em aprendizado profundo normalmente usam modelos de aprendizado profundo, como autoencoders variacionais (VAEs) ou redes adversárias generativas (GANs) para gerar novos dados. Esses modelos podem aprender distribuições e padrões complexos de dados e usar essas distribuições e padrões para gerar novos dados.
2. Desafios enfrentados pela inteligência artificial generativa
A gama de aplicações da inteligência artificial generativa é muito ampla, mas também enfrenta alguns desafios:
- Dados insuficientes: a inteligência artificial generativa requer uma grande quantidade de dados para aprender os padrões e as leis dos dados, mas em alguns campos, como assistência médica, finanças etc., a aquisição e o compartilhamento de dados podem ser limitados, portanto, pode enfrentar o problema de dados insuficientes.
- Instabilidade do modelo: Os modelos generativos de inteligência artificial costumam ser mais complexos do que os modelos tradicionais de classificação ou regressão, portanto, podem enfrentar o problema da instabilidade do modelo, ou seja, os mesmos dados de entrada podem gerar dados de saída diferentes.
- Difícil de controlar os resultados gerados: Os dados gerados pela IA generativa geralmente são gerados automaticamente, por isso é difícil controlá-los, e a precisão e a confiabilidade dos resultados gerados não podem ser garantidas.
- Os resultados gerados podem não atender aos padrões éticos e morais: IA generativa pode gerar conteúdo sensível e controverso, como notícias falsas, comentários discriminatórios, etc., que podem ter um impacto negativo na sociedade e no público.
- Difícil de avaliar e verificar: os dados gerados pela IA generativa geralmente não têm padrões e métricas claras para avaliar sua qualidade e precisão, dificultando a verificação e avaliação.
Em resposta a esses desafios, os pesquisadores estão desenvolvendo novos métodos e técnicas para resolver esses problemas, como usar estruturas de modelo mais estáveis, introduzir mais restrições e conhecimento prévio para controlar os resultados gerados, etc. Ao mesmo tempo, também é necessário fortalecer a fiscalização e regulamentação dos padrões éticos e morais.
3. Cenário de aplicação de inteligência artificial generativa
Dean Yang Xiaokang também compartilhou o modelo de mundo generativo e o humano digital virtual generativo. Por meio dessas tecnologias, o modelo de mundo pode se aproximar da realidade física: da simulação de aparência ao mecanismo interno de fenômenos físicos, o humano digital é mais realista e versátil. :;Treinar o agente no modelo mundial pode retroalimentar o processo de tomada de decisão no mundo real e realizar a interação entre o humano digital e o modelo mundial por meio de renderização de visão estéreo, unidade multimodal e tecnologia de simulação dinâmica .
此外，他还介绍了物理现象的视觉仿真与推理: 神经流体研究上的一些突破进展，以及世界模型的持续预测学习的挑战和难点，世界模型表征解耦等学术研究。总结为生成式人工智能为构建基于视觉直觉的物理世界模型和虚拟数字人提供了可行的途径。
此外生成式人工智能在各个领域都有广泛的应用：
- 文本生成：生成式人工智能可以用来生成各种类型的文本，如新闻文章、小说、诗歌等。这项技术可以被应用于自动化写作、智能客服、智能推荐等场景中。
- 图像生成：生成式人工智能可以生成新的图像，例如艺术风格转换、图像修复、视频超分辨率等。这项技术可以被应用于电影制作、视频游戏开发、产品设计等场景中。
- 音频生成：生成式人工智能可以生成各种类型的音频，如音乐、人声、环境声音等。这项技术可以被应用于音乐创作、语音合成、声音修复等场景中。
- 对话生成：生成式人工智能可以通过学习人类对话的模式和语言规律来生成对话。这项技术可以被应用于智能客服、智能语音助手等场景中。
- 视频生成：生成式人工智能可以生成新的视频内容，例如视频剪辑、视频合成、视频特效等。这项技术可以被应用于电影制作、广告制作、视频游戏开发等场景中。
- 3D模型生成：生成式人工智能可以生成各种类型的3D模型，如人物、建筑、汽车等。这项技术可以被应用于产品设计、游戏开发、虚拟现实等场景中。
总之，生成式人工智能在各种场景中都有广泛的应用，可以帮助人类创造更多、更优秀的内容，并提高人类的生产力和创造力。
二、复杂图文处理的未来发展将如何？
中国科学技术大学语音及语言信息处理国家工程研究中心副教授杜俊就团队在文档结构层次化重建领域的最新进展进行分享：如何让机器像人一样可以结合不同模态信号认识理解世界。
1.更深层次的汉字解构研究
基于部首建模的汉字识别、生成与评测，是一种利用汉字的组成部分（部首）来进行汉字处理的方法。该方法可以应用于汉字的识别、生成和评测等多个领域。可以有效提高识别的准确率和速度，用于自动生成汉字书法字体，或者用于生成汉字组合成语言文字，如汉藏语、汉文蒙文等。
基于部首建模的汉字识别、生成与评测的实现过程是一个基于数据、特征和模型的训练和应用过程，需要涉及到数据处理、特征提取、模型训练、预测和优化等多个方面的技术和方法。
部首分解：将汉字按照部首进行分解，得到每个汉字的部首组成部分。
特征提取：对每个部首进行特征提取，例如提取每个部首的笔画数、形状、结构等特征。
模型训练：基于提取的特征，建立机器学习模型，例如支持向量机（SVM）、神经网络等模型，并利用已知的汉字数据集进行训练。
2.自动分析表格结构
杜俊教授提出基于SEM的表格结构识别，SEM（Structural Element Matching）是一种基于结构元素匹配的表格结构识别方法。该方法的原理是在表格识别过程中，将表格的结构看作一种由多个结构元素组成的结构，并将每个结构元素表示为一组特征，然后通过比对待识别表格和预定义的结构元素库中的结构元素，来确定待识别表格的结构和单元格内容。
具体而言，SEM的步骤如下：
- 预处理：对待识别表格进行预处理，包括图像二值化、去除表格线等。
- 结构元素库构建：构建包含常见表格结构元素的结构元素库，如表头、行、列、合并单元格等。
- 特征提取：对待识别表格中的每个像素点提取一组特征，如像素点的颜色、位置、大小、形状等。
- 结构元素匹配：将待识别表格中的每个像素点的特征与结构元素库中的结构元素进行比对，找出与之最匹配的结构元素。
- 结构元素组合：根据匹配结果，将结构元素组合成表格的结构和单元格内容。
通过这样的方式，SEM能够对表格进行准确的结构和内容识别，具有较高的准确率和鲁棒性。但是，该方法需要预定义结构元素库，因此对于不同类型和形式的表格，需要进行相应的结构元素库设计和优化，这可能会带来一定的挑战。
3.更精细化的文档解构模型
杜俊教授提还出现阶段文档分析任务中，大多数研究是针对单页内的文章要素的解析，但从内容角度看，许多文档页与页之间内容有关联。该方法的原理是利用预训练的语言模型（如BERT、GPT等）对篇章级的文档进行编码和表示，然后使用相应的解码器将文档中的每个句子或段落与相应的结构类型（如标题、正文、列表等）进行匹配和分类。在这个过程中，模型通常会利用上下文信息、语法规则和语义知识等多个方面的信息，以提高分类的准确性和鲁棒性。
具体而言，该方法的步骤如下：
- 预处理：对篇章级的文档进行预处理，如分句、分段、去除停用词等。
- 文档编码：使用预训练的语言模型对文档中的每个句子或段落进行编码，得到其语义表示。
- 结构类型分类：将文档中的每个句子或段落与相应的结构类型（如标题、正文、列表等）进行匹配和分类，通常使用基于机器学习或深度学习的分类器来实现。
- 结构化输出：将分类结果转化为结构化的数据，如HTML、XML或JSON等格式，以便进行自动化处理和分析。
这种方法的优点在于可以将篇章级的文档转化为结构化的数据，使得文本数据的自动化处理和分析变得更加容易和高效。但是，该方法需要大量的标注数据和计算资源来训练和优化模型，因此对于某些场景可能不太适用。
三、人工智能结合机器视觉又会在图文处理有何种突破？
1.底层视觉与图像扫描的结合
底层视觉（Low-level vision）主要研究如何提高或恢复各类场景下的图像/视频内容，如清晰度提升，低质量及破损图像恢复等，是计算机视觉领域的重要研究方向之一。其理论和方法在手机图像采集与处理，医疗图像分析等领域发挥着至关重要的作用。底层视觉技术的缺陷将会导致很多high-level视觉系统（检测，识别理解）难以作为成熟产品真正落地。合合信息郭丰俊博士在本次报告中，分享了合合信息技术团队在文档图像处理系统中所做的底层视觉研究工作，从底层视觉技术的直接应用及对下游任务的影响等方面，阐述底层视觉技术在文档图像处理/识别场景下的价值与思考。
2.文档处理与人工智能的结合
文档处理与人工智能的结合，是指将人工智能技术应用于文档处理领域，通过自然语言处理、图像识别、机器学习等技术，对文档进行自动化处理和分析。
具体而言，文档处理与人工智能的结合可以实现以下功能：
- 文本识别：通过图像识别技术，将纸质文档或扫描件转化为可编辑的文本格式，以便进行后续处理和分析。
- 文本分类：通过机器学习技术，将文本按照特定的分类方式进行自动分类，如按主题、按语言、按情感等。
- 信息抽取：通过自然语言处理技术，从文本中自动抽取出特定的信息，如人名、地名、时间等，以便进行自动化处理和分析。
- 文本摘要：通过自然语言处理技术，将长篇文本自动化地进行摘要，提取出其中的关键信息，以便浏览和阅读。
- 文档翻译：通过自然语言处理技术，将文档进行自动翻译，实现多语言文档的处理和分析。
- 知识图谱：通过自然语言处理和图谱技术，将文档中的知识点提取出来，并将其构建为知识图谱，以便进行知识管理和分析。
文档处理与人工智能的结合，可以实现对大量文档的自动化处理和分析，提高工作效率和准确性，降低人力成本和时间成本，对于企业的知识管理和业务分析具有重要的意义。
合合信息智能文档处理技术采用精准的图像裁剪、形变矫正以及去除阴影和摩尔纹等技术，利用人工智能技术对文档图像进行增强和清晰度提升，从而提高文档图像的质量和阅读体验。通过这种方法，可以有效提升文档处理下游任务的质量和效率，例如识别转换和图像分析等。目前，该技术已经被应用于智能文字识别产品，为来自全球上百个国家和地区的数亿用户提供了服务。
四.活动展望总结
De acordo com o compartilhamento de muitos especialistas acadêmicos e técnicos, o desenvolvimento do processamento gráfico inteligente no futuro será mais inteligente, automatizado e personalizável. Especificamente, a futura tecnologia de processamento inteligente de gráficos e textos prestará mais atenção à aplicação da tecnologia de inteligência artificial generativa, como aprendizado profundo, processamento de linguagem natural, visão computacional, etc. Isso tornará o efeito de processamento mais preciso e eficiente. Ao mesmo tempo, a futura tecnologia inteligente de processamento de imagem e texto será mais automatizada, como identificação automática de tipos de documentos, classificação automática de documentos, extração automática de informações de documentos, etc., o que melhorará ainda mais a eficiência e a precisão dos documentos em processamento. Além disso, a futura tecnologia de processamento inteligente de gráficos e textos também será mais personalizável, oferecendo aos clientes soluções sob medida de acordo com diferentes setores e cenários de aplicação. Isso ajudará a atender às diferentes necessidades dos clientes e melhorar a experiência e a satisfação do cliente.