“符号”与“向量”，AGI的两条腿。
Organizado |
Autor Ricky | Wang Yutong
Em 15 de março de 2023, o GPT4 será revelado. Embora o ChatGPT baseado no GPT3.5 seja mais um marco, afinal, ele desencadeou o uso de usuários C-end globais, mas aos olhos de mais praticantes de IA, o significado do GPT4 é muito maior do que 3,5, porque o GPT4 tem a capacidade de fazer incrível capacidade de "raciocínio lógico".
Mas por que o "raciocínio" pode ser alcançado? A OpenAI, que fazia questão de compartilhar detalhes técnicos no passado, é "segredo" desta vez, o que faz com que profissionais e usuários de todo o mundo especulem sobre os princípios técnicos.
Gao Xuefeng também é um deles.Sua ideia é que "big pictures" e "big models" são as duas pernas que sustentam o desenvolvimento da AGI, e as duas são indispensáveis. Agora, a indústria geralmente reconhece o valor de grandes modelos e, como resultado, um grande número de grandes modelos de empreendedores surgiu, mas o papel das "grandes imagens" no desenvolvimento da AGI não é claro.
Gao Xuefeng disse ao 36 Krypton que o aprendizado profundo é memorizar e armazenar conhecimento generalizado por meio da probabilidade, também conhecida como "vetor", e o modelo grande é um excelente representante no campo da "probabilidade de cálculo"; correspondente a "probabilidade", " "Lógica simbólica" é uma implementação representativa do campo do raciocínio lógico, e a teoria dos grafos é o melhor suporte para o raciocínio lógico. Do ponto de vista do produto, ele acredita que, pelo menos na fase de engenharia de prompts, o "gráfico" pode ser combinado para atingir o propósito de "raciocínio" do GPT4. Grandes modelos podem precipitar muito bem o conhecimento generalizado, mas como correlacionar o conhecimento generalizado e usá-lo para uso humano requer a participação profunda do sistema lógico simbólico.
Gao Xuefeng, atuou como reitor do IBM Cognitive Computing Research Institute, gerente geral do departamento de produtos de big data e IA de Ali, tem muitos anos de experiência em desenvolvimento e comercialização de produtos no campo de aplicativos de big data e IA e liderou a equipe para criar uma série de produtos influentes internacionalmente. Big data e produtos relacionados a IA. Trabalhar na indústria de IA deu a ele uma visão sobre a tendência da IA e, em 2021, ele decidiu iniciar um negócio no nível básico de IA.
Fundada em 2021, a Fabarta tem a capacidade de "visão geral" como seu núcleo. No início do negócio, com a listagem da empresa americana Snowflake com valor de mercado de até 120 bilhões de dólares, houve também um boom no empreendedorismo de banco de dados na China, mas naquela época, Gao Xuefeng decidiu não fazer dados armazéns. Ele pensou que era infra de BI, e ele O que fazer é a infra de AI.
Um ano e meio de pesquisa e desenvolvimento permitiu que Fabarta esperasse por mudanças na indústria. Neste momento, Gao Xuefeng acredita que o mais importante é unir todas as forças, acadêmicos, modelos em grande escala, partes de aplicativos e infraestrutura equipes e colaborar para criar um "grande quadro" e "grande modelo" O ponto de combinação para criar uma IA chinesa com capacidade de raciocínio real.
01 A super capacidade de raciocínio do GPT4 vem de "gráfico"
36 Krypton: Quando você começou seu negócio em 2021, o GPT3 da OpenAI deveria ter aparecido nessa época. Como a indústria o reconheceu naquela época?
Gao Xuefeng: Naquela época, o código aberto era o GPT2. O exemplo que todos deram é: Você pode ver que OpenAI já faz isso há alguns anos, quais são os grandes modelos que existem na China?
Quando eu estava em Ali, eu era responsável por big data e produtos e soluções relacionados a IA. Em termos de big data, concentrei-me em data warehouses off-line e em tempo real e produtos de data lake. Big data, análise de dados e IA relacionados tecnologias necessárias no processo de atualização.
Em 2021, o mito criado por Snowflake fez muitas pessoas perceberem o valor dos data warehouses, tantas instituições de investimento me disseram na época: "Xuefeng, você está fazendo data warehouses. Data warehouses são o projeto mais popular e a avaliação também pode ser muito alto."
Mas eu não faço isso. Se fosse um data warehouse cinco ou seis anos atrás, acho que poderia ser feito, porque o data warehouse é uma infraestrutura orientada para BI. Mas os tempos são diferentes. Em 2021, o que quero fazer é a infraestrutura central de IA.
Então, eu disse a muitos investidores que a base principal da AGI no futuro é a combinação de grandes modelos e grandes sistemas de imagem. Somente assim ela pode servir como suporte para inteligência artificial geral. Naquela época, a maioria das pessoas pensava que modelos grandes e fotos grandes não eram confiáveis.
36 Krypton: A grande figura e o grande modelo que você mencionou são a base da AGI. Como você a entende?
Gao Xuefeng: A realização da IA requer dois substantivos, um é chamado de vetor e o outro é chamado de símbolo, que correspondem ao modelo grande e ao quadro geral, respectivamente.
Os vetores são probabilidades.O transformador de modelo grande pode ser entendido como o cálculo de probabilidades no campo vetorial, usando vetores compostos por um grande número de parâmetros de alta dimensão e calculando probabilidades por meio de operações de matriz. Depois que uma longa sequência de caracteres for a, ele preverá que o próximo caractere pode ser b, depois de b pode ser d, depois de d pode ser a, esta é a previsão e, finalmente, gerada com texto. Seja o Bert anterior ou os vários modelos multimodais baseados em Prompts que agora são amplamente populares, ele não altera sua previsão de probabilidade.
Mas não tem como fazer raciocínio lógico, e GPT3.5 não tem como fazer raciocínio lógico.
Por exemplo, perguntamos: quem foi o técnico vice-campeão dos playoffs da NBA no ano em que Yao Ming nasceu? Esta pergunta aparentemente simples, quando colocada no GPT3, responde de forma confusa. O treinador era desconhecido e o ano estava errado.
O GPT3 pode adivinhar a hora e o ano corretamente, mas muitos modelos chineses farão essa pergunta em 2002.
36 Krypton: Por que 2002?
Gao Xuefeng: Yao Ming nasceu em 1980. 2002 deve ser a época em que Yao Ming venceu o campeonato CBA pela primeira vez. Haverá muita informação sobre isso na Internet. Não sei se a pergunta é sobre seu aniversário ou algo assim.
Por que não perguntei ao campeão? Porque o campeão tem mais publicidade, o vice-campeão tem menos publicidade, e se você perguntar ao vice-campeão, pode ser confuso. Isso é tudo sobre probabilidade, veja quais informações estão na Internet ou no wiki ou mais.
Mas a capacidade de raciocínio lógico do GPT4 é muito forte. Ele pode desmontar claramente a pergunta que acabei de fazer e respondê-la com precisão. No momento, parece que apenas o GPT4 pode fazer isso.
36 Krypton: Qual é o surgimento ou aplicação da tecnologia entre 3.5 e 4 que levou a essa mudança?
Gao Xuefeng: Além da nova capacidade multimodal, o núcleo é a melhoria da capacidade de raciocínio lógico. A capacidade de raciocínio do GPT4 torna-se muito forte. Como mencionado há pouco, o grande modelo é para calcular a probabilidade, a lógica simbólica pode auxiliar o raciocínio, a teoria dos grafos é seu melhor suporte . É por isso que precisamos integrar o poder de grandes gráficos de conhecimento em vez de pequenos gráficos de dados no sentido tradicional para ter recursos básicos de raciocínio.
Deve haver muitos recursos de raciocínio adicionados ao GPT4, mas o OpenAI não o torna público e não sabemos como integrá-lo.
Você pergunta diretamente ao ChatGPT "Quais partes dos recursos do seu mapa de conhecimento são usadas?", Ele responderá " A tecnologia gráfica é usada em prompts de pré-treinamento e classificação ". Se você perguntar novamente: "Você já usou alguma tecnologia gráfica de código aberto?", Você será informado de que "é tudo tecnologia autodesenvolvida". Não haverá resposta mais tarde.
Por que digo que a melhoria significativa na capacidade de raciocínio de diferentes versões da tecnologia GPT deve ser inseparável da combinação de tecnologias relacionadas a gráficos? Vamos começar com um exemplo e usar esta pergunta para desafiar cada LLM: “O ano em que Yao Ming nasceu Quem é o técnico do time vice-campeão dos playoffs da NBA?"
No momento, exceto para GPT4, outros modelos grandes não podem dar a resposta correta. No entanto, se desmontarmos a pergunta: "Em que ano nasceu Yao Ming?" "Quem foram os times campeão e vice-campeão nos playoffs da NBA de 1980?" "Quem era o técnico do Philadelphia 76ers em 1980?", Muitos LLMs excelentes podem dar a resposta certa. A razão para esta lacuna é que GPT4 realiza raciocínio lógico simbólico em cima de um modelo puramente probabilístico , o que definitivamente produzirá resultados inesperados.
Sem mencionar que o GPT4 pode realizar raciocínio lógico e fenomenal em muitos campos profissionais, como muitas leis e regras científicas clássicas, pelo menos a partir do exemplo muito simples que mencionamos acima, as entidades-chave no token de entrada e seu relacionamento lógico em termos de análise e extração, especulo que algumas técnicas relacionadas a grafos devem ser usadas para processamento. Assim, dizemos que a implementação de engenharia representando símbolos e conexionismo, combinada com a implementação de engenharia representando probabilidade e campos vetoriais, pode refletir uma inteligência cada vez mais surpreendente.
A tecnologia Graph e a tecnologia Transformer podem ser combinadas de várias maneiras: 1. A arquitetura de treinamento do Transformer recebe dados estruturados em gráficos, permitindo que o modelo entenda melhor a relação entre os dados de entrada. 2. Use dados estruturados em gráfico para treinar o modelo Transformer. 3. Destilação do conhecimento da estrutura do grafo para lidar com o conhecimento especializado em domínios subdivididos. 4. O processamento da função de perda é combinado com a redefinição do formulário de dados do gráfico.
Assim como nosso cérebro humano tem uma característica muito típica, por exemplo, um dia, no ano passado, encontrei em um parque um velho amigo que não via há muitos anos, e tivemos uma boa conversa. Então, a vaga impressão dessa pessoa (característica vetorial), o ambiente do parque naquele momento, o clima, a sensação corporal (característica vetorial) e o que estamos fazendo (relação de conexão) serão todos lembrados no cérebro humano. Quando estou neste parque e em um ambiente familiar, posso pensar neste velho amigo através do link que aconteceu. Construir um armazenamento multimodal de grande escala e um mecanismo de computação que possa integrar entidades, suas conexões e recursos vetoriais correspondentes é o que queremos fazer no futuro.
36 Krypton: Então de GPT3.5 para 4, não há mais mudanças essenciais no nível dos vetores, certo?
Gao Xuefeng: Pode ter mais parâmetros e uma quantidade maior de dados.
36 Krypton: A razão do salto qualitativo está no nível dos símbolos?
Gao Xuefeng: Sim, isso mesmo. GPT tem a capacidade de raciocinar, que é a coisa mais assustadora. Por exemplo, de acordo com os princípios ou fórmulas da física, se eu contar um fenômeno, ele me contará o que aconteceu e ajudará você a fazer inferências.
Afinal, quando o GPT3.5 foi lançado, nenhum de nós sentiu que esse tipo de coisa iria virar o mundo imediatamente.Eu acho que é um processo inevitável que mudanças quantitativas tragam mudanças qualitativas. Inclusive, após o lançamento do Novo Bing, ele realmente inovou e mudou os produtos em torno do GPT. Por exemplo, o Novo Bing pode resumir e organizar informações de pesquisa em tempo real e, em seguida, editar prompts apropriados para chamar a API do modelo grande para obter os resultados Finalmente, organizar os resultados e dar feedback aos clientes sobre o produto. Na verdade, trata-se da fusão de produtos, e não nos surpreendeu muito.
36 Krypton: Então, o que precisamos alcançar não é apenas o grande modelo.
Gao Xuefeng: Muitos de nossos grandes modelos locais de código aberto ainda estão presos no desempenho de uma grande quantidade de dados, prompts e transformadores. Mas a realização real deve ser a fusão de vetores e símbolos, que também é a direção reconhecida por todos academicamente.
Os vetores são probabilidade, a probabilidade é inexplicável, a teoria dos gráficos simbólicos é interpretável e a combinação dos dois pode levar à inteligência real. O GPT possui lógica de pensamento, a probabilidade complementará a lógica de pensamento e o quadro geral da lógica de pensamento verificará a probabilidade, modificará o modelo de parâmetro de previsão de probabilidade e aprenderá coisas novas em tempo real e se complementará. Esse é o tipo de inteligência de que precisamos para a futura inteligência artificial geral.
Esta é também a razão pela qual escolhemos o caminho e a direção do nosso negócio, porque o grande quadro e o grande modelo são as duas pernas da inteligência artificial geral.
Esperamos pela explosão de modelos de grande escala, mas atualmente não podemos encontrar um sistema de grande escala com recursos de computação distribuída e não há código aberto, portanto, podemos fazê-lo apenas passo a passo. Leva tempo para acumular e não é possível criar um sistema de grande escala mundialmente famoso em um ou dois anos. Um sistema de imagem grande que pode realmente carregar o raciocínio simbólico definitivamente ajudará a futura IA de propósito geral a alcançar capacidades de raciocínio muito poderosas.
36 Krypton: GPT4, ou em outras palavras, como funciona sua "capacidade gráfica" na infraestrutura AGI, é semelhante a um mecanismo?
Gao Xuefeng: Você pode pensar nisso como um mecanismo gráfico, que pode armazenar dados estruturados em gráficos e realizar recuperação em alta velocidade de dados estruturados em gráficos. Mecanismos de busca como o Google e o Baidu têm enormes recursos de imagem por trás deles como suporte de pesquisa, mas não podem ser usados diretamente como produtos de uso geral para outros aplicativos.
Se o GPT4 tiver um sistema gráfico, ele deve estar profundamente integrado a todos os aspectos do processo de pré-treinamento e não é algo que possa ser removido ou extraído. O que queremos fazer no futuro é um mecanismo de grande imagem de código aberto com armazenamento distribuído e desempenho de computação distribuído. Também conduziremos uma cooperação aprofundada com LLM de código aberto ou modelos multimodais em casa e no exterior para determinar como usar as capacidades de visão geral. Para dar suporte ao pré-treinamento, solicitar engenharia ou redefinir as capacidades de convergência da função de perda para integração profunda. Este deve ser um processo que precisa tentar corrigir o desvio e depois ajustar.
36 Krypton: Do seu ponto de vista, o que Datu deve fazer agora para ajudar no desenvolvimento da AGI da China?
Gao Xuefeng: Existem muitas tecnologias básicas nele, que ainda não são conhecidas. Isso requer pesquisa acadêmica sobre seus pontos de combinação teórica.Do ponto de vista da engenharia, cooperamos com empresas de modelos em grande escala para concluir esse assunto.
Também abriremos o código e resolveremos a eficiência da computação distribuída de grandes gráficos. Poucas pessoas fazem computação distribuída no gráfico, mas muitas pessoas fazem computação distribuída do relacionamento bidimensional do data warehouse.A razão é que a distribuição do gráfico é um problema NP, ou seja, um problema matematicamente insolúvel. Não importa como você divide seu gráfico grande em partições lógicas, a comunicação distribuída não pode atingir a eficiência ideal. Como a melhor aplicação de grafos é multi-hop, no caso de multi-hop em grande escala, se o ponto de partida for um grafo totalmente conectado com 1000 pontos, o caminho de 1000 pontos com 5 saltos e 6 saltos percorrerá todo o aponta uma vez e os dados A quantidade é muito grande, é difícil dividir e a próxima etapa é imprevisível . Não importa como seja desmontado, ele envolve frequentes comunicações de rede entre diferentes nós de computação distribuídos.Este é o chamado problema Np dos grafos.
Fizemos muitas otimizações na implementação de engenharia. Por exemplo, usando o cache multinível na memória da imagem original, é fácil prever quais nós de computação devem ser acessados por vários saltos e evitar frequentes comunicações e tempestades de rede. Isso é o que fazemos otimização de engenharia.
Esperamos abrir o código do mecanismo principal no segundo semestre do ano, e deve ser o único sistema de código aberto no mundo que realmente oferece suporte a gráficos de grande escala por meio de computação distribuída. Nesta fase, a maioria das aplicações correspondentes de gráficos ainda são baseadas na arquitetura MPP, que não pode alcançar a arquitetura típica de armazenamento de grandes gráficos nativos da nuvem e separação de computação e computação distribuída.
02 Ser uma loja de conveniência ao lado do posto de gasolina ao invés de outro posto de gasolina
36 Krypton: Você acabou de mencionar a combinação com o modelo grande, quanto progredimos agora?
Gao Xuefeng: Também fizemos algumas tentativas de inovação do Hackathon internamente. Apresentar a capacidade de gráficos no estágio de entrada de prompts, na verdade, ainda é fazer engenharia de prompts. Acho que esse método pode gerar recursos de raciocínio rapidamente para modelos grandes sem recursos de raciocínio. Acho que ainda é uma combinação em nível de produto, um pouco como a implementação do New Bing ou do Copilot do Microsoft Office 365. Novos produtos também foram lançados no Copilot Você já ouviu falar do lançamento de produtos gráficos da Microsoft? Mas lançou um Microsoft Graph, que organiza diferentes documentos ou componentes e ferramentas da Microsoft em um gráfico, para que diferentes documentos possam se comunicar entre si. É também uma maneira de usar produtos para chamar APIs de modelo em grande escala para gerar valor sinérgico .
Acho que isso pode ser feito, mas também requer a capacidade de nossos gráficos e produtos e, mais importante, de integrar as capacidades de raciocínio lógico de vetores, símbolos lógicos e gráficos durante o processo de pré-treinamento. Isso requer prática contínua de engenharia para saber como integrar.
Faça esta pergunta a qualquer pessoa na indústria. Aqueles que estudaram isso sentirão que existe um ponto de integração, mas onde o ponto de integração precisa que todos tentem juntos.
36 Krypton: Agora todos ainda estão na fase de exploração?
Gao Xuefeng: Devemos explorar. Conduzimos pesquisas acadêmicas conjuntas com algumas universidades conhecidas no campo da computação gráfica, e as realizações acadêmicas reais em fases podem publicar muitos dos principais artigos de periódicos.
A exploração comum também é a principal razão pela qual escolhemos o código aberto . Como meu mecanismo é o único com uma arquitetura de computação distribuída, posso apenas cooperar com fornecedores de nuvem para ganhar dinheiro. Por que código aberto? Para o propósito final, depois do código aberto, todos podem usá-lo para colidir e experimentá-lo, e mesmo que haja uma diferença fundamental no desempenho da arquitetura, como o debate quando suporta o modelo esperado, saberemos como você usa, se for uma coisa fechada é muito difícil, é difícil formar uma força conjunta. A escolha do código aberto não é por causa da transformação comercial por meio do código aberto, mas pelo propósito que você realmente deseja alcançar.
36 Krypton: Você acabou de mencionar que em 2021, a tendência da IA já foi vista. Por que você não escolheu fazer um modelo grande?
Gao Xuefeng: Na época, pensei que a infraestrutura de IA deveria ser construída. Embora muitos cientistas estejam fazendo aprendizado profundo, é difícil para mim encontrar centenas de pessoas na China, mas acho impossível fazer um modelo grande sem centenas de pessoas.
Além disso, o custo de recursos para treinar um grande modelo é muito alto, o que é um obstáculo intransponível para equipes empreendedoras. O mais importante são os recursos usados para treinamento. Agora todos os nossos recursos de cartão A100 são muito limitados. Muitos campos exigem clusters de cartões GPU. Além do treinamento e raciocínio de modelos grandes de IA de que todos estão falando, direção automática, financeiro análise quantitativa, etc. todos requerem recursos de GPU. E agora os fornecedores de nuvem também estão concentrando seus esforços na fabricação de modelos em grande escala pertencentes à China, e mais e mais empresas iniciantes estão se juntando a essa equipe. Os serviços de GPU abertos por fornecedores de nuvem geralmente são serviços públicos de compartilhamento de tempo e é difícil concentrar um grande número de empresas para treinamento de modelo em larga escala dentro de um período de tempo.
Isso causará o problema de execução de recursos para treinamento e raciocínio. Portanto, grandes fábricas ainda têm vantagens inerentes em recursos quando se trata de fazer grandes modelos.
36 Krypton: As empresas iniciantes ainda precisam de um fluxo constante de fontes de financiamento para construir modelos em grande escala.
Gao Xuefeng: Na minha opinião, fazer negócios com os clientes de maneira prática e crescer junto com os clientes e a comunidade, essa é a mentalidade que um To B deve ter.
Se eu fizer um modelo grande, posso queimar todo o meu dinheiro em um instante, e então não haverá um resultado de comercialização óbvio e outros não pagarão por você.
A OpenAI experimentou tantos anos e queimou tanto dinheiro porque é definida como uma organização sem fins lucrativos; não foi até que a Microsoft investiu nela que decidiu mudar seu princípio de fins lucrativos. Com uma meta de lucro de 100 vezes o lucro do investimento, vá para coisas sem fins lucrativos.
Porém, para montar uma empresa ainda é preciso ir na direção da comercialização , então são pouquíssimas as empresas estrangeiras que saíram, e a que realmente se destaca é a OpenAI, que é um modelo em grande escala.
36 Krypton: Agora chegou o aumento do empreendedorismo em larga escala e todas as empresas querem se tornar a versão chinesa do OpenAI.
Gao Xuefeng: Modelos grandes não são fáceis de replicar, e o OpenAI também passou por muitas reviravoltas.
Nos primeiros dias da Open AI, muito trabalho foi feito em tarefas chatas, como prompts e design, e a tecnologia Transformer existe há muito tempo, como o Bert anterior, etc. tem muitos esforços em algoritmos. Eles também estão indo por esse caminho.
Portanto, não é que um modelo grande seja algo fácil de copiar, não acho que isso possa ser feito com centenas de milhões de RMB. Para treinar um modelo com centenas de bilhões de parâmetros, como GPT3.5 ou GPT4, a soma de vários custos certamente exigirá centenas de milhões de dólares, o que é impossível de mudar.
Agora também existem algumas empresas especializadas em otimização de frameworks e treinamento distribuído, tentando encontrar formas de fazer modelos grandes com muitos parâmetros exigirem cada vez menos recursos. Mas não pode ser muito otimizado e não tem como mudar a magnitude. Portanto, o desenvolvimento da tecnologia ou modelo do LLM, antes de trazer valor comercial e receita para si, primeiro traz muito lucro de receita e perspectivas de desenvolvimento para fabricantes de GPU como a Nvidia.
Outra coisa certa é que o aumento do consumo de energia levará ao aquecimento global.
36 Krypton: Dois dias atrás, vi a notícia de que o atual consumo diário de eletricidade da GPT era igual ao de uma pequena cidade nos Estados Unidos.
Gao Xuefeng: Sim. Portanto, é muito desafiador fazer um modelo grande, seja algoritmo, otimização, integração de dados, implantação de recursos de computação e, claro, suporte financeiro contínuo, é muito desafiador.
36 Krypton: Ainda existe uma polêmica agora, ou seja, código aberto ou código fechado para modelos grandes.
Gao Xuefeng: Prestei atenção a essa controvérsia na comunicação com algumas pessoas técnicas do círculo. Pessoalmente, acho que o grande modelo de código fechado tem certas limitações e acredito que LLM ou LLM em vários campos de código aberto surgirão maquetes genéricas multimodais e até maquetes proprietárias em diferentes áreas especializadas.
Por que o código fechado é limitado? Um é relativamente mais caro. A segunda é que o código fechado é uma ecologia fechada, por isso é difícil gerar valor comercial encenado e um bom potencial comercial futuro.
Acho que no campo da IA, os recursos de engenharia verdadeiramente distribuídos são muito importantes. Acho que uma boa plataforma de IA de engenharia e uma plataforma pública que carrega muitos modelos excelentes de código aberto são valiosas .
Por exemplo, Hugging Face nos Estados Unidos, acho que o potencial deve ser ainda maior. Com cada vez mais ecologia de modelos, há a necessidade de uma comunidade vincular diferentes modelos com seus usuários em potencial, treinadores, otimizadores e outras pessoas com funções diferentes. Essa energia pode ser comparada à economia de marcas da época, como o Tmall, do Alibaba, que vincula produtos e consumidores na plataforma. Ali fez o ModelScope e também queria realizar a intenção original e o propósito de Hugging Face. Embora a receita atual do Hugging Face não seja muito, se ela realmente quiser lucrar, ela terá muita receita em um instante. Você pode ver os downloads dos vários modelos acima, eles colocam muito trabalho sólido para ajudar a otimizar o modelo para torná-lo utilizável.
Portanto, em um campo segmentado tão grande, deve haver muitas oportunidades para fazê-lo, e nem todos precisam fazer modelos grandes. Na China, muitas pessoas correram para fazer modelos grandes e levantaram muito dinheiro. Surgiu um posto de gasolina nos Estados Unidos, que era particularmente lucrativo, então restaurantes de fast food e pequenos hotéis surgiram perto do posto de gasolina, e gradualmente uma pequena cidade foi formada ao lado do posto de gasolina; por sua vez, uma cena típica na China é que a Os postos de gasolina são muito lucrativos e haverá mais de uma dúzia de postos de gasolina por aí, esvaziando a terra.
Depois que o GPT foi lançado, muitas plataformas de engenharia de uso geral de IA e grandes modelos de vários campos subdivididos surgiram nos Estados Unidos. Embora não seja um modelo grande de uso geral como o OpenAI, o efeito é muito bom no campo de subdivisão. O parâmetro não precisa ser tão grande, chegando a uma escala de dezenas de bilhões ou quase 100 bilhões, mas pode ser otimizado. Por ser um campo específico, não é totalmente universal, e a fonte de dados será mais fácil. Não há necessidade de encontrar tantos dados públicos e livros como OpenAI, e há exigências extremamente altas para a qualidade dos dados.
O código aberto pode acelerar o desenvolvimento ecológico .
36 Krypton: Agora existem muitas empresas iniciantes e grandes fábricas fazendo modelos em grande escala na China. Haverá um problema de recursos dispersos?
Gao Xuefeng: Atualmente, o poder de computação é o mais difícil para a China romper, e as reservas de cientistas também são insuficientes. Mas, em comparação com o poder de computação, a China deve ter cada vez mais vantagens no campo dos dados. O volume de dados da China agora representa 9,9% do total mundial e pode representar 20% do total mundial em quatro anos. Se puder ser usado para o treinamento de modelo grande do estado multi-modo é definitivamente muito benéfico para o desenvolvimento do modelo grande da China.
E a criação do Big Data Bureau este ano é uma ótima notícia para os profissionais de nosso setor.
03 Na era AI, você deve ter seu próprio Infra
36 Krypton: Qual é a relação entre o mecanismo gráfico e o banco de dados gráfico?
Gao Xuefeng: Definimos o produto da Fabarta como um mecanismo para a integração de consulta interativa distribuída por grafos e computação de grafos, e não o definimos como um banco de dados de grafos. Para atender ao entendimento de todos, vou compará-lo com a capacidade de banco de dados distribuído da integração de imagem grande TP e AP, mas na verdade é mais apropriado defini-lo como "um mecanismo que integra armazenamento de dados de imagem, consulta interativa e algoritmos de computação gráfica".
Banco de dados é um conceito muito amplo. Atualmente, muitos bancos de dados de gráficos também podem resolver problemas atuais. No entanto, produtos de baixo código, como plataformas de análise de gráficos, são necessários para que os clientes os usem bem, caso contrário, eles enfrentarão muitos problemas. Mas não pode evoluir diretamente para o mar de estrelas que eu quero. Bancos de dados relacionais e data warehouses são compostos de vários mecanismos, como mecanismos de armazenamento, mecanismos de computação e mecanismos de análise. O banco de dados é mais como um grande conceito. Os vários mecanismos que processam dados relacionais trabalham juntos e podem ser chamados de banco de dados. Os vários mecanismos que processam dados não relacionais, como dados gráficos, são agregados e também podem ser chamados de banco de dados.
Banco de dados é apenas um substantivo . Agora, o pan-database é mais como um sinônimo de infraestrutura e é chamado de banco de dados para vários cálculos e processamento de armazenamento de dados. Nenhum banco de dados SQL, bancos de dados de séries temporais e bancos de dados multimodo são todos bancos de dados que armazenam vários tipos de dados.
A computação gráfica original é completamente separada do banco de dados gráfico . A computação gráfica é uma variedade de algoritmos acadêmicos, IA explicável e, em seguida, uma estrutura de computação distribuída, que não tem nada a ver com o banco de dados. Os bancos de dados gráficos são usados para armazenamento de dados, consulta de dados com vários saltos e análise SQL e outras tarefas sobre os dados. Este é o desempenho da separação entre o banco de dados gráfico e a computação gráfica.
Acho que se o mecanismo ou o banco de dados é apenas um conceito, a infraestrutura da IA requer a cooperação do mecanismo de imagem geral e do modelo grande para funcionar.
Quanto ao conceito de infra, de fato, nem todos têm necessariamente um consenso. O conceito de infra tradicional vem do sistema de fornecedor de nuvem; mas, atualmente, a IA não possui a capacidade geral de formar água, eletricidade e gás, portanto, não precisa ter sua própria "infra".
Mas, no futuro, a IA se tornará a verdadeira água, eletricidade e gás no futuro, no que acredito firmemente. Depois que o grande modelo foi lançado, todos começaram a falar sobre infra de IA. Algumas pessoas irão equiparar a infra de IA a um modelo grande. Não concordo. Esta não é a base para o futuro da inteligência artificial geral.
Então, eu sempre disse que a integração profunda de modelos de grande e grande escala é a infra da AGI no futuro.
36 Krypton: Algumas pessoas acham que o rápido crescimento da IA vai afastar certos mercados de computação em nuvem. O que você acha?
Gao Xuefeng: Se as tecnologias sob IA, como grandes imagens e grandes modelos, se tornarem infra reais, elas devem ser nativas da nuvem. Por necessitar de expansão elástica, deve ser colocado na nuvem, como pode ocupar os recursos da nuvem? O raciocínio do modelo em grande escala requer GPUs, o que definitivamente tornará o mercado de nuvem maior.
Também depende de como você define o mercado. Se é tradicionalmente orientado para fluxo de trabalho de ERP ou indicadores de análise estatística de BI para analisar data warehouses tradicionais ou jogos como TP, acho que essa parte do mercado é o mercado de nuvem existente e será definitivamente ser lotado.
36 Krypton: Como você se alimenta enquanto inova?
Gao Xuefeng: O mecanismo de banco de dados gráfico distribuído nativo da nuvem da Fabarta construído sobre várias nuvens pode armazenar e analisar os dados de diferentes fontes de dados e a relação entre os dados na forma de gráficos, com base na combinação de recursos de baixo código do Fabarta plataforma de análise de gráficos A precipitação de algoritmos e estruturas de análise de gráficos no setor pode ajudar melhor os clientes de nível empresarial a criar análises de cenário baseadas em gráficos (controle de risco, marketing, operação e manutenção inteligentes, gráficos de conhecimento do setor, etc.).
36 Krypton: Ou seja, seu negócio atual está realmente dividido em duas partes, uma parte é um mecanismo gráfico + produto de baixo código para clientes e a outra parte é um produto gráfico grande combinado com o LLM?
Gao Xuefeng: Você pode entendê-lo em três partes:
Uma é a camada superior, que é a integração profunda de gráficos e cenários subdivididos, como o Data Fabric, a plataforma de dados de última geração.Esse mercado é infinito, porque não é mais possível para todos concentrar dados. Além disso, o desenvolvimento integrado de lagos e armazéns levará a uma fragmentação cada vez maior dos dados em diferentes locais, e não há como gerenciá-los. Primeiro, faço um mapa de ativos de dados com base na organização de dados gráficos e, gradualmente, o transformo no Data Fabric de próxima geração para resolver o problema da computação colaborativa entre dados descentralizados e heterogêneos. Este é um mercado com estrelas e mares.
No meio está o fluxo de trabalho inteligente. Depois que os recursos do modelo grande atual forem lançados, o fluxo de trabalho existente da empresa se tornará inteligente? Não, ainda existem muitos desafios na integração dos recursos de IA no fluxo de trabalho das empresas, portanto, a plataforma de baixo código deve primeiro fazer isso passo a passo. Abstraímos e precipitamos os recursos de várias consultas de padrão e análise de algoritmo de dados gráficos na plataforma, depois organizamos os componentes de negócios e geramos valor de negócios por meio de métodos de código baixo e sem código e, finalmente, os geramos diretamente por meio do App Builder Os componentes de aplicativo que pode agregar valor aos usuários, primeiro habilitar a transformação inteligente do fluxo de trabalho corporativo por meio de IA explicável e, em seguida, integrar outros recursos de IA para criar o fluxo de trabalho inteligente de uma empresa.
O mecanismo final é uma das futuras infraestruturas principais da inteligência artificial geral. É para isso que estamos trabalhando.
Nota do editor: Este artigo é da conta oficial "Digital Time Krypton" (ID: digital36kr), a conta oficial de 36 Kr. Autor: Wang Yutong, Fabarta está autorizado a publicar.