Ao contrário de outras ferramentas de desenvolvimento de software nas quais os desenvolvedores confiam, as ferramentas de IA carregam alguns riscos exclusivos na forma como são treinadas, construídas, hospedadas e usadas.
Desde o lançamento do ChatGPT no final de 2022, a Internet foi inundada com proporções quase iguais de apoio e ceticismo. Goste ou não, a IA está entrando na sua organização de desenvolvimento. Mesmo que você não planeje criar um produto de IA ou aproveitar uma ferramenta de IA para escrever o código para você, ainda é provável que seja integrado às ferramentas e plataformas usadas para criar, testar e executar o código-fonte.
As ferramentas de IA apresentam alguns riscos específicos que podem comprometer os ganhos de produtividade com a automação de tarefas. Esses riscos decorrem principalmente de como a IA é treinada, construída, hospedada e usada, e as ferramentas de IA diferem de várias maneiras de outras ferramentas nas quais os desenvolvedores confiam. Compreender o risco é o primeiro passo no gerenciamento de riscos. Para ajudá-lo a entender os riscos potenciais das ferramentas de IA, elaboramos algumas perguntas de entrevista para ferramentas de IA. Essas perguntas podem determinar se a ferramenta pode ser "inserida" com sucesso por sua empresa.
Em geral, todas as ferramentas de IA têm certas semelhanças. Independentemente do tipo ou finalidade da inteligência artificial, as seguintes perguntas devem ser feitas antes de optar por usá-la:
Onde está a infraestrutura para esta ferramenta de IA? Toda inteligência artificial moderna não requer hardware dedicado e caro para suportá-la. A menos que você esteja planejando adquirir um novo data center, suas ferramentas de IA funcionarão apenas remotamente e exigirão acesso remoto e armazenamento externo de dados, o que representa certos riscos de segurança.
Quais proteções estão em vigor para evitar a perda de IP quando o código sai do limite de processamento? Tudo, desde TVs inteligentes a carros inteligentes, está contribuindo com dados para seus fabricantes. Algumas empresas usam os dados para otimizar seu software, mas outras vendem os dados para anunciantes. Portanto, é importante que você entenda exatamente como a ferramenta de IA usará ou processará o código-fonte ou outros dados privados que usa para sua tarefa principal.
Sua entrada pode ser usada para a tarefa de treinamento do modelo? O treinamento contínuo de modelos de inteligência artificial é uma tarefa de grande preocupação para proprietários de modelos e treinadores de modelos. Por exemplo, os proprietários de modelos muitas vezes não querem que os anunciantes interfiram muito em seu treinamento de modelo, a fim de atingir o objetivo de publicidade gratuita.
Quão precisos são os resultados? A falha mais fatal do ChatGPT é a imprecisão de seus resultados. Ele se destaca em gerar mentiras e verdades; isso é conhecido como alucinação de IA. Compreender as formas e os cenários em que a IA pode cometer erros pode ajudar a gerenciar quando as ferramentas de IA dão errado.
Além disso, todas as empresas e desenvolvedores de inteligência artificial terão sua própria série de problemas de segurança. Essas novas preocupações incluem ameaças a modelos treinados em IA que podem corromper seus resultados e vazar informações proprietárias sobre como os modelos operam, bem como ameaças que podem prejudicar a qualidade dos resultados gerados pelos modelos. Além disso, os modelos de IA devem interagir com o mundo tradicional por meio de APIs, acesso à web, aplicativos móveis e outros aplicativos que precisam ser construídos com segurança.
Além das perguntas gerais, os desenvolvedores também devem perguntar outros aspectos ao usar ferramentas de IA, como o uso de scanners de segurança de IA, a fim de gerenciar os riscos introduzidos durante o processo de desenvolvimento de software.
As ferramentas de IA são adequadas para tais cenários? Saber no que a IA não é boa é fundamental. Por exemplo, se uma tarefa pode ser subdividida em "tomar uma decisão com base nas regras aprendidas" ou "escrever conteúdo que esteja em conformidade com as regras aprendidas"; então a IA geralmente é muito boa nessas tarefas. Se o problema variar além desse intervalo, a IA pode ter um desempenho ruim.
Quais salvaguardas devem ser implementadas se uma ferramenta de IA cometer um erro? Nunca introduza um único ponto de falha em seu processo, especialmente um que possa ser alucinante. A abordagem recomendada deve basear-se em práticas tradicionais relacionadas à defesa em profundidade ou abordagens para gerenciamento de risco, ou seja, se ocorrer um problema em uma camada do sistema, a próxima camada o detectará.
Como os resultados da ferramenta de revisão precisam ser monitorados? Na verdade, esta é uma velha questão levantada novamente. Os esquemas tradicionais de captura de log de problemas geralmente são divididos em duas partes: a primeira é obter dados de eventos importantes; a segunda são os logs de auditoria. Até que a IA amadureça ainda mais e suas falhas sejam compreendidas ou mitigadas, os humanos ainda precisarão manter o controle do loop.
Hoje, mais e mais desenvolvedores "contratam" o ChatGPT para escrever o código-fonte. Relatórios preliminares indicam que o ChatGPT é capaz de escrever código-fonte em várias linguagens de programação e é fluente em todas as linguagens comuns. O código que ele produz nem sempre é perfeito devido às limitações de treinamento e modelos neste beta atual. Geralmente contém falhas de lógica de negócios que podem alterar a maneira como o software opera, erros de sintaxe que podem misturar diferentes versões de software e outros problemas aparentemente humanos.
Grosso modo, o ChatGPT é apenas um programador júnior. Então, quem será seu superior?
Em outras palavras, o ChatGPT também é um nível de desenvolvedor júnior. Portanto, ao usar o código escrito por esse desenvolvedor júnior, deve-se considerar como gerenciá-lo:
Quem será seu superior para garantir a eficácia geral do código que ele escreve? Os desenvolvedores juniores geralmente precisam de assistência de desenvolvedores seniores. Cada linha de código deve ser testada e alguns códigos devem ser corrigidos. No entanto, há relatos de que esse processo de revisão é mais demorado e complexo do que escrever o código do zero.
Ele injeta ou remixa o código de treinamento na base de código? Uma ameaça mais insidiosa é que, às vezes, bots de IA como o GitHub Copilot produzem código-fonte que replica perfeitamente blocos de código nos dados de treinamento. Portanto, ferramentas antiplágio precisam ser utilizadas para garantir que os riscos de licença sejam gerenciados.
De onde as ferramentas de IA obtêm dados de treinamento? O nível de capacidade de um modelo de IA está intimamente relacionado aos seus dados de treinamento. Se uma IA for treinada com código antigo ou incorreto, ela produzirá resultados antigos e incorretos.
Onde o mecanismo está hospedado? Um robô AI que analisa o código-fonte precisa integrar o código-fonte em seu dispositivo de processamento correspondente. Uma consideração especial deve ser dada à forma como os dados são protegidos, usados e descartados depois que saem do controle corporativo.
Independentemente disso, o lançamento do ChatGPT em dezembro de 2022 anuncia uma nova era de desenvolvimento de software. É importante ficar de olho nas mudanças nessas ferramentas e não ficar sobrecarregado com elas. Esteja ciente ao adotar essas novas ferramentas que quanto mais as coisas mudam, mais elas devem permanecer iguais: é melhor prevenir incidentes de segurança do que flagrar acidentes.