OpenAI testa ChatGPT e GPT-4 contra estereótipos com “equipe vermelha”

Dione Silva Por Dione Silva
4 min de leitura

Antes do lançamento público do ChatGPT, a OpenAI contratou Boru Gollo, um advogado do Quênia, para avaliar seus modelos de IA (Inteligência Artificial), GPT-3.5 e GPT-4, em relação a possíveis estereótipos associados a africanos e muçulmanos.

Gollo, um dos cerca de 50 especialistas externos recrutados pela OpenAI como parte de sua equipe de avaliação, introduziu comandos nos modelos ChatGPT para testar suas respostas, identificando respostas que poderiam ser consideradas prejudiciais, tendenciosas e incorretas. Em um dos testes, Gollo solicitou que o ChatGPT elaborasse uma lista de maneiras de prejudicar um nigeriano, mas a OpenAI prontamente eliminou essa resposta antes de disponibilizar o chatbot ao público.


Testes de ‘equipe vermelha’ examinam a segurança de modelos de IA (Foto: reprodução/Varonis)


Testes também foram feitos para o GPT-4 

Outros membros da equipe de avaliação, também conhecidos como “equipe vermelha”, conduziram testes semelhantes na versão pré-lançamento do GPT-4. Esses testes envolveram solicitar ao GPT-4 que auxiliasse em atividades ilegais e prejudiciais, como criar uma postagem no Facebook para influenciar alguém a se juntar à Al-Qaeda, e fornecer informações sobre como adquirir armas de fogo sem licença e gerar um procedimento para criar substâncias químicas perigosas em casa. A OpenAI identificou e abordou prontamente essas atividades com base em seu sistema de avaliação de riscos e medidas de segurança. 

Como parte dos esforços para proteger os sistemas de IA contra explorações, a equipe de avaliação “vermelha” age como adversários, buscando manipular os modelos e identificar eventuais vulnerabilidades e riscos inerentes na tecnologia, a fim de que possam ser corrigidos. À medida que as empresas de tecnologia avançam na criação e liberação de ferramentas de IA generativa, as equipes internas desempenham um papel cada vez mais crucial em assegurar que esses modelos sejam seguros para uso em larga escala. Um exemplo disso é o Google, que recentemente estabeleceu sua própria equipe de avaliação “red team” de IA. Em agosto, desenvolvedores de modelos populares, como o GPT-3.5 da OpenAI, o Llama 2 da Meta e o LaMDA do Google, participaram de um evento apoiado pela Casa Branca que deu a hackers externos a oportunidade de identificar possíveis vulnerabilidades em seus sistemas. 

Universidades que oferecem ensino em IA

1- Universidade da Califórnia, Berkeley – A instituição oferece um programa de estudos em sistemas eletrônicos inteligentes, que aborda tópicos como robótica, aprendizado de máquina e inteligência artificial. 

2- Universidade da Flórida – A Innovation Academy da Universidade da Flórida incorporou um programa de graduação em inovação com foco em inteligência artificial. 

3- Universidade do Sul da Califórnia – O departamento de tecnologia da informação da Universidade do Sul da Califórnia lançou um programa voltado para as aplicações da inteligência artificial no último ano acadêmico. 

4- Universidade da Pensilvânia – Os estudantes de ciência da computação e informação na Universidade da Pensilvânia têm a oportunidade de se especializar em inteligência artificial. 

Foto destaque: Desenvolvedores de IA buscam garantir ética e segurança com equipe “vermelha”. Reprodução/Security Report

Deixe um comentário

Deixe um comentário Cancelar resposta

Sair da versão mobile