A OpenAI lançou uma divisão de pesquisa chamada “alinhamento” para enfrentar os desafios da superinteligência artificial (IA). Eles estão preocupados com o potencial de danos causados pela IA superinteligente desalinhada com os valores humanos. Para resolver esse problema, eles dedicarão 20% de sua capacidade computacional para o alinhamento. O objetivo é construir um pesquisador de alinhamento automatizado de nível humano que possa avaliar outros sistemas de IA e desenvolver técnicas de alinhamento mais eficazes.
As atuais técnicas de alinhamento de IA dependem do feedback humano, o que não é viável quando a IA é mais inteligente do que os humanos. A OpenAI está formando uma equipe liderada por Ilya Sutskever e Jan Leike para resolver os desafios técnicos do controle da IA superinteligente em quatro anos. O Reino Unido também está investindo em pesquisa de segurança da IA.
A OpenAI reconhece as limitações de seu trabalho e os possíveis problemas de amplificação de inconsistências e preconceitos na IA. Eles acreditam que especialistas em aprendizado de máquina são essenciais para resolver o problema do alinhamento. Pretendem compartilhar amplamente seus resultados e contribuir para a segurança de modelos de IA de outras organizações.
OpenAI logo sob arte (Foto: reprodução/OpenAI)
A superinteligência pode trazer benefícios significativos, mas também apresenta riscos, incluindo a possibilidade de a humanidade ser prejudicada ou até mesmo extinta. A OpenAI escolheu se concentrar na superinteligência, pois acredita que a IA com níveis de capacidade muito superiores aos humanos pode surgir nesta década.
Embora seja um objetivo ambicioso, eles estão otimistas de que um esforço concentrado pode resolver esse problema por meio de avanços científicos e técnicos. O alinhamento da IA é fundamentalmente um problema de aprendizado de máquina, e eles acreditam que especialistas em aprendizado de máquina serão cruciais para enfrentá-lo.
Além disso, eles estão cientes da necessidade de garantir que os sistemas de IA superinteligentes sigam a intenção humana. Embora haja incertezas sobre o desenvolvimento da tecnologia nos próximos anos, eles escolheram mirar no alvo mais desafiador de alinhar um sistema de capacidade muito maior.
Para alcançar seu objetivo, os envolvidos planejam desenvolver um método de treinamento escalável, validar o modelo resultante e testar todo o processo de alinhamento. Acreditam que muitas ideias já mostraram promessa em experimentos preliminares e que os modelos atuais podem ser usados para estudar empiricamente os problemas relacionados à superinteligência.
O trabalho dessa nova equipe é complementar aos esforços existentes da OpenAI para melhorar a segurança dos modelos atuais, como o ChatGPT, além de mitigar outros riscos da IA. Eles estão engajando especialistas interdisciplinares para garantir que suas soluções técnicas considerem preocupações humanas e sociais mais amplas.
Foto Destaque: indicadores de inteligência artificial. Reprodução/Analytics Vidhya
