Sam Altman deixa o comitê de segurança da OpenAI

Sam Altman, CEO da OpenAI, deixará o comitê interno de segurança criado pela empresa em maio para supervisionar decisões críticas relacionadas à segurança de seus projetos e operações. Em uma publicação no blog da OpenAI, a empresa revelou que o comitê de segurança será transformado em um grupo independente de supervisão, liderado pelo professor Zico Kolter, da Carnegie Mellon University.

Outros membros incluem Adam D’Angelo, CEO do Quora, o General aposentado Paul Nakasone, do Exército dos EUA, e a ex-vice-presidente da Sony, Nicole Seligman. Todos já faziam parte do conselho de administração da OpenAI.

Após a saída de Altman, o comitê — chamado Safety and Security Committee — conduziu uma revisão de segurança do o1, o modelo de inteligência artificial (IA) mais recente da OpenAI. Segundo a empresa, o grupo continuará recebendo relatórios periódicos das equipes de segurança e manterá o poder de adiar lançamentos caso as preocupações de segurança não sejam resolvidas.

o1 é o mais novo modelo da OpenAI. (Imagem: OpenAI)

Responsabilidades do Comitê de Segurança da OpenAI

O Safety and Security Committee terá a função de acompanhar avaliações técnicas de modelos atuais e futuros, além de monitorar o desempenho das IAs após seus lançamentos. A OpenAI afirmou que está aprimorando seus processos de lançamento, buscando critérios claros de sucesso para garantir a segurança e a integridade desses modelos.

Principais recomendações de segurança

A postagem no blog da OpenAI detalhou cinco áreas de melhoria nas práticas de segurança e governança que serão implementadas após uma revisão de 90 dias feita pelo comitê:

Leia também:  Gargalos do e-commerce: abandono de carrinho é causado por desconfiança ou insatisfação, mostra pesquisa

Governança independente de segurança: o SSC se tornará um comitê independente de supervisão do conselho, responsável por monitorar os processos de segurança da OpenAI para o desenvolvimento e implantação de modelos de IA. O comitê tem a autoridade de adiar lançamentos de modelos caso identifique riscos de segurança.

Aprimoramento de medidas de segurança: a OpenAI está expandindo suas operações de segurança para lidar com os riscos crescentes associados ao desenvolvimento de IA. Entre as iniciativas, a empresa está estudando a criação de um Information Sharing and Analysis Center (ISAC) para facilitar o compartilhamento de informações sobre ameaças cibernéticas no setor de IA.

Transparência nos trabalhos de segurança: a empresa busca maior transparência, divulgando cartões de sistema que explicam as capacidades e riscos de seus modelos. No lançamento do GPT-4 e do o1, foram publicadas avaliações detalhadas sobre o trabalho de mitigação de riscos realizado.

Colaboração com organizações externas: a OpenAI está intensificando colaborações com organizações independentes e laboratórios governamentais, como o Los Alamos National Labs, para aprimorar a segurança no uso de IA em ambientes científicos. Além disso, a empresa firmou acordos com institutos de segurança de IA nos EUA e no Reino Unido.

Unificação de estruturas de segurança: a empresa está estabelecendo um quadro integrado de segurança para o desenvolvimento e monitoramento de seus modelos, com critérios claros de sucesso. Este quadro evoluirá à medida que os modelos se tornem mais complexos e poderosos, a fim de garantir a segurança em todas as etapas.

Leia também:  Além de aliviar o calor, essa invenção também promove a arte; veja

Pressão externa e críticas

A saída de Altman do comitê ocorre em meio a questionamentos feitos por cinco senadores norte-americanos sobre as políticas da OpenAI. Em uma carta enviada ao CEO, os senadores levantaram dúvidas sobre o compromisso da empresa com a regulamentação da IA.

Além disso, quase metade da equipe original da OpenAI, focada nos riscos a longo prazo da IA, deixou a empresa, e ex-pesquisadores acusaram Altman de se opor a uma regulamentação “real” da IA, favorecendo políticas que priorizam os interesses comerciais da empresa.

OpenAI tem investido centenas de milhares de dólares em lobby. (Imagem: Hamara/Shutterstock.com)

A OpenAI aumentou significativamente seus gastos com lobby federal, destinando US$ 800.000 para os primeiros seis meses de 2024, em comparação aos US$ 260.000 gastos em todo o ano anterior.

Altman também passou a integrar o Conselho de Segurança e Proteção da Inteligência Artificial do Departamento de Segurança Interna dos EUA, órgão que oferece recomendações sobre o desenvolvimento de IA em infraestruturas críticas do país.

Leia mais:

ChatGPT: como publicar chatbot personalizado na GPT Store?

Detector de IA: 5 sites para conferir se o texto foi escrito pelo ChatGPT

Leia também:  Kamala tenta virar o jogo contra Trump ao focar em imigração

Como aumentar quantidade de mensagens no ChatGPT 4o

Interesses comerciais da OpenAI

Mesmo com a saída de Altman do comitê, há indícios de que o grupo não tomará decisões que possam impactar negativamente a trajetória comercial da OpenAI. Em maio, a empresa afirmou que buscaria abordar críticas válidas através do comitê, embora o significado de “críticas válidas” seja relativo.

Em um artigo de opinião publicado em maio na revista The Economist, as ex-integrantes do conselho da OpenAI, Helen Toner e Tasha McCauley, expressaram ceticismo quanto à capacidade da empresa de se autogovernar de forma responsável. Elas argumentaram que “o autogoverno não pode resistir de maneira confiável à pressão dos incentivos ao lucro”.

Expansão e investimentos da OpenAI

Os incentivos financeiros da OpenAI têm crescido de forma significativa. A empresa está em negociações para arrecadar mais de US$ 6,5 bilhões em uma nova rodada de investimentos, o que elevaria o valor da OpenAI para mais de US$ 150 bilhões.

Para fechar o acordo, a OpenAI pode abandonar sua estrutura híbrida de organização sem fins lucrativos, que inicialmente limitava o retorno dos investidores, a fim de manter a empresa alinhada com sua missão original: desenvolver uma inteligência artificial geral que “beneficie toda a humanidade.”

O post Sam Altman deixa o comitê de segurança da OpenAI apareceu primeiro em Olhar Digital.


Publicado

em

Tags:

Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *