"
Tenho o prazer de apresentar Paul Cristiano pela segunda vez. Desta vez, serei mais breve. Paul é um dos Pesquisadores mais importantes que trabalham na segurança da IA e uma das pessoas que mais refletiram sobre o problema fundamental de como podemos garantir que os sistemas de IA cada vez mais inteligentes realmente façam o que queremos que façam.
Paul sempre teve uma visão excepcionalmente ampla do problema. Ele trabalhou na pesquisa técnica subjacente aos métodos práticos de avaliação.
Capacidades perigosas e sobre os arranjos institucionais necessários para tornar o desenvolvimento da IA mais seguro. Sua contribuição mais influente foi a seu Trabalho pioneiro em aprendizado por reforço a partir de feedback humano ou RLHF na OpenAI.
Foi isso que deu à OpenAI vantagem sobre o Google e permitiu que ela lançasse chatbots ao público sem um desastre completo.
Mas Paul entendeu que essa não era uma solução completa. Ontem, Paul falou sobre o problema do alinhamento. Como podemos garantir que as IAs façam o que nós queremos que façam em vez de trapacear de maneiras inteligentes para obter recompensas por atingir objetivos que, na verdade, não atingiram?
Hoje será a hora mais sombria.
Paul falará sobre autoaperfeiçoamento recursivo. E eu espero que a palestra de hoje seja ainda mais assustadora porque Paul, ele sabe do que está falando. Ele viu a explosão de inteligência que está acontecendo dentro das grandes empresas.
Antes de distribuir o Kool-Aid, acho importante que você saiba que os riscos mencionados por Paul podem ser evitados se as pessoas levarem seu aviso a sério.
Sério. Precisamos que as grandes empresas de tecnologia e os governos parem de negar a ameaça existencial.
Ainda há tempo para agir. [aplausos]
Ainda temos boas chances de gerenciar os riscos e nos beneficiar dos enormes ganhos de produtividade que a IA pode gerar. Por favor, juntem-se a mim para dar as boas-vindas a Paul Cristiano.
"
