Antropisk administrerende direktør skitserer plan for at bremse udviklingen af AI
Dario Amodei bad lige branchen om at… sætte farten ned. Ikke stoppe. Tempoet. Langt essay, tre trin og en advarsel om, at rekursiv selvforbedring allerede udvikler sig hurtigere, end de voksne kan gennemskue.
Anthropic inviterer ensidigt indlejrede evaluatorer indenfor i bygningen - med badges, skriveborde, bærbare computere og retten til at offentliggøre resultater uden et PR-filter. Derefter ønsker han demokratiske laboratorier til at koordinere sikkerhedsstandarder. Derefter, på en eller anden måde, en aftale med autoritære regeringer. Let på papiret. Svært alle andre steder.
Han siger stadig, at AI kunne være et mirakel. Han siger også, at en mere kapabel, forkert justeret sværm kunne overtage internettet med et vedvarende botnet og forårsage hundredvis af milliarder i skade. De to sætninger står ved siden af hinanden, og de passer ikke sammen.
Åh - og han vil have en snæver antitrust-dispensation, så sikkerhedssamtalerne ikke i sig selv er et juridisk problem. Bremserne kommer med papirarbejde. Selvfølgelig gør de det.
Sam Altman bekræfter, at OpenAI ikke vil blive børsnoteret i år, og siger, at en børsnotering nu ville komme på et 'uhensigtsmæssigt tidspunkt' givet bekymringer om AI-sikkerhed
Altman satte sig ned til et eksklusivt interview og afsluttede børsnoteringskalenderen. En børsnotering lige nu, sagde han, ville være et "uhensigtsmæssigt øjeblik". Sikkerhedsarbejdet er ikke færdigt. Tilpasningen er ikke færdig. Samfundet er ikke klar. Da de pressede ham - ikke i år.
Bankfolkene var allerede i gang med at cirkle rundt. Den fortrolige dokumentation findes. Nu siger administrerende direktør, at de har en masse ting at gøre først, herunder at finde ud af, hvordan industri og regeringer overhovedet arbejder sammen. Han lød næsten lettet over at skulle vente.
Han sagde også, at det er "absolut" muligt at bygge AI uden for menneskelig kontrol - og lovede derefter, at han ville sætte træningen på pause, hvis det er vejen frem. Dristigt. Måske også praktisk. Muligvis begge dele. Sammenblandingen mellem nonprofitorganisationer og for-profit-organisationer, argumenterede han, eksisterer, så de kan foretage beslutninger, der ikke åbenlyst er i aktionærernes interesse. Vi får se, om den sætning overlever kontakt med et faktisk prospekt.
OpenAIs Sam Altman antyder en pagt med andre AI-virksomheder for at håndtere sikkerhedsrisici
Samme interview, anden overskrift, og denne her er hvisken. At sætte sig ned med Amodei, Musk og Demis Hassabis er det naturlige næste skridt. Altman: Han tror, det vil ske. Han vil ikke annoncere private samtaler på forhånd. Så han annoncerede dem stort set på forhånd.
En tocifret katastroferisiko er ikke acceptabel, sagde han. De endnu ikke offentliggjorte modeller er allerede så kapable, at det føles hensynsløst at gå videre uden bedre overvågning. En ægte pagt og en omhyggeligt lækket atmosfære kan se identiske ud udefra.
Personalet havde allerede hørt en version af dette internt. Offentligt er det stadig tåge. Hvis det sker, er det fint. Hvis ikke, så gjorde citatet stadig arbejdet.
Sam Altman støtter Dario Amodeis opfordring til at sætte farten ned og siger, at OpenAI vil gøre det samme
Timer efter essayet skrev Altman, at OpenAI vil matche løftet fra den indlejrede evaluator. Medarbejderlignende adgang. Mere følger snart. Musk skrev tre ord: "Dario har ret." Tre rivaliserende administrerende direktører. Ét slogan. Urolig weekendenergi.
Koordination og teater kan rejse sammen. Første trin i Amodeis plan har nu fået to af de største laboratorier til at nikke offentligt. Hugging Face - ja, det Hugging Face - bad om at deltage i evaluatorprogrammet og lancerede noget, der hedder Open Alignment Initiative. Gennemsigtighed fra de mennesker, der blev hacket. Poetisk eller pegende.
Europa har, for hvad det er værd, ingen til at bede om den amerikansk-lignende dispensation. Bruxelles stoppede med at udstede individuelle dispensationer for længe siden. Så håndtrykket er amerikansk. Resten af kortet er ... at trække på skuldrene.
OpenAI vil bare vinde
Matematikere er ikke i festhumør efter en weekend med interviews. OpenAIs Navier-Stokes-sprint - cirka ti tusind agenter, beregninger i titusindvis af millioner af dollars, otteogfirs timer - ligner en trofæjagt indefra. Matematikere vil have indsigt. Laboratoriet, bliver de ved med at sige, vil vinde.
Tristan Buckmaster fortalte dem, at OpenAI tilbød ubegrænset beregning og eneforfatterskab, hvis han droppede sin Anthropic-tilknyttede samarbejdspartner. Han kaldte det bestikkelse. Han sagde nej. OpenAI siger kategorisk, at hans Codex-prompter ikke kunne have påvirket systemet. Han er ikke overbevist. Andreas Thom spekulerer stadig på, om ChatGPT-chatter om hans eget arbejde fodrede den model, der senere byggede på det. Kun virksomheden ville vide det. Han har mistanke om, at de ikke engang ved det.
Og så det afgørende: OpenAI siger, at de allerede har gjort betydelige fremskridt med endnu et Millennium Prize-problem. Hvilket forbliver unavngivet. Clay har alligevel stadig brug for et langt vindue for samfundets accept. Så ingen har "vundet" endnu. De er bare allerede i gang med at kæmpe om den næste. Sødt.
Ofte stillede spørgsmål
Hvad er Anthropics administrerende direktør, Dario Amodeis plan for at fremskynde udviklingen af AI?
Amodei udgav et langt essay, hvor han opfordrede branchen til at sætte farten ned – ikke stoppe – fordi rekursiv selvforbedring skrider frem hurtigere, end revisorer kan følge med. Første skridt er ensidigt at invitere integrerede evaluatorer ind i Anthropic med badges, skriveborde, bærbare computere og retten til at offentliggøre resultater uden et PR-filter. Derefter ønsker han demokratiske laboratorier til at koordinere sikkerhedsstandarder og i sidste ende en form for aftale med autoritære regeringer. Han ønsker også en snæver antitrust-dispensation, så sikkerhedsforhandlinger ikke i sig selv er et juridisk problem.
Hvorfor sagde Sam Altman, at OpenAI ikke vil blive børsnoteret i år?
I et eksklusivt interview sagde Altman, at en børsnotering lige nu ville være et dårligt råd, fordi sikkerhedsarbejde, tilpasning og samfundsberedskab endnu ikke er færdigt. Da han blev presset, bekræftede han, at det ikke ville ske i år, selvom bankfolk var i gang, og der forelå en fortrolig indberetning. Han argumenterede for, at nonprofit/for-profit-strukturen eksisterer, så OpenAI kan foretage beslutninger, der ikke åbenlyst er i aktionærernes interesse. Han sagde også, at det er absolut muligt at bygge AI ud over menneskelig kontrol, og lovede, at han ville sætte træningen på pause, hvis det var vejen frem.
Antydede Altman en sikkerhedspagt med andre AI-laboratorier?
I samme interview sagde Altman, at han mener, at der vil blive afholdt et møde med kolleger som Amodei, Musk og Demis Hassabis, men afviste at forhåndsannoncere private samtaler. Han argumenterede for, at en tocifret katastrofal risiko ikke er acceptabel, og at endnu ikke offentliggjorte modeller allerede er så kapable, at det føles hensynsløst at presse på for yderligere uden bedre overvågning. Personalet havde allerede hørt en version af dette internt, så de offentlige kommentarer kan give et indblik i koordinering snarere end at bekræfte en færdig aftale.
Vil OpenAI leve op til Anthropics løfte om indlejrede evaluatorer?
Timer efter Amodeis essay skrev Altman, at OpenAI vil matche løftet om indlejrede evaluatorer med medarbejderlignende adgang og flere detaljer snart. Elon Musk skrev, at Dario har ret og satte tre rivaliserende administrerende direktører på et lignende slogan. Hugging Face bad om at deltage i evaluatorprogrammet og lancerede et Open Alignment Initiative. Europa kan ikke tilbyde den samme amerikanske antitrust-dispensation, som Amodei fremsatte, så håndtrykket er primært amerikansk for nu.
Hvorfor kritiserer matematikere OpenAIs Navier-Stokes-sprint?
Matematikere beskriver OpenAIs cirka titusinde agenter lange Navier-Stokes-løb som en trofæjagt, der prioriterer sejr frem for indsigt. Tristan Buckmaster sagde, at OpenAI tilbød ubegrænset beregning og eneforfatterskab, hvis han droppede en Anthropic-tilknyttet samarbejdspartner; han kaldte det bestikkelse og nægtede. OpenAI siger, at hans Codex-prompter ikke kunne have påvirket systemet, men han er stadig ikke overbevist. Andreas Thom er stadig i tvivl om, hvorvidt ChatGPT-chatter om sit eget arbejde har givet næring til senere modelfremskridt.
Har OpenAI hævdet fremskridt med endnu et Millenniumprisproblem?
OpenAI siger, at de allerede har gjort betydelige fremskridt med endnu et Millennium Prize-problem, men de vil ikke nævne hvilket. Clay Mathematics Institute kræver stadig et langt vindue for samfundets accept, så ingen har officielt vundet endnu. Inden for feltet lyder denne hemmeligholdelse plus det tidligere Navier-Stokes-kapløb som laboratorier, der allerede spurter efter det næste trofæ. The Verge-interviewene beskriver spændingen som matematikere, der ønsker indsigt, mens OpenAI ønsker at vinde.