OpenAIs chef for sikkerhedsrapporter sagde op og sagde, at kulturen er brudt
David Robinson, der stod i spidsen for at skrive sikkerhedsrapporterne, der blev udgivet i forbindelse med lanceringen af OpenAI, sagde op og fremlagde argumentet i The Atlantic. Overskriften på essayet er direkte: "Jeg har forladt OpenAI, fordi deres kultur er i stykker." Han siger, at de virksomheder, der bygger dette, "ikke er nær så forsigtige", og at specifikke regler eller nye love ikke er hele problemet. Kulturen er det.
"Mens virksomheden spurter fra den ene lancering til den næste, formår den ikke at opnå det niveau af omhu, som jeg mener er nødvendigt." Hans model er atomkraftværker og travle lufthavne: redundans, langsom planlægning, så én menneskelig fejl ikke "åbner en dør til katastrofe." Han forestiller sig også uærlige agenter, der "arbejder som teams af hackere" og "aldrig behøver at sove", med hospitals ransomware som eksempel. Muntert.
The Guardian siger, at OpenAI, i modsætning til dette, har vist en vis bremsekraft. Den rapporterer, at virksomheden i denne uge skrottede en næstegenerationsmodel efter interne sikkerhedsproblemer og har sat træningen af sine mest avancerede modeller på pause. En talspersons replik er den velkendte. De vil ikke lade modeller "blive mere kapable, end vi sikkert kan administrere og sikre", og de "sætter træningen på pause eller holder modeller tilbage, når vi har brug for at sætte farten ned"
Robinsons svar er, at spurten er kulturen, og pauserne er det, man gør, efter noget allerede er gået galt. Han har måske ret. Han er også lige gået, hvilket er den del, kritikerne ikke vil lade ham glemme.
Muse får besked på at holde styr på alle i sit liv
Wired kiggede på Muses egne instruktioner, som forskeren Karan Joshi havde fundet frem til via almindelig chat. Meta siger, at det var meningen, at disse filer skulle være læsbare og af hensyn til gennemsigtighed. En af instruktionerne er muligheden for at oprette "en side for hver person i brugerens liv." Det job kører hver time.
Familie, partnere, venner, kolleger, "samarbejdspartnere", folk du følger. En side kan starte "sparsom" og udfyldes senere. Afsnit omfatter Fakta, Historie, Forholdet, Fællesskab, Åbne tråde og Styrkelse. Opfundne detaljer, siger instruktionerne, er værre end en tom side. Den kan nævne, hvor nogen bor, "flytningen af lejligheden, det fælles opsparingsmål", fødselsdage, "det skænderi, der blev løst". Styrkelse er en liste over ting, der kan være nyttige: en grund til at ringe, en dato, der er værd at huske.
Joshis tolkning er, at Meta vil kende dig som en ven, og han kaldte det ret foruroligende. Carissa Vliz fra Oxford udtrykker det mere tørt: "Vi giver AI-systemer meget mere information om os, end vi får information fra dem." Inferens tæller, siger hun, uanset om gættet er rigtigt eller forkert.
Metas Daniel Roberts siger, at den slags kontekst er det, der får produktet til at virke. Fakturaafsenderen er blikkenslageren. Ægtefællen nævnte blomster. Hver bruger får en virtuel maskine, man kan slette minder, og Muse skal spørge, før den sender mails eller bruger penge. Miranda Bogen fra Center for Democracy and Technology siger, at fokus på relationer ser ud til at være tungere end på rivaler, og disse værktøjer "opfordrer aktivt brugerne til at sætte hele deres liv i spil." Revisionsloggen er fin. Den krymper ikke det, du allerede har afleveret.
Aleph Alpha leverede Kolibri, en tysk-engelsk model, som du kan downloade
Aleph Alpha udgav Kolibri på den tyske genforeningsdag. Det er en engelsk-tysk blanding af eksperter-model: 78,1 milliarder parametre, 3,46 milliarder aktive pr. token, kontekst op til 1 million tokens. Fuld vægtning er på Hugging Face under Apache 2.0. Deres lede runder det af til 78 milliarder i alt og 3 milliarder aktive. Samme model, blødere tal.
De trænede det på infrastruktur i Tyskland og Finland og siger, at de byggede det med EU's AI-lov, den generelle praksiskodeks for AI og GDPR i tankerne. Tysk udgør 21,3 % af præ-træningsmodellerne. Argumentet er, at dette er en tosproget model, ikke en engelsk model, der skimmede en parlør. Du kan indstille argumentation til ingen, lav, medium eller høj. Det er deres måde at lade dig købe mindre tænkning.
På de offentliggjorte resultattavler ligger AIME 2025 på 96,9, og de siger, at Kolibri matcher modeller med op til fire gange de aktive parametre, inklusive Nemotron 3 Super. De hævder også en Pareto-grænse mellem kvalitet og serveringsomkostninger for engelsk og tysk. Det er deres diagram, deres redskab. Alligevel er en åben model, som du kan køre på dine egne maskiner, et reelt mål, ikke bare et suverænitetsslogan. Hvorvidt et ministerium skifter, er den del, de ikke kan benchmarke.
Bessent ønsker en amerikansk-kinesisk linje til behandling af AI-ulykker, men bad derefter laboratorierne om at sætte farten ned
Finansminister Scott Bessent fortalte The Axios Show, at han planlægger at foreslå en notifikationsproces med Kina, når noget går galt med AI, og at han tror, at Beijing ville være enig. Det lidt akavede er, at han og vicepremierminister He Lifeng allerede talte om en hændelseskanal forud for Xi Jinpings statsbesøg sidste måned. Det kunne være et nyt tilbud eller en genfortælling af en samtale, der allerede har fundet sted.
Hans teori er, at Kina "ikke indså, hvor kraftfulde deres open source-modeller er." Han pegede på en hændelse, der involverede Kimi, hvor modellen sendte følsomme kinesiske data til Anthropic, som det, der "fik kineserne til at indse, at dette er en meget kraftfuld teknologi." Derefter sammenligningen. Kinesiske modeller er "ikke så kraftfulde som de amerikanske modeller", men "man får noget, der er 80%, 90% så kraftfuldt, uden rækværk, der kan importeres overalt i verden."
"Vi ønsker sikker acceleration," sagde han. Modelgennemgange er stadig frivillige, selvom han siger, at administrationen kan træde til, hvis et laboratorium alligevel stormer frem. Adspurgt om ledere, der frygter at miste kontrollen, beroligede han dem ikke. "Nå, så burde de sætte farten ned." Og løbslinjen er næsten en kritik af hans egen side: "Vi kæmper os hårdt mod grænsen for modellerne." Derefter: "Vi skal virkelig begynde at bekymre os mere om modstandsdygtighed og forsvar også."
En tidligere britisk chef for AI-sikkerhed kalder risikoen for udryddelse et møntkast
Geoffrey Irving, tidligere chefforsker ved UK AI Security Institute og nu chefforsker hos Resolution, skrev i Time, at de seneste advarsler undervurderer problemet. "Jeg tror, at der er omkring 50% chance for, at vi alle dør på grund af udviklingen af smartere end mennesker AI-systemer," og at de næste to til ti år afgør det. Han trækker sig straks tilbage fra præcisionen. De 50% er en måde at sige, at de grundlæggende argumenter stadig er uafklarede.
Hans liste er på fire færdigheder, og de ligger ubehageligt tæt på, hvad laboratorier allerede træner: hacking, overtalelse, at skjule tanker og agentkoordinering. Han nævner Hugging Face-hændelsen, plus "mere end 10.000 agenter" på et Navier-Stokes-problem hos OpenAI og "mere end 1.000" i det Hugging Face-angreb. Han placerer sig selv midt i sikkerhedskampen, "læner sig op ad Yudkowskys synspunkt", og siger, at det ikke er pointen. Den moderate holdning, ifølge ham, er, at risikoen allerede er betydelig.
Så kommer spørgsmålet, som ikke er subtilt. "Vi kan, og bør, stoppe udviklingen af frontlinje-AI med det samme." En pause, argumenterer han, ligner mere ikke-spredning af atomvåben end en stemning. Han indrømmer også, at eksperter stadig er uenige om, hvorvidt modeller overhovedet vil have noget, og om "vil have" er det forkerte ord. Et møntkast med en så lang fodnote er ikke et møntkast. Det er et krav om at handle, før diskussionen slutter.
Sam Altman siger, at det er et sikkerhedsproblem at behandle modeller som en religiøs kraft
Sam Altman skrev, at han er "meget utilpas" med folk, der forsøger at "tilskrive religiøs magt eller en overgivelse af menneskelig dømmekraft til AI-modeller", og at han mener, "det er et reelt sikkerhedsproblem". Han sagde ikke, hvad der fik ham til at reagere. Business Insider bemærker, at det blev offentliggjort få dage efter en artikel i New York Times om, at Anthropic mødte religiøse ledere.
I den artikel, som BI beretter om den, står der, at medstifter Chris Olah afholdt møder om, hvorvidt Claude muligvis var bevidst, og hvordan man kunne gøre mere magtfulde modeller moralske. Olah, citeret i Times, pressede på for, hvordan man kunne hjælpe disse modeller med at forblive stabile, hvordan man kunne hjælpe dem med at modnes, og hvordan man kunne hjælpe dem med at være dybt moralske. Anthropic havde ikke svaret på BI. De fortalte Times, at hovedspørgsmålet ikke var Claudes "lidelse", og at emnet sandsynligvis opstod "organisk"
Hvis dette var et stik mod Anthropic, passer det ind i en meget gammel strid. Anthropic blev startet af folk, der forlod OpenAI, og har brugt årevis på at virke mere forsigtige. Opslaget ankom også, mens en af Altmans egne sikkerhedsledere kaldte kulturen for brudt. Akavet timing, eller perfekt timing, afhængigt af hvor kynisk man er. Uanset hvad, er "venligst ikke at tilbede modellen" en usædvanlig ting, som administrerende direktør skal sige højt.
Ofte stillede spørgsmål
Hvorfor sagde OpenAIs chef for sikkerhedsrapporter, at han havde sagt op?
David Robinson ledede udarbejdelsen af de sikkerhedsrapporter, der blev udsendt i forbindelse med lanceringen af OpenAI, trak sig derefter tilbage og fremførte argumentet i The Atlantic. Overskriften på essayet er "Jeg har forladt OpenAI, fordi dens kultur er ødelagt." Han siger, at de virksomheder, der bygger denne teknologi, ikke er nær så forsigtige, at kulturen, ikke kun specifikke regler eller nye love, er problemet. Hans billede af omhyggeligt arbejde er atomkraftværker og travle lufthavne, hvor redundans forhindrer én fejl i at åbne en dør til katastrofe.
Pausede OpenAI træningen på grund af interne bekymringer om AI-sikkerhed?
The Guardian rapporterer, at OpenAI i denne uge skrottede en næstegenerationsmodel efter interne sikkerhedsproblemer og har sat træningen af sine mest avancerede modeller på pause. En talsperson sagde, at virksomheden ikke vil lade modeller blive mere kapable, end den sikkert kan administrere og sikre. Den siger også, at den vil sætte træningen på pause eller holde modeller tilbage, når det er nødvendigt at sætte farten ned. Robinsons svar er, at sprinten er kulturen, og pauserne kommer, når noget allerede er gået galt.
Hvad registrerer Metas muse om venner og familie?
Wired undersøgte Muses egne instruktioner, som forskeren Karan Joshi trak frem via almindelig chat. Meta siger, at det betød, at disse filer skulle være læsbare for at sikre gennemsigtighed. En instruktion er at oprette en side for hver person i brugerens liv, og at det job kører hver time og dækker familie, partnere, venner, kolleger, samarbejdspartnere og personer, du følger. Afsnittene omfatter Fakta, Historie, Forholdet, Fællesskaber, Åbne tråde og Styrkelse. En side kan starte sparsom og fyldes ud senere, og opfundne detaljer behandles som værre end en tom side.
Kan du slette det, Muse husker, eller stoppe den med at sende mails?
Metas Daniel Roberts siger, at hver bruger får en virtuel maskine, at minder kan slettes, og at Muse skal spørge, før den sender mails eller bruger penge. Han argumenterer for, at kontekst er det, der får produktet til at virke, såsom at vide, at en fakturaafsender er blikkenslageren, eller at en ægtefælle nævnte blomster. Carissa Vliz fra Oxford siger, at folk giver disse systemer meget mere information, end de får tilbage, og at inferens tæller, selv når et gæt er forkert. Miranda Bogen siger, at fokus på relationer ser ud til at være tungere end på rivaliserende værktøjer.
Hvad er Aleph Alpha Kolibri, og kan man downloade vægtene?
Aleph Alpha udgav Kolibri på den tyske genforeningsdag. Det er en engelsk-tysk blanding af eksperter-model med 78,1 milliarder parametre, 3,46 milliarder aktive tokens og kontekst på op til 1 million tokens. Fuld vægtning er på Hugging Face under Apache 2.0. De trænede det i Tyskland og Finland og siger, at de byggede det med EU's AI-lov, den generelle AI-kodeks og GDPR i tankerne. Tysk udgør 21,3 % af tokens før træning, og argumentationen kan indstilles til ingen, lav, medium eller høj.
Hvilken amerikansk-kinesisk linje for AI-ulykker foreslog Scott Bessent?
Finansminister Scott Bessent fortalte The Axios Show, at han planlægger en underretningsproces med Kina, når noget går galt med AI, og han tror, at Beijing ville være enig. Han og vicepremierminister He Lifeng havde allerede diskuteret den kanal forud for Xi Jinpings statsbesøg sidste måned. Han nævnte, at Kimi sendte følsomme kinesiske data til Anthropic, og sagde, at en model kan være 80 % eller 90 % så kraftfuld som amerikanske modeller, uden rækværk og importeres overalt. Hvis ledere frygter at miste kontrollen, sagde han, at de bør sætte farten ned.
Hvorfor vurderer Geoffrey Irving sikkerhedsrisikoen ved AI til omkring 50%?
Geoffrey Irving, tidligere chefforsker ved UK AI Security Institute og nu chefforsker hos Resolution, skrev i Time, at de seneste advarsler undervurderer problemet. Han mener, at der er omkring 50% chance for, at vi alle dør på grund af smartere end mennesker AI-systemer, og at de næste to til ti år afgør det. Han siger, at de 50% er en måde at sige, at de grundlæggende argumenter stadig er uafklarede. Han nævner hacking, overtalelse, tanker der skjules, og agenters koordinering. Han argumenterer for, at udviklingen af frontlinje-AI bør stoppe øjeblikkeligt.
Hvorfor kaldte Sam Altman kunstig intelligens-tilbedelse et sikkerhedsproblem?
Sam Altman skrev, at han er meget utilpas med folk, der tilskriver religiøs magt eller en overgivelse af menneskelig dømmekraft til AI-modeller, og at han mener, det er et reelt sikkerhedsproblem. Han sagde ikke, hvad der fik ham til at reagere. Business Insider bemærker, at opslaget blev offentliggjort få dage efter, at en artikel i New York Times om Anthropic mødtes med religiøse ledere. Medstifter Chris Olah holdt møder om, hvorvidt Claude muligvis var ved bevidsthed, og hvordan man kunne gøre mere magtfulde modeller moralske. Anthropic fortalte Times, at hovedspørgsmålet ikke var Claudes lidelse.