AI-en din er ikke problemet

De siste ukene har det skjedd noe ganske spesielt i AI-verdenen. Noen av menneskene og selskapene som konkurrerer om å bygge verdens mest avanserte kunstige intelligens, har begynt å advare om hvor utviklingen kan være på vei. OpenAIs forskningssjef Jakub Pachocki skriver at muligheten for det som kalles rekursiv selvforbedring krever «ekstrem varsomhet». Anthropic har samtidig publisert en omfattende gjennomgang med den ganske oppsiktsvekkende tittelen When AI builds itself.

Når de som bygger teknologien selv begynner å snakke på denne måten, er det ikke så rart at resten av oss blir urolige. Men hva er det egentlig de er bekymret for?

Er det ChatGPT som skriver e-posten din? Claude som hjelper deg med kode? En AI-agent som analyserer tall eller gjør en oppgave på dine vegne? Nei. Det er ikke først og fremst det denne diskusjonen handler om.

Og forskjellen er viktig.

AI-en du bruker blir ikke til en ny AI

De fleste av oss møter AI gjennom en språkmodell eller en agent. Vi stiller spørsmål. Gir den dokumenter. Lar den analysere informasjon. Kanskje lærer vi den hvordan vi liker å jobbe og gir den tilgang til verktøy slik at den kan utføre stadig mer komplekse oppgaver. Det kan oppleves som om AI-en «lærer», men det betyr ikke at du er i ferd med å skape en ny og mer intelligent generasjon AI. Du kan gjøre en AI-assistent langt mer nyttig for deg. Du kan gi den mer kontekst, flere verktøy og større handlingsrom. Men det er noe helt annet enn at selve grunnmodellen autonomt utvikler en smartere etterfølger av seg selv. Det er først når vi kommer dit at vi nærmer oss diskusjonen som nå foregår i de fremste AI-laboratoriene.

Hva skjer når AI begynner å bygge AI?

Historisk har mennesker drevet utviklingen av kunstig intelligens. Mennesker har hatt ideene, skrevet koden, designet eksperimentene, evaluert resultatene og brukt det de har lært til å bygge neste generasjon modeller. Nå begynner dette bildet å endre seg. AI brukes allerede til å skrive kode, analysere resultater, kjøre tester og gjennomføre deler av forskningsarbeidet som brukes til å utvikle nye AI-systemer. Anthropic forteller for eksempel at Claude nå skriver en betydelig andel av koden deres, og at AI-systemer kan gjennomføre stadig mer omfattende oppgaver på egen hånd. OpenAI beskriver samtidig hvordan de arbeider mot automatiserte AI-forskere som, under menneskelig kontroll, kan bidra til utviklingen av neste generasjon AI. Det betyr fortsatt ikke at AI bygger seg selv.

Men nå kommer tankeeksperimentet som gjør denne utviklingen så interessant, og potensielt alvorlig.

Se for deg følgende: Mennesker bygger en AI og denne AI-en blir god nok til å hjelpe menneskene med å utvikle en bedre AI. Den nye og bedre AI-en blir enda bedre til å drive AI-forskning, og bidrar derfor til å utvikle en enda bedre etterfølger. Som igjen blir enda bedre til å utvikle den neste. Hvis menneskets rolle i denne løkken etter hvert blir liten nok, har vi fått det forskerne kaller rekursiv selvforbedring. Det er denne løkken deler av AI-miljøet nå forsøker å forstå før den eventuelt oppstår.

Hvorfor kan det bli farlig?

Det enkle svaret er ikke at AI plutselig «våkner», blir ond og bestemmer seg for å overta verden. Det er science fiction-versjonen, men den virkelige problemstillingen er mer interessant. Hvis AI blir svært god til AI-forskning, kan hastigheten på teknologiutviklingen øke dramatisk. Hver generasjon kan i prinsippet bidra til å utvikle den neste raskere.

Da oppstår et viktig spørsmål: Hva skjer dersom utviklingen går raskere enn vår evne til å forstå, teste og kontrollere systemene vi bygger? Det handler altså ikke nødvendigvis om onde intensjoner. Det handler om kapasitet, hastighet, kontroll og om menneskene fortsatt er i stand til å forstå og styre prosessen. Og det er en vesentlig forskjell.

Men vi er ikke der

Dette er kanskje den viktigste delen av diskusjonen. Full autonom rekursiv selvforbedring skjer ikke i dag. OpenAI sier det eksplisitt. Anthropic sier det samme, og understreker også at utviklingen ikke er uunngåelig. Mennesker setter fortsatt mål, bygger systemene og spiller en avgjørende rolle i forsknings- og utviklingsprosessen. Men grensen flytter seg.

Anthropic opplyser at mer enn 80 prosent av koden som ble lagt inn i selskapets kodebase i mai 2026 var skrevet av Claude. De understreker selv at kodelinjer er et dårlig mål på reell produktivitetsgevinst, men utviklingen illustrerer hvor raskt AI har blitt en del av arbeidet med å bygge AI. OpenAI skriver på sin side at AI-agenter nå kan utføre enkelte forskningsoppgaver som ville tatt dyktige forskere flere dager. Det er heller ikke rekursiv selvforbedring. Men det viser hvorfor spørsmålet ikke lenger bare tilhører science fiction.

Derfor er det verdt å lytte

Det interessante nå er at diskusjonen ikke bare kommer fra kritikere på utsiden. OpenAI ber om obligatoriske, kapabilitetsbaserte sikkerhetskrav og felles standarder for blant annet når utviklingen bør bremses eller stoppes. Anthropic etterlyser bredere involvering fra myndigheter, forskere, sivilsamfunn og andre AI-selskaper i spørsmålene rundt rekursiv selvforbedring. Hvordan en slik regulering bør se ut, er en langt større diskusjon.

Teknologien utvikler seg ekstremt raskt. Kunnskapen er konsentrert hos relativt få miljøer. Og vi skal regulere noe vi ennå ikke vet sikkert hvordan vil utvikle seg. Jeg skal ikke late som om jeg har svaret på det, men når flere av selskapene som står lengst fremme i utviklingen selv mener at vi bør diskutere sikkerhetsmekanismer før teknologien eventuelt når dette punktet, synes jeg det er verdt å lytte.

AI er ikke én ting

Det er kanskje dette jeg først og fremst ønsker at flere skal sitte igjen med. Når du neste gang leser en overskrift om at AI kan bli farlig, spør: Hvilken AI snakker vi egentlig om? For det er forskjell på ChatGPT som hjelper deg med en e-post, en AI-agent som gjennomfører en analyse, et avansert system som arbeider selvstendig i timer eller dager, og et hypotetisk fremtidig system som kan drive utviklingen av sin egen etterfølger.

Alle reiser viktige spørsmål om sikkerhet, men det er ikke de samme spørsmålene. Så nei, diskusjonen om rekursiv selvforbedring betyr ikke at AI-assistenten du bruker på jobb plutselig er i ferd med å ta over verden. Men det som skjer helt i fronten av AI-utviklingen er verdt å forstå. For dersom vi en dag kommer til et punkt hvor AI ikke bare hjelper oss med å løse problemer, men i stadig større grad hjelper oss med å bygge intelligensen som skal løse de neste problemene, har vi krysset en viktig grense.

Og da kan det være greit at vi begynner å stille de vanskelige spørsmålene før vi krysser den.