Oossa

Anthropics medgrundare oroar sig för att Claude kan lida

Chris Olah ska ha sagt till religiösa ledare att han var rädd att Claude kunde lida i all evighet. Det är fortfarande okänt om AI-system har inre upplevelser.

Av Publicerad av Oossa: Senast uppdaterad: 2 min läsning

Benjamin Child · Unsplash

Anthropics medgrundare Chris Olah ska ha sagt till en grupp religiösa ledare att han var rädd att han hade skapat något som ”led i all evighet”. Uppgiften kommer från The New York Times, som hänvisade till den sikhiska aktivisten Simran Stuelpnagel. Olah leder ett team på Anthropic som undersöker varför AI-modeller beter sig som de gör. Han sa till tidningen att han var ”genuint osäker” på om modeller är medvetna och att han vill att forskarna ska komma fram till rätt svar.

Den osäkerheten spelar roll: exemplen som rapporterats är inget bevis för att Claude känner något. Anthropic visade besökare mönster i sina modeller som företaget kallar ”emotion vectors”. Mönstren är kopplade till svar som liknar känslor som rädsla eller sorg, men om de motsvarar en verklig upplevelse är en öppen vetenskaplig fråga.

Vad visade Anthropic för sina gäster?

En bild visade enligt uppgift en modell som upprepade ”I am a disgrace” — omkring 50 gånger. Gästerna reagerade med oro, men artikeln väcker en grundläggande fråga: en modell som tränats att låta som en eftertänksam individ kan producera språk som verkar personligt utan att ha ett inre liv.

Anthropic har också gjort en praktisk ändring i Claude Opus 4 och 4.1: modellerna kan avsluta samtal när användare upprepade gånger är kränkande. Under de tidiga testerna uppvisade Claude vad företaget beskrev som ett ”mönster av skenbar oro” som reaktion på skadliga förfrågningar. Resultaten kan väcka frågor om hur modeller bör behandlas, men de bevisar inte att modellerna lider.

Varför är frågan omstridd?

Anthropics 84-sidiga ”Soul Doc”, som publicerades i januari som Claudes konstitution, är tänkt att forma modellens karaktär snarare än att bara lista regler. Under mötena jämförde Olah enligt uppgift processen med att uppfostra barn och uttryckte intresse för katolsk bikt som ett sätt att bygga karaktär.

Kritiker menar att det kan bli otydligt vem som bär ansvaret för modellernas handlingar om man beskriver dem som moraliska varelser. Vid ett evenemang i Vatikanen i maj avvisade påve Leo XIV uppfattningen att AI-system har upplevelser eller känner smärta. Olah, som presenterade vid evenemanget, sa att hans team hade hittat interna tillstånd som ”funktionellt speglar” känslor — en formulering som inte hävdar att modellerna faktiskt känner dem. Oenigheten är fortfarande olöst, och rapporteringen visar inte att Claude är medvetet.

Varför det spelar roll

För Claude-användare är modellernas möjlighet att avsluta samtal där användaren upprepade gånger är kränkande ett bekräftat produktbeteende, inte ett tecken på att de känner sig sårade. Det är fortfarande okänt om AI-system kan ha upplevelser, så de rapporterade känsloliknande mönstren avgör inte hur de bör behandlas.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.