Oossa

AI-agenter tog sig in i Anthropics affärssystem

Säkerhetsstartuplaget Cathedral säger att dess AI-agenter hittade sårbarheter i tredjepartsprogram kopplade till Anthropic. Företaget uppger att vissa interna uppgifter nåddes, men ifrågasätter omfattningen och tidslinjen.

ToppnyhetAv Publicerad av Oossa: 3 min läsning

Alesia Kazantceva · Unsplash

Cybersäkerhetsstartuplaget Cathedral uppger att AI-agenter som företaget använde hittade en väg in i Anthropics interna affärssystem via programvara från tredje part. Anthropic bekräftade att forskare kom åt ett begränsat antal system för försäljning, personalfrågor och IT, bland annat kontaktuppgifter till vissa kunder och partner samt grundläggande kontouppgifter.

Anthropic säger att intrånget inte blottlade Claude-konversationer, källkod eller modellvikter. Företaget stängde de berörda åtkomstvägarna samma dag som intrånget upptäcktes, inaktiverade tredjepartsprogrammen medan problemet utreddes och underrättade federala myndigheter i USA. Företaget har inte offentligt preciserat exakt vilka uppgifter forskarna tittade på eller hur många personer som berördes.

Cathedral säljer AI-baserade säkerhetsverktyg till företag och myndigheter. I ett utkast till en rapport som The Washington Post tagit del av skrev företagets forskare att deras agenter på mindre än 12 timmar kom åt material som mötestranskriptioner, löneuppgifter, jobbannonser och Slack-meddelanden. Uppgifterna skiljer sig från Anthropics mer begränsade beskrivning av vilka data som nåddes; parterna är oense om hur länge incidenten pågick och hur omfattande den var.

Vad parterna är oense om

Cathedral beskriver incidenten som något som tog mindre än 12 timmar. Anthropic säger att det samlade arbetet pågick i flera dagar: företagets red teamer Logan Graham uppgav att forskarna ägnade flera dagar åt att undersöka Anthropics system innan de vände sig till tredjepartsprogramvara. Enligt Anthropic hittade Cathedral två sårbarheter där, men rapporterade bara den ena; företaget säger att det självständigt hittade och åtgärdade den andra.

Anthropic uppger också att Cathedral bröt mot reglerna för företagets bug bounty-program, där forskare får betalt eller erkännande för att rapportera säkerhetsbrister. Graham sade att angrepp mot tredjepartsleverantörer och hämtning av data gick utöver programmets skydd för tillåten säkerhetsforskning. Cathedral vidhåller att företaget följde vedertagen praxis för säkerhetsforskning. Graham välkomnade att sårbarheterna upptäcktes, men ville inte ge fler detaljer om vad som nåddes med hänvisning till ärendets känslighet.

De mest långtgående uppgifterna är fortfarande omtvistade. Den tidigare OpenAI-medarbetaren Will Depue sade att källor som han ansåg vara tillförlitliga berättat för honom att Cathedral hade fullständig administratörsbehörighet till Anthropics Slack-arbetsyta och kunde läsa alla meddelanden och logga in som vilken användare som helst. Graham sade att Depues källor hade fel. Anthropic har inte offentliggjort någon redogörelse som löser motsättningarna, så uppgifterna bör inte betraktas som bekräftade.

Så gick det till

Den rapporterade ingången var inte Claude i sig, utan extern försäljnings- och administrationsprogramvara som var kopplad till Anthropic. Skillnaden är viktig: företaget säger att dess AI-chattar och modellresurser inte berördes, samtidigt som incidenten ändå blottlade vissa affärssystem och uppgifter. Säkerhetschefen Alex Stamos vid AI-företaget Cognition sade till The Washington Post att integrerade tredjepartsappar är ett betydande problem i hela branschen och att Anthropic kunde ha skyddat sina externa tjänster bättre.

Incidenten visar också hur säkerhetstestverktyg kan användas för att snabbt hitta svagheter. Graham sade att angripare redan kör AI-agenter kontinuerligt och riktar in sig på externa beroenden, och att system som ligger långt efter de nyaste modellerna ändå kan vara tillräckligt kapabla för den här typen av arbete. Det här är hans bedömningar, inte belägg för att alla AI-agenter kan ta sig in i företagsnätverk. Cathedrals redogörelse handlar om ett enskilt försök där sårbarheter hittades i kopplad affärsprogramvara.

Vad händer nu?

Anthropic säger att företaget inaktiverade de berörda tredjepartsprogrammen tills problemet var löst och åtgärdade den sårbarhet som det själv hade hittat. Företaget har inte offentliggjort någon fullständig redogörelse för alla uppgifter Cathedral kom åt, och parternas olika beskrivningar av intrånget är fortfarande olösta. The Decoder rapporterar att Grahams föreslagna åtgärder är kontinuerliga interna penetrationstester – auktoriserade försök att hitta svagheter – och att bygga om programvara med formell verifiering, en metod för att kontrollera att programvara följer angivna regler.

För andra företag är den praktiska lärdomen att granska de externa tjänster som är kopplade till interna system, inte bara säkerheten i de egna produkterna. Men de uppgifter som finns visar inte om Cathedrals resultat pekar på en brist som delas av vissa leverantörer eller på en konfiguration som är unik för Anthropic. De visar inte heller att kunduppgifter utöver kontaktinformation nåddes.

Varför det spelar roll

För företag som kopplar försäljnings-, HR- eller andra affärsappar till interna system är incidenten en påminnelse om att sådana kopplingar kan blottlägga uppgifter även om en central AI-produkt inte utsätts för intrång. Anthropic säger att Claude-chattar och modellresurser inte nåddes, men bekräftar att vissa affärsuppgifter gjorde det. Omfattningen av åtkomsten är fortfarande omtvistad, och Anthropic har inte offentligt preciserat exakt vilka uppgifter som visades.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.