AI Sweden har inlett ett forskningssamarbete med Genomics England. Det svenskutvecklade verktyget LeakPro ska testas på verkliga AI-modeller tränade på genomdata. Målet är att undersöka om verktyget kan hjälpa till att hitta integritetsrisker innan modeller delas.
Genomics England, som ägs av Storbritanniens hälso- och socialdepartement, ger godkända forskare säker tillgång till avidentifierade genom- och hälsodata. De arbetar i en skyddad forskningsmiljö. Förslag på data som ska tas ut granskas innan de lämnar miljön.
Vad ska LeakPro göra?
LeakPro ska testas som stöd i Genomics Englands granskningsprocess, som kallas Airlock. Verktyget försöker uppskatta om en AI-modell kan avslöja information om personer vars data användes vid träningen. Det gör så kallade integritetsattacker – simulerade försök att få modellen att läcka information.
Projektet utvecklar ett ramverk med öppen källkod som även ska bedöma vilken skada en eventuell läcka kan orsaka. Det kan användas på AI-modeller, även sådana som tränats med federerad inlärning, samt på syntetiska data. LeakPro är ett forskningsprojekt som AI Sweden driver tillsammans med aktörer från privat och offentlig sektor. Vinnova medfinansierar projektet inom programmet Avancerad digitalisering.
Resultatet återstår
Genomics England ska utvärdera om LeakPro passar in i organisationens befintliga granskningsrutiner och vilka riskmått som är användbara. AI Sweden får samtidigt pröva verktyget på modeller baserade på genomdata i en miljö där sådan testning annars är svår att genomföra.
Samarbetet är alltså ett test, inte ett besked om att LeakPro redan kan garantera att modeller är säkra att dela. AI Sweden lyfter också möjligheten att dra lärdomar om säker forskningsinfrastruktur för svensk hälso- och sjukvård.
Varför det spelar roll
För svenska regioner och andra som hanterar känsliga hälsodata kan testet ge ett exempel på hur integritetsrisker kan vägas in innan AI-modeller delas. Än så länge finns inga redovisade testresultat, så det är oklart hur väl LeakPro fungerar i Genomics Englands granskningsprocess.
