구글 딥마인드는 인간 연구자의 감독 아래 AI 에이전트를 활용해 1024비트 RSA 암호를 분석했고, 두 가지 성과를 얻었다고 6일(현지시간) X에서 밝혔다. 하나는 특정 디지털 서명 방식의 패딩에서 발견한 약점이고, 다른 하나는 여러 RSA 키를 함께 인수분해할 때 추가 계산 비용을 줄이는 알고리즘이다. 연구 대상은 현재 권장되지 않는 구형 방식이다.
첫 번째 성과는 디지털 서명에 덧붙여 위조를 어렵게 하는 정보인 ‘패딩’에 관한 것이다. 연구진은 특정 RSA 서명 방식에서 공격자가 서명 블록의 절반 이상을 통제할 수 있다면, 패딩이 추가 보호를 제공하지 못한다는 점을 확인했다. 다만 이는 해당 조건에서의 취약점이다. 구글이 공개한 설명은 모든 RSA 서명 방식이나 모든 서명에 같은 문제가 있다는 뜻은 아니다.
기존 계산을 더 빠르게, 새 방법도 탐색
두 AI 에이전트는 암호 분석 계산을 설계하고 실행했으며, 오류 수정에도 참여했다. 대규모 병렬 연산을 이용해 기존 연구에서 약 5개월 걸렸던 계산을 약 4일 만에 재현했고, 필요한 CPU 계산량도 약 3.5분의 1로 줄였다고 구글은 밝혔다. 이 부분은 새로운 공격 알고리즘을 만든 것이 아니라, 기존 기법의 구현과 실행을 개선한 결과다.
연구진은 공격자가 통제할 수 있는 데이터가 32바이트 해시값으로 제한된 경우도 살폈다. 이 조건에서 기존 최선의 방법보다 이론적으로 약 1600배 효율적인 알고리즘을 찾았다고 밝혔다. 이 수치는 연구진의 이론적 비교다. 실제 공격에서 같은 속도 향상이 확인됐다는 의미는 아니다.
30배 절감은 대규모 사전 계산 뒤의 결과
두 번째 알고리즘은 여러 RSA 키를 한꺼번에 인수분해하는 데 쓰인다. RSA는 큰 소수 두 개를 곱하기는 쉽지만, 결과만 보고 원래 소수를 찾기는 어렵다는 점을 이용한다. 구글 연구진은 여러 키를 분석할 때 사전 계산 결과를 재사용하는 방법을 제안했다. 이론 분석상 대규모 사전 계산을 마치면, 추가 1024비트 키 하나를 인수분해하는 비용이 기존 일괄 처리 기법보다 약 30배 낮아질 수 있다. 따라서 30배 절감은 사전 계산 없이 곧바로 각 키를 분석할 때의 수치가 아니다.
현대 RSA에 대한 공격은 아니다
구글은 이번 결과가 2048비트 이상 RSA를 쓰는 현대 암호 체계의 안전성에는 영향을 주지 않는다고 설명했다. 연구는 구형 1024비트 RSA에 한정된다. AI 에이전트가 기존 계산을 빠르게 재현하고 새로운 수학적 방법을 찾는 데 연구자를 도울 수 있다는 점은 보여줬지만, 이 결과만으로 최신 암호를 깨는 능력이 입증된 것은 아니다.
왜 중요한가
1024비트 RSA를 아직 쓰는 기관이라면 키와 서명 방식을 점검할 이유가 생겼다. 확인된 약점은 특정 서명 방식과 공격자가 서명 블록의 절반 이상을 통제하는 조건에 관한 것이다. 구글은 2048비트 이상 RSA에는 영향이 없다고 밝혔지만, 이 연구가 실제 공격에 쓰일 가능성이나 해당 조건을 충족하는 시스템의 범위는 공개된 내용만으로 알 수 없다.
