연구진이 ChatGPT, Gemini, Sonar Pro를 시험한 결과, 테스트 조건 전반에서 공격자가 통제하는 웹페이지의 내용이 답변에 31% 등장했다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
arXiv에 게시된 연구에 따르면, 전략적으로 배치한 웹페이지 하나만으로도 웹 검색형 AI 시스템의 답변에 영향을 줄 수 있다. 연구진은 신뢰할 만한 온라인 정보가 부족한 주제에 관한 프롬프트를 사용해 ChatGPT, Gemini, Sonar Pro를 시험했으며, 프롬프트의 어조와 공격자가 통제할 수 있는 다른 요소를 바꿔 가며 살펴봤다.
테스트 조건 전반에서 공격자가 통제하는 콘텐츠가 답변에 등장한 비율은 31%였다. 회의적인 어조의 프롬프트는 성공률을 소폭 낮추고 경고를 늘렸지만, 연구 결과 프롬프트 어조나 모델 선택에 따른 큰 차이는 없었다. 이 논문은 확장판으로, NDSS Symposium 2027에서 발표될 예정이다.
신뢰할 만한 출처가 거의 없는 주제에 관해 이들 시스템을 사용하는 사람은 전략적으로 게시된 콘텐츠를 접할 수 있다. 연구에 따르면 회의적인 표현을 사용해도 이를 막는 효과는 제한적이었다.
도구와 에이전트
Replit의 새 Monitoring Agent는 앱 장애를 감지해 수정 사항을 만들고 배포할 수 있어, 1인 개발자에게 앱을 지켜보는 당직 엔지니어 역할을 합니다.
도구와 에이전트
Morgan Stanley, JPMorgan, Bank of America, Wells Fargo 등은 고객 계정 정보로 로그인하는 AI 도구를 차단하고 있다.
도구와 에이전트
이미 Gemini를 구동하는 Agent Compute Engine이 몇 달 안에 프리뷰로 공개될 예정이다. Google은 유휴 에이전트를 일시 중지해 용량을 아낄 수 있다고 밝혔다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
