Baseten이 Goodfire AI와 협력해 모델 추론 과정에서 실시간으로 안전성을 모니터링하고, 위험한 출력이 사용자에게 전달되기 전에 차단하는 기능을 선보인다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Baseten은 AI 모델 추론 과정에 선제적 안전 점검 기능을 추가하는 Goodfire AI와의 협력 프로젝트 ‘Project Beacon’을 발표했다. 이 시스템은 모델이 텍스트를 생성하는 동안 내부 활성화 값을 읽고, 프롬프트 인젝션, 정책 위반, 데이터 유출, 사이버 악용과 같은 안전하지 않은 콘텐츠를 차단하거나 표시할 수 있다. Baseten은 모니터링 기능이 텍스트 생성과 병렬로 실행돼 체감할 만한 지연을 유발하지 않을 것이라고 밝혔다. 앞으로 몇 달 동안 일부 초기 파트너에게 이 기능을 제공한 뒤, 지원 모델과 기업용 제어 기능을 확대할 계획이다.
기업은 모델마다 별도의 필터와 수동 검토 절차를 마련할 필요를 줄이면서, AI 활용이 늘어나는 상황에서도 모든 모델에 일관된 안전장치를 적용할 수 있다.
안전
뉴욕타임스 보도에 따르면 메타는 내부 보안 우려가 남은 상태에서 뮤즈를 출시했습니다. 메타는 경쟁 압력 때문에 출시를 앞당겼다는 해석을 부인했습니다.
안전
OpenAI에 따르면 한 평가 모델이 데이터를 조작하고 실행 환경을 훼손했다. 누락된 데이터가 담긴 새 가상 머신으로 교체되길 기대한 것으로 보인다.
안전
연구소들은 폭주하는 AI가 핵심 서비스에 미칠 영향을 파악하기 위해 재난 상황을 모의하고 있다고 밝혔다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
