Cohere는 Microsoft Azure에서 NVIDIA H100 GPU를 사용하는 관리형 AI 서비스 Model Vault의 기밀 컴퓨팅 공개 베타를 발표했습니다. 이 시스템은 데이터가 처리되는 동안 데이터를 보호하도록 설계됐으며, 고객은 민감한 요청을 보내기 전에 원격 증명을 통해 환경의 하드웨어, 펌웨어, 소프트웨어가 승인된 정책에 부합하는지 확인할 수 있습니다. Cohere는 해당 환경으로 전송되는 요청이 종단 간 암호화되며, 고객은 기존 Cohere API를 계속 이용할 수 있다고 밝혔습니다. 다만 이러한 보호 기능이 애플리케이션 보안, 규정 준수, 계약상 통제 또는 데이터 상주 요건을 대체하지는 않는다고 덧붙였습니다.
왜 중요한가
민감한 기록이나 소스 코드를 다루는 법률·금융·엔지니어링 팀은 데이터를 보내기 전에 처리 환경을 확인할 수 있습니다. 다만 다른 보안 및 규정 준수 요건까지 해결되는 것은 아닙니다.
