연구진은 매개변수 효율적 미세 조정에 노름 기반 단계를 추가해, 여러 추론 벤치마크에서 전체 미세 조정과의 성능 격차를 좁혔다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
논문 「NormTune」은 매개변수 효율적 미세 조정(PEFT)에 간단한 기능을 덧붙이는 방법을 제안한다. 각 층의 가중치가 얼마나 변하는지 살펴보고, 변화가 너무 적은 층의 비중을 높이는 방식이다. NormTune을 LoRA, Bone, MoRA 같은 기존 PEFT 방식에 적용하자 AIME, MATH 등 까다로운 추론 테스트에서 평균 정확도가 최대 24% 향상됐다. 더 큰 랭크(256)를 사용하면 NormTune을 적용한 방식은 전체 미세 조정과 비슷한 성능을 냈고, 때로는 몇 퍼센트 앞섰다.
GPU 시간과 메모리를 훨씬 적게 쓰면서도 추론 작업에서 전체 모델 미세 조정에 가까운 정확도를 얻을 수 있어 연구자와 개발자에게 유용하다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
모델
새로운 Forest Typology 2020 지도는 10미터 단위로 전 세계 토지를 자연림, 조림지, 농업용 산림 등으로 분류하고, 2017~2025년 연도별 변화를 보여준다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
