카카오, 대규모 AI 모델 학습 최적화 방법, 모델 경량화 연구 기법 발표
바이트 기반 ‘BBT’ 구조 통해 40.4%까지 크기 절감, 테스트 성능 최대 6.6% 개선… AI 모델 개발 효율 향상 기대 카카오(대표이사 정신아)는 언어모델링 국제 학회 ‘COLM 2026(Conference on Language Modeling)'에서 대규모 전문가 혼합(Mixture-of-Experts, MoE) 모델의 학습 효율을 높이는 기술과 모델 크기를 줄이면서도 성능을 개선하는 경량화 기술을 발표했다고 8일 밝혔다.