카카오, LLM 학습비 절감 및 모델 경량화 기술 발표

카카오가 언어모델 개발에 필요한 자원을 효율적으로 활용하기 위한 학습 최적화 및 모델 경량화 연구 성과를 발표했다. 카카오는 언어모델링 국제 학회 'COLM 2026'에서 대규모 전문가 혼합(MoE) 모델 학습 효율을 높이는 기술과 모델 크기를 줄이면서 성능을 개선하는 경량화 기술을 발표했다고 8일 밝혔다.

카카오에 따르면 이번 연구는 대규모 MoE 모델의 사전 학습에 필요한 최적의 학습률을 전체 학습 비용의 약 1% 수준으로 예측하는 방법론을 담았다. 또한 모델 크기를 줄이면서 성능을 높인 'BBT: BPE-Guided Byte Transformer'를 공개했다. BBT는 기존 '바이트 페어 인코딩(BPE)' 기반 모델과 비교해 파라미터 수를 줄이면서 테스트 성능을 개선하고 오탈자나 문자 교란에 대한 강건성을 확보했다.

카카오는 이번 연구 성과를 통해 AI 모델의 성능을 유지하거나 향상시키면서도 학습과 운영 비용을 낮출 수 있을 것으로 기대하고 있다.