KT는 자사 AI 모델 라우팅 기술인 '오토모델라우터'가 미국 라이스대 연구진이 개발한 거대언어모델(LLM) 라우터 전문 벤치마크 플랫폼 '라우터 아레나'에서 종합 2위를 기록했다고 27일 밝혔다. 이번 평가는 약 8400개의 질의를 바탕으로 응답 정확도, 비용 효율성, 입력 변화에 대한 견고성 등을 종합적으로 분석했다. KT의 기술은 정확도와 비용을 함께 평가하는 'Acc-코스트 아레나' 부문에서 2위에 올랐다. AI 모델 라우팅은 이용자의 요청 유형과 난이도, 지식 분야 등을 분석해 가장 적합한 AI 모델을 자동으로 선택하는 기술이다. KT는 이 기술을 통해 기업 고객이 목표 품질을 유지하면서도 비용 효율적으로 AI 운영 환경을 구성할 수 있도록 지원할 방침이다. 해당 기술은 KT가 추진 중인 '토큰 팩토리' 사업에도 적용된다. 토큰 팩토리는 다양한 AI 모델과 토큰 이용 환경을 통합 운영하는 서비스로, 오토모델라우터는 이용자 요청에 맞는 모델을 자동 선택해 서비스 품질과 비용을 최적화하는 역할을 수행한다. 김준석 KT 에이전틱 AI 랩장은 상황에 맞는 최적의 모델을 지능적으로 활용하는 AI 오케스트레이션 역량이 중요하다고 강조하며, 향후 기술 고도화를 통해 기업의 AI 도입과 전환을 지원하겠다고 밝혔다.