몸집은 줄이고 한국어 실력은 높였다, 카카오 카나나의 '경량화' 기술

카카오의 인공지능(AI)인 '카나나(Kanana)'의 소규모언어모델(SLM)에는 성능과 효율성을 동시에 잡은 기술이 적용된다. 파라미터(매개변수) 30억개(3B) 규모의 모델에서 출발해 2B, 1.3B, 0.9B 순으로 몸집을 줄여나가는 '단계적 가지치기(Pruning)', 한국어 특화 토크나이저(Tokenizer), 메모리 점유 문제를 해결하는 ‘슬라이딩...