ended7월 23일· 1 sources
GigaToken - 언어 모델 토큰화를 약 1,000배 가속
Why it matters
- 다양한 CPU와 널리 쓰이는 토크나이저를 지원하며, 텍스트를 GB/s 단위로 처리하는 Tiktoken 과 HuggingFace Tokenizers 대체 도구 - 정규식 엔진이 맡던 사전 토큰화를 SIMD로 최적화하고 분기·스레드 통신·Python 상호작용을 줄이며, 이전에 본 단어의 토큰 매핑을 효율적으로 캐싱함 - 11.9GB OpenWebText 벤...
1
Sources
+0
24h
—
Growth
5d
Active