ended8월 12일· 1 sources
압축은 예측이다
Why it matters
- 우리가 데이터를 작게 압축할 수 있는 이유는 다음에 무엇이 나올지 어느 정도 예상할 수 있기 때문임. 반복되거나 자주 등장하는 패턴일수록 적은 정보만 저장해도 됨 - 예를 들어 영어에서 Q 다음에는 거의 항상U 가 오므로,U 를 매번 길게 기록할 필요가 없음. 문맥을 잘 알수록 다음 문자를 더 잘 예측하고 더 많이 압축할 수 있음 - LLM도 똑같이 앞...
1
Sources
+0
24h
—
Growth
40d
Active