ended7월 6일· 1 sources
메모리 아끼면서 Cross Entropy Loss 계산하기
Why it matters
메모리 아끼면서 Cross Entropy Loss 계산하기 (trillion-labs.github.io)긴 context, 큰 vocab의 LLM 학습에서 LM head + cross entropy가 왜 가장 큰 메모리 소비처 중 하나가 되는지 짚어본 글. 128K context에서는 logits 텐서 하나가 40GB에 육박해서, 모델 weight보다도 커...
1
Sources
+0
24h
—
Growth
77d
Active