Apple Neural Engine 역공학 하기: LLM의 병목은 연산보다 데이터 이동

<ul> <li>신경망 전용 칩인 <strong>Apple Neural Engine(ANE)이 LLM 실행에서 GPU보다 불리해지는 이유</strong>를 내부 구조와 메모리 전송 실험으로 살펴봄</li> <li>M1 ANE의 연산기는 트랜스포머에 필요한 계산도 수행할 수 있지만, 주변 구조는 <strong>같은 가중치를 반복 사용하는 이미지 처리용 신경망...