AI 시험지는 함정이 9할이다 - LLM 테스트 케이스 설계법

주문 메시지를 읽는 LLM 파이프라인을 검증하려고 테스트 29개를 만들었는데, 그 중 정상 케이스는 4개뿐입니다. 나머지는 전부 함정입니다. - 제일 많은 그룹은 "주문이 아닌 것" 6개. 상품명과 숫자가 다 있는 단순 문의를 주문으로 잡으면 안 시킨 물건이 출고됩니다 - 문제만 어렵게 내지 않고 대조할 상품 데이터에도 함정을 심었습니다. 폭만 다른 투명테...