AI한테 시험을 냈는데 출제자가 5번 틀렸다 - LLM 파이프라인 검증기

카톡 주문 메시지를 상품 코드로 바꿔주는 LLM 파이프라인을 만들기 전에, 테스트 29개(정답지·채점기 포함)부터 만들었습니다. 결과는 두 모델 모두 치명 오류 0건 통과. 그런데 그 과정에서 제가 쓴 정답지가 3번, 채점기가 2번 틀렸습니다. 헷갈리게 심어둔 함정에 출제자인 제가 빠졌고, 모델이 "확인 필요"라고 되물은 게 정답이었습니다. - 애매한 문제...