promptfoo — LLM 앱의 보안을 테스트하는 1.1만 스타 레드팀 도구

promptfoo는 GitHub 11,552 스타를 기록한 TypeScript 기반 오픈소스 레드팀 도구로, 프롬프트 인젝션·탈옥·민감 정보 유출 등 LLM 특유의 보안 위협을 자동으로 테스트한다. YAML 선언적 설정으로 여러 모델(OpenAI, Anthropic 등)에 동일 테스트를 병렬 실행하고, 공격용 LLM이 대상 시스템을 자동 공격하는 레드팀 기능이 핵심 차별점이다. 규칙·LLM·코드 기반의 다양한 assertion으로 pass/fail을 판정하며, 웹 대시보드에서 결과를 시각적으로 비교할 수 있다.