ended7월 16일· 1 sources
느린 LLM 호출 중 DB connection을 잡지 않는 이유
Why it matters
느린 LLM 호출 중 DB connection을 잡지 않는 이유 AI 기능의 latency는 모델 응답 시간으로만 끝나지 않습니다. 요청이 LLM이나 embedding API를 기다리는 동안 데이터베이스 session까지 긴 범위로 유지하면, 느린 외부 호출이 DB connection pool의 압력으로 전파될 수 있습니다. 이 글은 AI memory OS...
1
Sources
+0
24h
—
Growth
67d
Active