AI 에이전트는 못 만들어서 실패하지 않는다

회사가 AI 에이전트에 기대하는 평균 ROI는 171%다. 그런데 실제로 EBIT에 영향이 있었다고 답한 조직은 39%뿐이다. 대부분은 여기서 같은 결론을 내린다. 모델이 아직 부족해서.

그런데 12개월 뒤 실패한 배포를 뜯어보면, 모델 품질 문제는 한 건도 나오지 않는다.

ROI가 마이너스로 끝난 에이전트 배포들의 원인을 뜯어본 여러 분석은 한 방향을 가리킨다. 성공 기준이 처음부터 불명확했거나, 도구와 데이터 접근이 부족했거나, 평가 범위가 시간이 지나며 어긋난(eval drift) 경우다. 모델이 멍청해서 실패한 사례는 목록에 없었다. 파일럿의 88%가 프로덕션에 도달하지 못하는데(IDC), 그 88%는 GPT가 부족해서 죽은 게 아니다.

사실 이건 내가 이어온 이야기의 세 번째 장이다. 전에는 에이전트가 틀리는 이유를 입력에서 찾았다. 스펙이 모호하면 모델은 그럴듯하게 채워 넣고, 결과만 틀린 것처럼 보인다. 그다음엔 에이전트가 지저분해지는 이유를 조직에서 찾았다. 프로세스 부채가 코드로 드러난 것뿐이라고. 입력을 말했고 조직을 말했으니, 이번엔 출력이다. 우리는 에이전트가 낸 결과를 대체 어떻게 재고 있는가.

성적표 없이 시험을 본 셈이다

이게 무슨 상황인지 비유하자면 이렇다. 성적표를 만들지 않고 시험을 계속 보는 것과 같다. 문제를 푸는 능력(모델)은 매년 좋아지는데, 정작 "몇 점인지 재는 자(eval)"를 아무도 만들지 않았다. 성공이 뭔지 정의하지 않았으니, 잘하고 있는지 측정할 수 없고, 측정을 못 하니 누구도 책임지지 않는다.

그래서 실패의 진짜 순서는 이렇다.

• 1층 — 성공 기준 부재: "이 에이전트가 성공했다"의 정의가 없다.
• 2층 — 측정 불가: 정의가 없으니 평가 지표를 짤 수 없다. 리더보드 점수는 있어도 우리 업무에서의 점수는 없다.
• 3층 — 소유권 소멸: 측정이 안 되니 성과 귀속이 안 되고, 아무도 이 에이전트의 주인이 아니게 된다.

모델은 이 세 층 어디에도 등장하지 않는다.

다시 생각해보면

우리는 "AI를 도입했다"는 말을 배포(deployment)와 같은 뜻으로 쓴다. 그런데 평가 체계 없이 에이전트를 붙인 조직은, AI를 도입한 게 아니라 측정 불가능한 리스크를 도입한 것이다. 잘 굴러가는지, 언제부터 망가졌는지, 애초에 뭘 잘해야 하는지를 모르는 채로.

그래서 2026년의 진짜 병목은 모델이 아니라 평가다. 개발자의 84%가 AI 도구를 쓰거나 쓸 계획이지만 출력의 정확성을 신뢰하는 사람은 29%로, 2024년의 40%보다 오히려 떨어졌다. 능력은 올라갔는데 신뢰는 내려갔다. 그 사이를 메우는 건 더 큰 모델이 아니라, 우리 조직의 맥락에서 "잘한다"를 정의하고 재는 평가 체계다.

세 가지만 남긴다

첫째, 에이전트는 못 만들어서 실패하는 게 아니라 못 재서 실패한다. 둘째, 평가는 배포 다음에 붙이는 부록이 아니라 도입의 전제다. 셋째, "우리 조직에서 이 AI가 잘한다는 게 뭔지" 한 문장으로 못 쓴다면, 그 프로젝트는 이미 실패하는 쪽에 서 있다.

혹시 지금 돌리고 계신 AI 프로젝트의 성공 기준을, 한 문장으로 적을 수 있으신가요? 댓글로 들려주세요.