프롬프트 엔지니어링의 부상과 몰락, 그리고 그 다음

프롬프트 엔지니어링의 부상과 몰락, 그리고 그 다음

1. 2022년 11월 30일, ChatGPT가 공개되고 5일 만에 100만 명이 가입하면서 AI와 대화하는 방법 자체가 하나의 기술로 인식되기 시작함.

2. 2023년 초, "프롬프트 엔지니어(Prompt Engineer)"라는 직함이 갑자기 기술 업계 전면에 등장함.

3. Anthropic이 "Prompt Engineer and Librarian" 포지션을 연봉 최대 33만 5,000달러에 공고하면서 업계가 술렁이기 시작함.

4. OpenAI도 비슷한 시기 응용 AI 역할에 37만 달러 수준을 제시했고, 언론이 "코딩 없이 6억짜리 직업"이라는 헤드라인을 쏟아냄.

5. LinkedIn에서 "Prompt Engineer"를 검색하면 25만 개 이상의 공고가 떴고, Indeed에서 해당 역할 검색이 2023년 4월을 기점으로 정점을 찍음.

6. 문제는 그게 정점이었다는 점임.

7. 모델이 빠르게 똑똑해지면서, 어설픈 프롬프트도 그럭저럭 돌아가기 시작함.

8. Microsoft CMO 재러드 스파타로(Jared Spataro)는 공개적으로 "2년 전엔 프롬프트 엔지니어가 뜨는 직업이 될 거라고 다들 말했지만, 이제는 완벽한 프롬프트가 필요하지 않다"고 선언함.

9. Microsoft가 31개국 3만 1,000명 직장인을 대상으로 실시한 설문에서, 기업이 향후 12~18개월 내 추가를 고려하는 역할 중 프롬프트 엔지니어는 꼴찌에서 두 번째를 차지함.

10. 2024년부터 독립적인 "Prompt Engineer" 직함은 약 30% 감소했고, 2026년 초에는 최전선 모델을 운용하는 회사에서 사실상 소멸함.

11. 다만 역설이 하나 있음. 프롬프트 엔지니어링 스킬을 요구하는 역할은 같은 기간 3배 증가했음.

12. 직함이 사라진 게 아니라 기술이 흡수된 것임. AI 개발자, NLP 스페셜리스트, AI 워크플로우 디자이너 등으로 분산됨.

1. 이 흐름을 이해하려면 애초에 왜 프롬프트 엔지니어링이 부상했는지를 봐야 함.

2. 초기 GPT 계열 모델들은 지시를 문자 그대로 받아들였음. 입력을 정교하게 설계해야 원하는 출력이 나왔음.

3. "체인 오브 스로트(Chain of Thought, CoT)" 기법처럼, 모델에게 단계를 명시적으로 나열해 주면 수학 문제 풀이 정확도가 크게 오른다는 사실이 학술 논문으로 보고됐음.

4. 이 시기 프롬프트는 진짜 레버였음. 같은 질문도 어떻게 쓰느냐에 따라 결과물이 완전히 달랐음.

5. 그런데 2024년을 지나면서 모델 자체가 그 레버를 흡수하기 시작함.

6. 명시적으로 "단계를 생각하며 답하라"고 안 해도, 최신 모델은 알아서 CoT를 실행하도록 훈련됨.

7. 프롬프트 엔지니어링의 핵심 가치였던 "모델을 올바르게 안내하는 능력"이 모델 자체에 내재화된 것임.

8. 프롬프트 엔지니어링이 죽은 게 아니라, 기준값(baseline)이 된 것임.

1. 2025년 중반, 새로운 개념이 빠르게 부상함. 컨텍스트 엔지니어링(Context Engineering)임.

2. 쇼피파이(Shopify) CEO 토비 뤼트케(Tobi Lütke)와 전 OpenAI 연구원 안드레이 카르파시(Andrej Karpathy)가 거의 동시에 이 개념을 공개적으로 지지하면서 업계 논의가 폭발함.

3. 2025년 9월 29일, Anthropic이 공식 엔지니어링 블로그에 컨텍스트 엔지니어링을 정의하는 글을 발행함.

4. Anthropic의 정의는 간결함. "LLM 추론 시 최적의 토큰 집합을 선별하고 유지하기 위한 전략."

5. 프롬프트 엔지니어링이 "뭘 물어볼까"를 다뤘다면, 컨텍스트 엔지니어링은 "지금 이 모델이 뭘 알아야 하는가"를 다룸.

6. 범위 자체가 다름. 프롬프트 하나가 아니라 시스템 프롬프트, 도구 정의, 외부 데이터, 대화 이력 전체가 대상임.

7. 이 전환이 필요해진 이유는 AI 에이전트(Agent)의 등장 때문임.

8. 에이전트는 단발성 질문에 답하는 게 아니라, 여러 단계에 걸쳐 작업을 수행하는 모델임.

9. 여기서 "컨텍스트 부패(Context Rot)" 문제가 등장함. 대화가 길어질수록 모델이 초반 정보를 정확히 떠올리지 못하는 현상임.

10. LLM 구조상 모든 토큰이 다른 모든 토큰과 교차 참조하기 때문에, 컨텍스트가 늘어날수록 어텐션 비용이 제곱으로 증가함.

11. 식당 비유를 들면, 프롬프트 엔지니어링이 "손님에게 어떻게 주문을 받을까"였다면, 컨텍스트 엔지니어링은 "주방에 지금 뭘 올려놓을지, 언제 치울지, 어떻게 동선을 짤지" 전체 운영임.

12. Anthropic이 제안한 구체적 기법은 네 가지임. 압축(Compaction), 구조화 메모(Note-taking), 다중 에이전트 아키텍처, 적시 검색(Just-in-Time Retrieval)임.

13. LangChain이 2025년 발간한 "State of Agent Engineering" 보고서에 따르면, 57%의 조직이 이미 AI 에이전트를 프로덕션에 배포했음.

14. 그런데 32%는 품질을 최대 장벽으로 꼽았고, 실패 원인 대부분은 모델 능력이 아닌 컨텍스트 관리 문제로 추적됐음.

15. 컨텍스트 엔지니어링은 기술 팁이 아니라 에이전트 시대의 핵심 설계 사상임.

1. 그런데 2026년에 들어 또 다른 개념이 등장함. 하네스 엔지니어링(Harness Engineering)임.

2. "하네스(Harness)"는 원래 전기공학이나 자동차 산업에서 전선 묶음을 고정하는 장치를 뜻함.

3. AI 맥락에서 하네스는 "모델과 실제 작업 사이에 있는 모든 구조"를 가리킴. 컨텍스트 조립, 도구 오케스트레이션, 검증 루프, 권한 관리, 비용 제어가 여기 들어감.

4. 개념의 공식화에는 두 사건이 결정적 역할을 했음.

5. 첫째, 2026년 3월 31일, Anthropic이 npm 패키지 배포 과정에서 실수로 Claude Code 전체 소스코드를 노출함.

6. 노출된 파일은 1,906개 TypeScript 파일, 약 51만 3,000줄 규모의 소스맵(.map)이었음.

7. 개발자 수천 명이 코드를 분석하기 시작했고, 그 결과물이 업계 전반에 퍼짐.

8. 둘째, Y콤비네이터(Y Combinator) 대표 개리 탄(Garry Tan)이 코드를 분석한 뒤 "내가 가르쳐온 것을 확인했다"며 "Thin Harness, Fat Skills" 프레임워크를 공개함.

9. 탄에 따르면, 생산성 격차는 모델의 지능이 아니라 구조에서 온다고 주장함.

10. 그는 자신이 YC 대표를 풀타임으로 맡으면서 동시에 60일마다 60만 줄의 프로덕션 코드를 출시한다고 밝힘.

11. 프레임워크를 요약하면 이러함. 인간의 판단이 필요한 작업은 스킬(Skills)로 두껍게, 완벽한 결정론이 필요한 작업은 코드로 두껍게, 그 둘을 연결하는 하네스는 얇게 유지하는 것임.

12. 스킬(Skill)은 마크다운 형식의 재사용 가능한 프로시저임. "어떻게 할지(HOW)"를 담고, 사용자는 "무엇을(WHAT)"만 제공함.

13. 하네스는 약 200줄 수준의 얇은 조율 레이어임. 파일 읽기, 컨텍스트 관리, 안전 강제, 모델 호출을 담당함.

14. Claude Code 구조로 보면, CLAUDE.md는 라우팅 지도, Agents는 전문화된 서브에이전트, Hooks는 이벤트 기반 자동화, Memory는 세션 간 상태 유지, Skills는 호출 가능한 절차 묶음임.

1. YC의 실제 사례로, Startup School 매칭 시스템에서 6,000명 창업가를 대상으로 /enrich-founder, /match-breakout 같은 스킬을 재사용하며 운영 중임.

2. 스킬이 피드백 루프로 자동 개선되면서 자기학습 시스템이 구현됐다고 함.

3. 하네스 엔지니어링의 핵심은 "AI에게 더 좋은 프롬프트를 주는 것"이 아니라 "AI가 일을 잘못할 수 없도록 환경을 설계하는 것"임.

4. 공장 자동화로 비유하면, 프롬프트 엔지니어링은 "기계에게 잘 지시하기"이고, 컨텍스트 엔지니어링은 "기계에게 필요한 재료를 제때 공급하기"이며, 하네스 엔지니어링은 "공장 레이아웃 자체를 설계하기"임.

5. 커리어 레버리지 관점에서 무게중심이 이동하고 있음.

6. 프롬프트 엔지니어링 시대엔 "나는 AI를 잘 쓴다"가 차별점이었음.

7. 컨텍스트 엔지니어링 시대엔 "우리 에이전트는 장시간 작업에서 무너지지 않는다"가 차별점임.

8. 하네스 엔지니어링 시대엔 "이 구조 위에서 팀 전체가 움직인다"가 차별점임. 개인 스킬이 아니라 조직 인프라임.

9. AI 에이전트를 프로덕션에 배포하는 기업 비율은 2024년 11%에서 2026년 54%로 2년 만에 5배 증가함.

10. 그런데 같은 조사에서 AI 코딩 도구를 고빈도로 사용하는 팀 중 51%가 코드 품질 문제가 늘었다고 답했고, 53%는 보안 취약점이 증가했다고 답함.

11. 에이전트 배포 속도보다 에이전트를 관리하는 구조가 훨씬 뒤처진 것임.

12. 이 격차가 하네스 엔지니어링이 메우려는 지점임.

13. 새로 등장하는 직함들은 "AI 인프라 엔지니어", "에이전트 플랫폼 엔지니어", "AI 시스템 엔지니어"임.

14. 이 역할들은 트랜스포머 아키텍처를 깊이 알 필요가 없음. LLM API 작동 방식과 시스템 엔지니어링 감각이 핵심임.

15. "모델을 만드는 사람"도 아니고 "모델에게 잘 말하는 사람"도 아님. 모델이 실수 없이 일하도록 구조를 세우는 사람임.

16. 모델이 강해질수록, 그 모델을 안전하게 묶어두고 운영하는 구조 설계 능력의 가치가 함께 올라감.

17. 역설적으로, 이 흐름은 AI가 개발자를 대체한다는 명제를 뒤집는 방향으로 진화하고 있음.

18. 결국 커리어의 질문이 바뀌는 것임. "AI를 잘 다루냐"에서 "AI가 조직 안에서 안전하게 일하게 만드는 구조를 설계할 수 있냐"로.

한줄 코멘트. 나는 한동안 CLAUDE.md에 뭘 더 추가해야 할지 고민했는데, 어느 순간 반대 방향이 맞다는 걸 깨달았음. 줄일수록, 스킬로 뽑아낼수록, 시스템이 더 잘 돌아갔음. 2023년 33만 달러짜리 직업으로 떠오른 프롬프트 엔지니어링이 3년 만에 기본 소양이 된 것처럼, 지금 하네스를 설계하는 사람이 2~3년 후에는 조직에서 당연히 있어야 할 역할이 될 것으로 보임. 에이전트 배포는 54%까지 치솟았지만 절반이 넘는 팀이 품질 문제를 경험한다는 숫자가 그 타이밍을 말해주고 있음.