앤트로픽이 공식 블로그에서 자사 데이터 분석 업무의 95%를 Claude로 처리하는 방법을 전부 공개했습니다. 핵심 결론은 단 하나 — “에이전트를 만들지 말고 스킬을 만들어라”. 이 영상은 그 원리를 컨텍스트 4계층 설계, 스킬과 지식 구조, 평가와 검증, 시간이 지남에 따른 성능 저하 문제까지 실전 관점에서 정리합니다.
AI가 자꾸 실패하는 이유
많은 팀이 AI 도입 후 “왜 자꾸 틀리지?”라는 벽에 부딪힙니다. 가장 흔한 원인은 AI에게 맥락을 충분히 주지 않거나, 너무 많은 것을 한 번에 시키는 데 있습니다. AI는 주어진 컨텍스트 안에서만 추론하기 때문에, 사람이 당연히 알고 있다고 가정하는 배경 지식이나 절차를 명시하지 않으면 엉뚱한 결과를 냅니다.
실제로 앤트로픽 내부에서도 초기에는 에이전트를 크게 설계해서 실패를 반복했습니다. 그 경험에서 얻은 교훈이 바로 “작고 명확한 스킬 단위로 쪼개라”는 원칙입니다.
컨텍스트 4계층 설계
앤트로픽이 공개한 프레임워크의 핵심은 컨텍스트를 4개 계층으로 구분해 설계하는 것입니다.
- 역할: AI가 누구인지, 어떤 전문가로서 행동해야 하는지 정의합니다.
- 지식: 해당 작업에 필요한 도메인 정보, 규칙, 기준을 제공합니다.
- 스킬: 구체적으로 무엇을 어떻게 수행할지 단계별 절차를 명시합니다.
- 작업: 지금 이 순간 처리해야 할 구체적인 입력과 요청을 전달합니다.
이 4계층이 명확할수록 AI의 출력 품질이 올라가고, 문제가 생겼을 때 어느 계층에서 오류가 발생했는지 진단하기 쉬워집니다.
핵심은 ‘스킬’이다
에이전트는 여러 작업을 자율적으로 연결하는 큰 개념이지만, 실제 품질을 결정하는 것은 그 안을 채우는 스킬입니다. 스킬이란 “특정 유형의 작업을 수행하는 재사용 가능한 절차”입니다.
잘 만든 스킬은 다음 조건을 충족합니다:
- 입력과 출력이 명확하게 정의되어 있다.
- 수행 절차가 단계별로 구체화되어 있다.
- 체크리스트나 검증 기준이 포함되어 있다.
- 다른 작업 흐름에서 재사용 가능하다.
에이전트를 화려하게 설계하기 전에 스킬 하나를 제대로 만드는 것이 먼저입니다.
검증 — 평가와 자동 교정
스킬을 만들었다면 그 다음 단계는 검증 체계입니다. 앤트로픽은 다음 두 가지를 강조합니다.
평가: AI 출력이 기준을 충족하는지 정량적으로 측정합니다. 단순히 “잘 됐나?”가 아니라 체크리스트나 루브릭 형태로 명시적 기준을 만들어야 합니다.
자동 교정: 출력이 기준 미달일 때 AI 스스로 재시도하거나 수정하는 루프를 설계합니다. 사람이 매번 검토하는 것은 확장성이 없기 때문에, 일정 수준까지는 자동화된 교정이 필요합니다.
Decay 문제
시간이 지나면 처음에 잘 작동하던 스킬도 성능이 저하됩니다. 이유는 두 가지입니다. 첫째, 모델 자체가 업데이트되면 기존 프롬프트가 맞지 않을 수 있습니다. 둘째, 외부 데이터나 도구가 변경되면 스킬이 예상과 다르게 작동합니다.
이를 막으려면 스킬에 버전 관리를 적용하고, 주기적으로 평가 지표를 재측정하는 루틴이 필요합니다.
실전 가이드
먼저 자신이 AI에게 반복적으로 시키는 작업 하나를 고릅니다. 가능한 한 자주 하고, 결과가 검증 가능한 작업이 좋습니다. 이 단계에서는 별도 도구 없이 메모장 수준에서 시작해도 됩니다.
다음으로 컨텍스트 4계층을 작성합니다. 역할 한 줄, 필요한 지식 목록, 수행 절차 단계, 오늘의 구체적 요청 — 이 네 가지를 프롬프트에 명시합니다. 처음에는 과하다고 느껴질 정도로 상세하게 쓰는 것이 좋습니다.
마지막으로 출력에 대한 체크리스트를 만듭니다. “이 출력이 합격이 되려면 무엇을 충족해야 하는가?”를 3~5개 항목으로 정리합니다. 이 체크리스트를 프롬프트에 포함시키면 AI가 스스로 검증하는 루프를 형성합니다.
핵심 요점
- AI 실패의 근본 원인은 컨텍스트 부족이다. 사람이 당연히 안다고 가정하는 것을 AI는 모릅니다. 역할, 지식, 절차, 작업을 명시적으로 전달해야 합니다.
- 에이전트보다 스킬이 먼저다. 화려한 자동화보다 한 가지 작업을 제대로 처리하는 스킬 하나가 더 큰 가치를 만듭니다.
- 컨텍스트는 4계층으로 설계한다. 역할 – 지식 – 스킬 – 작업의 구조를 갖추면 출력 품질이 올라가고, 문제 발생 시 원인을 빠르게 찾을 수 있습니다.
- 검증 루프를 처음부터 설계에 포함시킨다. 평가 기준이 없으면 개선도 없습니다. 체크리스트 형태의 명시적 기준을 프롬프트에 포함해 AI가 스스로 검증하게 만드세요.
- 스킬은 시간이 지나면 성능이 떨어진다. 모델 업데이트나 외부 변경에 대응하려면 버전 관리와 주기적 재평가 루틴이 필요합니다.
참고자료
- VRL AI 인사이더 클럽: https://www.vrl.co.kr/ai-insider-club
- VRL AI 도입 문의: https://www.vrl.co.kr/