많은 사람들에게 AI 사용법을 배우는 것은 도구 자체를 배우는 것에서 시작됩니다. 사람들은 흔히 다음과 같은 질문으로 시작합니다: Claude에게 필요한 것을 어떻게 설명해야 할까? Claude가 좋은 결과를 내는 데 필요한 파일과 데이터를 어떻게 안전하게 제공할 수 있을까? 하지만 Claude가 더 크고 복잡한 작업에 사용됨에 따라 더 어려운 질문이 떠오릅니다: Claude가 맞는지 어떻게 알 수 있을까?
분별력, 즉 AI 결과물의 정확성과 관련성은 AI 역량에서 가장 중요한 측면 중 하나입니다. 하지만 이는 AI 도구의 범위를 벗어나서 일어날 수 있기 때문에 직접 연구하기가 더 어렵습니다.
그래서 저희는 Anthropic Interviewer(새 탭에서 열림)의 도움을 받아 129명의 Claude Academy 참가자들에게 물었습니다: Claude와 함께 작업할 때 분별력은 어떤 모습인가요? 참가자들은 Claude와 함께 수행한 최근 작업에 대한 이야기를 공유했으며, Claude의 품질과 정확성을 어떻게 검증했는지도 포함되었습니다.1
저희는 많은 것을 배웠지만, 세 가지 큰 주제가 드러났습니다. 첫째, "Claude의 작업을 확인한다"는 것은 대부분 대화 외부의 무언가—출처, 문서, 테스트, 다른 사람, 또는 다른 AI—와 대조하여 검증하는 것을 의미했습니다. 둘째, 분별력의 가장 큰 장벽은 시간 압박이 아니라 도메인 전문성 부족이었습니다. 그리고 셋째, Claude의 오류가 너무 늦게 발견되었을 때, 이는 종종 사람들이 새롭고 창의적인 분별 행동을 채택하도록 이끌었습니다.
이러한 이야기들은 파워 유저들이 개발한 습관을 이해하는 데 도움이 되어, 우리 자신의 분별력 도구 모음을 구축할 수 있게 해줍니다. 이 연구의 응답자 대부분은 6개월 이상 매일 Claude를 사용합니다.2 이는 일반 대중보다 훨씬 높은 수준으로, 모범 사례를 정리하는 데는 유용하지만 그 외의 목적에는 한계가 있습니다. 저희는 이 표본을 넘어서는 유병률 주장을 하지 않습니다.
주요 인사이트
모든 인터뷰를 통틀어, 저희는 세 가지 주목할 만한 패턴을 발견했습니다:
- Claude의 결과물을 확인하는 것은 대개 외부 출처와의 대조 검증을 포함합니다
- 전문성은 분별력의 가장 큰 장벽입니다
- 놓친 오류는 창의적이고 새로운 분별 행동의 채택을 촉발할 수 있습니다
외부의 신뢰할 수 있는 출처와 대조하여 Claude의 작업을 확인하는 것이 가장 흔히 보고된 분별 관행이었습니다
저희는 "Claude의 작업을 확인한다"는 것이 대부분 명백한 오류를 찾기 위한 통독으로 설명될 것이라고 예상했습니다. 하지만 인터뷰에 참여한 참가자의 51%는 Claude의 결과물을 출처 문서, 공식 문서, 자신의 데이터, 다른 사람, 또는 심지어 다른 AI와 같은 외부의 무언가와 대조하여 검증했다고 설명했습니다. 확인자 중 10%는 한 걸음 더 나아가 여러 독립적인 확인을 함께 결합했습니다. 외부 검증 없이 통독만 하는 것은 소수의 관행이었으며, 특히 작업이 기술적인 경우 더욱 그러했습니다.
'외부의 신뢰할 수 있는 출처'가 의미하는 바는 작업에 따라 달랐습니다. 작업에 코드가 포함된 경우, 대개 테스트가 관련되었습니다. 리서치 및 분석 작업은 출처와의 교차 확인과 제2의 의견에 의존했습니다. 10건의 사례는 미묘한 지식 작업에서 첫 번째 AI의 작업을 확인하기 위해 두 번째 AI를 사용했다고 설명했습니다. 작문 작업은 도메인 지식과 적합성을 위한 동료의 꼼꼼한 검토에 의존했습니다. 작업마다 서로 다른 방법이 필요했습니다.
전문성이 분별력의 가장 큰 장벽이었습니다
AI는 사람들이 자신의 역량을 확장할 수 있게 해주는데, 이는 그들이 종종 자신의 직접적인 전문 분야 밖에서 작업을 수행한다는 것을 의미합니다. 바로 이 지점에서 참가자들은 분별력이 어렵다고 느꼈습니다: 좋은 것이 어떤 모습인지 확신이 서지 않을 때 답을 판단하기는 어렵습니다.
62명의 참가자가 분별력의 장벽을 언급했습니다. 주제 전문성 부족이 목록의 최상위를 차지했습니다. 일부 비기술직 참가자들은 Claude가 소프트웨어 개발과 관련된 솔루션을 안내했지만, 좋은 코드나 아키텍처 결정을 나쁜 것과 구별할 수 없었다고 설명했습니다. 한 학습자는 Claude의 추천을 평가할 수 있을 만큼의 도메인 지식을 쌓기 위해 온라인 원예 동영상까지 찾아보았습니다.
저희는 시간 압박이 이 목록의 최상위를 차지할 것이라고 예상했습니다. 이 그룹에게는 결과물의 품질을 평가할 만큼 충분한 주제 전문성을 갖추는 것이 병목 지점이었습니다.
오류를 놓치는 경험이 사람들의 작업 방식을 바꾸었습니다
모든 인터뷰를 통틀어, Claude가 저지른 오류를 놓친 의미 있는 사례가 18건 있었습니다. 이러한 이야기를 공유한 사람들 중 절반은 그것이 오늘날 자신의 작업 방식을 바꾸었다고도 말했습니다. 실수를 목격한 경험은 그들에게 앞으로의 실수를 찾아내는 방법을 가르쳐주었습니다.
이 참가자들이 채택한 새로운 관행 중 일부는 다음과 같습니다:
- 추천이나 분석을 제시하기 전에 Claude가 먼저 출처 텍스트를 인용하도록 요구하기
- 끝에서만 검토하는 대신, 여러 단계로 이루어진 작업의 각 단계마다 승인 관문을 만들기
- 여러 AI 에이전트를 동시에 사용하기: 하나는 작업을 생성하고, 다른 것들은 그 작업의 서로 다른 부분을 확인
이 참가자들은 "작업을 더 열심히 확인"하거나 하룻밤 사이에 새로운 분야의 전문가가 된 것이 아니었습니다. 대신, 그들은 워크플로를 재구성하고 분별력 도구 모음을 다듬었습니다.
나만의 분별력 도구 모음 구축하기
이 연구에서 가장 자신감 있는 분별자들에게는 한 가지 공통점이 있었습니다: 좋은 도구 모음입니다. 더 어렵고 복잡한 작업에 AI를 사용하기 시작하면서, Claude의 작업을 검증하는 데 사용할 수 있는 일련의 관행과 워크플로를 파악할 것을 강력히 권장합니다. 시작하는 데 도움이 될 다섯 가지 도구를 소개합니다.
- 가장 자주 만드는 작업 결과물을 검증할 테스트를 만드세요. 소프트웨어 개발자가 아니라면, 수행하는 각 작업에 대한 "테스트"가 없을 가능성이 높습니다. 하지만 이 아이디어는 어떤 분야에도 적용될 수 있습니다. 콘텐츠 작가라면 문체, 어조, 형식에 대한 루브릭을 만드세요. 변호사라면 생성된 계약서 문구를 확인하는 데 사용할 수 있는 정책과 규칙을 정의하세요. 다음 프롬프트를 사용해 Claude와 함께 반복 작업을 하며, 동료와 공유할 수 있는 재사용 가능한 스킬로서 나만의 검증 "테스트"를 만들어 보세요:
저는 제가 만드는 한 종류의 작업에 대해 재사용 가능한 확인 절차를 만들고 싶습니다. 그래야 문제가 나가기 전에 잡아낼 수 있으니까요. 이것을 제 자신의 QA 체크리스트라고 생각해 주세요.
무언가를 작성하기 전에, 한 번에 네다섯 개의 짧은 질문을 해주세요: 작업 결과물이 무엇이고 누가 읽는지; 훌륭한 버전이 괜찮은 버전과 다르게 하는 것은 무엇인지; 제가 받은 피드백이나 늦게 발견한 실수를 포함해 이런 것들이 보통 어떻게 잘못되는지; 그리고 제가 틀리면 가장 당황스러울 부분은 무엇인지. 제가 좋은 예시를 드리면, 초안을 작성하기 전에 그것을 읽어 주세요.
그런 다음 제 답변을 앞으로의 어떤 초안에도 물어볼 수 있는 5~8개의 질문으로 된 확인 절차로 바꿔 주세요. 제가 썼든, 당신이 썼든, 우리가 함께 썼든 상관없이요. 가장 중요한 질문을 맨 앞에 두세요. 모든 질문을 일반적인 글쓰기 조언이 아니라 제 작업에 특화되도록 만들고, 이 확인 절차가 잘못된 사실이나 숫자, 이의가 제기되면 방어할 수 없는 추론이나 주장, 지면에 없지만 독자에게 필요한 맥락, 그리고 이 독자층에게 와닿지 않을 어조를 잡아낼 수 있도록 해주세요. 제가 드리지 않은 숫자, 임계값, 규칙은 추가하지 마세요.
확인 절차는 채팅 속 텍스트가 아니라 스킬로 전달해 주세요. 이 스킬은 붙여넣은 텍스트, 파일, 또는 문서 링크로 초안을 받아들이고, 모든 질문을 순서대로 실행하며, 각 질문을 판단하는 초안 속 정확한 문장을 인용해야 합니다.
스킬의 출력은 텍스트 보고서가 아니라 아티팩트로 게시되는 시각적 스코어카드여야 합니다: 가장 중요한 단 하나의 수정 사항을 명시하는 상단의 판정, 모든 질문의 상태를 한눈에 보여주는 한 줄짜리 스트립(통과, 실패, 플래그됨), 그리고 각 질문마다 상태, 인용된 문장, 하나의 구체적인 수정 사항이 담긴 한 행. 실행 후 채팅 답변은 판정과 개수를 담은 두 줄이어야 합니다. 검토를 위해 스킬을 보여주신 다음, 제 예시에 한 번 실행해서 스코어카드를 볼 수 있게 해주세요.
- 채팅을 떠나기 전에 Claude가 분별력을 발휘할 기회를 파악하도록 도와주게 하세요. Anthropic은 복잡한 작업을 감지하고 Claude가 추가 검증을 위한 넛지를 제공하도록 유도하는 분별력 스킬을 공개했습니다. 몇몇 기업에서 이 스킬을 테스트한 결과, 워크플로에 일시 정지를 삽입하는 것이 분별력을 높인다는 방향성 있는 증거가 나타났습니다. 다음은 사용자가 필라델피아시 근로자에 대한 보고서를 요청한 후 이 스킬이 채팅에 추가한 내용의 예시입니다:
(필라델피아시 근로자에 대한 보고서 작성을 완료한 후 discernment-nudge 스킬이 작동한 예시)
다음과 같이 Claude에게 요청하여 discernment-nudge 스킬을 설치할 수 있습니다:
- Claude Code에서 적대적 검토를 사용하세요. Claude Code는 내장된 적대적 검토(새 탭에서 열림) 단계를 제공합니다. 이는 Claude가 새로운 관점에서 코드나 작업 결과물을 검토하기 위해 새로운 서브에이전트를 생성할 수 있다는 것을 의미합니다. 결과물 생성에 관여하지 않은 에이전트를 사용하면 오류나 위험한 가정을 발견할 가능성이 더 높아집니다.
서브에이전트를 사용하여 rate limiter diff를 PLAN.md와 대조하여 검토하세요. 모든 요구사항이 구현되었는지, 나열된 엣지 케이스에 테스트가 있는지, 작업 범위 밖의 것이 변경되지 않았는지 확인하세요. 스타일 선호가 아니라 공백(gap)을 보고하세요.
- 전문가 패널을 구축하세요. 분별력에 대해 가장 많이 언급된 장벽은 해당 주제에 대한 전문성 부족이었습니다. 2차 확인을 요청할 수 있는 사람을 파악해 두면 선택지가 넓어집니다. 자신의 전문 분야 밖의 영역에서 누구에게 재검토를 요청할지 알아두고, 결과물을 내보내기 전에 연락하세요. 그리고 물론, 그 호의를 되갚으세요. 동료가 당신의 전문 분야에 속하는 무언가를 가져왔을 때, 당신의 5분이 그들의 분별력을 가능하게 만드는 것입니다.
최근 이메일 교환을 바탕으로 누가 당신의 결과물을 분별하는 데 도움을 줄 수 있을지 Claude와 함께 반복 작업을 해보려면 다음 프롬프트를 시도해 보세요:
저는 '친구에게 전화하기' 확인 절차를 만들고 싶습니다. 작업물에 의존하기 전에, 당신이 제 네트워크 안에서 그것을 판단해 줄 적합한 사람을 찾도록 도와주세요. 한 번에 한 단계씩 안내해 주시고, 다음으로 넘어가기 전에 제 답변을 기다려 주세요.
1단계: 제 이메일이 연결되어 있는지 확인하세요. 연결되어 있지 않다면, 연결하는 단계별 안내를 제공한 다음, 제가 완료했다고 말할 때까지 기다려 주세요. 이름을 추측하지 마세요.
2단계: 작업물을 요청하세요. 저는 그것을 업로드하거나, 텍스트를 붙여넣거나, 링크를 붙여넣을 수 있습니다. 만약 제가 이전 채팅에서 나온 것이라고 말하면, 제 과거 채팅에서 그것을 검색하세요; 검색할 수 없다면, 설정에서 '채팅 검색 및 참조'를 켜는 방법을 알려주거나, 대신 붙여넣어 달라고 요청하세요.
3단계: 그것이 무엇에 관한 것인지, 그리고 그것이 좋은지 판단하는 데 어떤 종류의 전문성이 필요한지 한 줄로 말해 주세요.
4단계: 제 이메일에서 그 전문성을 가진 사람들을 검색하세요: 이 주제에 대해 저와 주고받은 사람들, 참조로 포함된 사람들, 이에 대한 제 질문에 답변한 사람들, 또는 이것이 반영되는 결정을 담당하는 사람들.
5단계: 2~4명을 제안하세요. 각 사람에 대해, 제 이메일에서 발견한 내용을 바탕으로 한 줄짜리 이유와, 그들에게 검토를 요청할 수 있는 짧은 메시지를 제공하세요.
단순히 이메일을 자주 주고받는 사람보다는 주제를 잘 알고 반박해 줄 수 있는 사람을 우선하세요. 저를 대신해 누구에게도 연락하지 말고, 제안하는 메모에 제 이메일을 인용하지 마세요; 연락은 제가 직접 하겠습니다.
- Claude에게 출처 근거를 요청하세요. 외부 출처와 대조하여 Claude의 작업을 확인하는 것은 즐겨 사용되는 관행이었습니다. Claude가 응답의 각 주장에 대한 출처를 인용하도록 함으로써 이 작업을 더 쉽게 만들 수 있습니다. 그 출처들을 손에 쥐면, 무엇이 타당하고 무엇이 추가 조사를 필요로 하는지 빠르게 확인할 수 있습니다.
Claude로 결과물을 생성한 후 대화에서 다음 프롬프트를 시도해 보세요:
답변 속 각 사실적 주장에 대해, 그것이 어디서 나왔는지 알려주세요. 출처에서 정확한 구절을 인용하고 링크나 페이지 번호를 포함하세요. 만약 주장이 당신의 일반 지식에서 나온 것이라면, "출처 없음"으로 표시해서 제가 가장 먼저 확인해야 할 것을 알 수 있게 해주세요.
한계
이러한 인사이트에는 중요한 유의사항이 따릅니다:
- 표본의 한계: Academy 등록자는 AI와 함께 작업하는 능력을 향상시키기로 자발적으로 선택한, 동기부여가 된 참가자들입니다; 그들의 관행은 일반 대중의 기준선보다 높을 가능성이 큽니다. 표본(129건의 인터뷰, 94건 완료)은 경험이 많고 기술적인 쪽으로 치우쳐 있어, 신규 사용자의 분별력 과제는 과소 대표되어 있습니다. 이러한 사례들은 보편적인 벤치마크가 아니라 이 집단 내 관행의 카탈로그로 이해되어야 하며, 저희는 AI 사용자 전반에 대한 유병률 주장을 하지 않습니다.
- 자기 보고: 모든 데이터는 자기 보고입니다. 저희는 실제 작업에 대한 "하나하나 설명해 주세요" 방식의 이야기를 우선시했고, 구조화된 평가는 설명적 맥락으로 취급했습니다. "무언가를 놓친 순간"에 대한 기억은 가용성 편향의 영향을 받습니다: 극적인 실패는 더 잊기 쉬운 실패에 비해 과대 대표될 가능성이 있습니다.
- 코딩의 한계: 주제별 코딩은 LLM의 도움을 받아 수행되었습니다. 저희는 감사를 위해 보관된 주제별 정확한 전사 목록, 구조화된 모듈에 대한 결정론적(규칙 기반) 교차 검증, 모든 주제의 최소 10%에 대한 사람의 검토, 그리고 루브릭 수정 후 영향을 받은 모든 차원에 대한 전체 재코딩을 통해 이를 완화했습니다.
앞으로의 전망
이 연구는 동기부여가 된 파워 유저들이 Claude의 작업을 어떻게 확인하는지에 대한 이야기와 주제를 포착했습니다. 저희의 의도는 분별력이 어떻게 발전하는지, 그리고 실제로 어떤 전술이 잘 작동하는지에 대한 이해를 넓히는 것이었습니다.
향후 연구에서는, 조직에 대한 분별력 스킬의 영향을 측정하는 개입 연구를 통해 이를 확장하고, "당신의 분야를 위한 테스트" 아이디어를 모두가 채택하고 기여할 수 있는 역할별 공유 확인 절차 라이브러리로 발전시킬 계획입니다.
저희는 모델이 점점 더 정교한 결과물을 생성함에 따라 분별력도 진화할 것으로 예상합니다. 이번 연구와 향후 연구를 통해, 저희는 그 진화를 가시화하고 모두가 사용할 수 있는 교육 도구를 제공하는 것을 목표로 합니다.
Bibtex
이 게시물을 인용하고 싶으시다면, 다음 Bibtex 키를 사용하실 수 있습니다:
@online{swanson2026aidiscernment,
author = {Kristen Swanson and Maggie Vo and Zoe Ludwig and Jeff Olson and Matt Gallivan and Erik Olesund and Rick Dakan and Joe Feller},
title = {Anthropic Education Report: How people check Claude's work},
date = {2026-09-10},
year = {2026},
url = {https://academy.claude.com/tutorials/discernment-toolkit},
}감사의 말
Kristen Swanson이 연구를 설계하고 분석을 주도했으며, Matt Gallivan, Jeff Olson, Erik Olesund의 피드백을 받아 이 보고서를 작성했습니다. Maggie Vo와 Zoe Ludwig는 프레임워크 정렬, 메시징, 검토에 기여했습니다. AI 역량을 위한 4D 프레임워크는 Anthropic과의 협력을 통해 Rick Dakan과 Joe Feller가 개발했습니다. Mo Julapalli와 Ankit Siva는 기술 지원을 제공했습니다. Ryan Donegan과 Molly Vorwerck는 커뮤니케이션 검토와 지침을 제공했습니다.
각주
- 사람들이 자신의 AI 사용을 어떻게 설명하는지 연구할 때, 참가자의 프라이버시를 보호하는 것이 무엇보다 중요합니다. 인터뷰는 Claude 기반의 정성적 인터뷰어인 Anthropic Interviewer(새 탭에서 열림)가 표준 동의 절차에 따라 진행했습니다; 응답은 사용자의 Claude Academy 계정, 과정 진행 상황, 또는 Claude.ai 대화 데이터와 연결되지 않았습니다. 이 분석에는 개인 식별 정보가 전혀 포함되지 않습니다. 모집 기간 동안 Claude Academy에서 AI 역량 과정에 등록한 모든 사람은 등록 이메일에서 선택적 연구 대화를 제안하는 안내를 받았습니다. 참여는 무보수였으며 과정 등록과는 별개였습니다. 인터뷰를 시작한 129명의 참가자 중 94명이 설문 모듈을 포함해 완전히 완료했습니다. 부분 인터뷰에도 의미 있는 작업 이야기가 자주 포함되어 있었기 때문에, 개방형 응답은 129건의 전사 전체에서 분석되었으며, 설문 수치는 설문에 도달한 하위 집합(항목에 따라 n=95~98)을 기반으로 합니다. 주제별 코딩은 다음과 같이 진행되었습니다: LLM이 연구 질문에 대해 전체 코퍼스를 코딩했으며, 각 주제 뒤에 있는 정확한 전사 목록은 감사를 위해 보관되었습니다. 설문 모듈은 결정론적으로 파싱되었습니다. 그런 다음, 사람 평가자가 코딩 불일치를 파악하기 위해 모든 주제의 최소 10%를 검토했습니다. 그 검토를 바탕으로 코딩 루브릭이 수정되었고, 영향을 받은 모든 차원은 수정된 루브릭에 따라 전체적으로 재코딩되었습니다. 새로 코딩된 모든 데이터 세트는 다시 사람에 의해 검토되고 분석되었습니다. 이 논문은 전적으로 사람이 작성했으며 AI의 도움을 받아 수정되었습니다.
- 설문 모듈(n=95)에 따르면: 95명의 응답자 중 63명이 매일 사용한다고 보고했고, 95명 중 62명이 AI 도구를 6개월 이상 사용한 경험이 있다고 보고했습니다. 응답자의 자가 평가 자신감은 언제 검증해야 하는지 아는 것에서 가장 높았고(5점 척도에서 평균 3.9), 완전성을 판단하는 것에서 가장 낮았으며(3.5), 정확성을 판단하는 것은 그 중간이었습니다(3.7). 이는 분별력 장벽에 대한 발견과 일치합니다: 참가자들은 검증이 필요하다는 것을 대체로 알고 있지만, 어려운 부분은 자신의 전문 분야 밖에서 그것을 수행하는 것입니다.