AI 모델의 지식 격차 이해하기
로드 중
Knowledge · 5 min
요약대본
모델은 학습 과정에서 노출된 것만 알고 있으며, 그 이상은 알지 못합니다. 기본적으로 실시간 브라우징도 없고, 실제 경험도 없으며, 지식 컷오프 시점에서 완전히 멈춥니다. 실질적인 질문은 "AI가 이것을 아는가?"가 아니라 "이것이 AI가 읽은 자료에서 얼마나 잘 다루어졌는가?"입니다.
모델이 읽은 것, 그리고 읽기를 멈춘 시점
로드 중
핵심 요약
- 생성형 AI가 아는 것은 전적으로 학습 데이터에서 비롯되며 지식 컷오프 시점에 고정됩니다. 도구가 없으면 그 날짜 이후의 어떤 정보에도 접근할 수 없습니다.
- 역량 영역: 학습 데이터에서 빈번하게, 최근에(학습 기간 내), 그리고 일관되게 등장한 주제.
- 한계 영역: 희귀하거나, 컷오프 이후이거나, 특수하거나, 지역적이거나, 논쟁적인 주제.
- 특징적인 실패: 오래된 정보, 불균등한 커버리지, 무엇이 "기본값" 또는 "정상"으로 간주되는지에 내재된 편향, 그리고 지식이 어디서 왔는지 밝히지 못하는 점.
- 웹 검색, 검색(RAG/MCP), 도구 사용은 모델이 전혀 학습하지 않은 정보에 접근할 수 있도록 함으로써 이러한 격차를 보완하기 위해 특별히 존재합니다.
- 4D 연결: 지식의 불균등함은 Delegation의 핵심입니다. 모델이 어디에서 풍부하고 어디에서 부족한지를 이해하면 언제 위임해야 하는지, 언제 직접 맥락을 제공해야 하는지, 언제 다른 곳을 찾아야 하는지를 알 수 있습니다.
연습
아웃사이더 테스트
왜 필요한가요? 모델의 지식이 넓지만 고정되어 있으며, 학습 데이터에 있던 것에 의해 형태가 결정된다는 것을 알고 있습니다. 이제 여러분의 특정 분야에서 모델이 어디에서 풍부하고 어디에서 부족한지를 정확히 파악해 볼 것입니다.
작업 목록으로 돌아가 작업 하나를 선택하세요. 해당 작업과 관련하여 다음을 적어보세요:
- 주류이고, 잘 문서화되어 있으며, 안정적인 주제 두 가지. 해당 분야에 정통한 동료라면 누구나 알 만한 것.
- 특수하거나, 지역적이거나, 최근의 것이거나, 빠르게 변화하는 주제 두 가지. 업계 전문 용어, 지역 규제, 지난 1년 사이에 바뀐 것 등.
- 여러분의 분야 외부인이 흔히 잘못 이해하는 "기본 가정" 하나. (일반적인 고객이 누구인지. "표준" 사례가 어떤 모습인지. 사람들이 실제로 사용하는 도구와 언론에 많이 노출되는 도구 중 어느 쪽인지.)
이제 세 가지 탐색을 진행하세요:
- 탐색 1: 커버리지. 목록에 있는 주류 주제 하나와 특수 주제 하나에 대해 질문하세요. 깊이와 정확성을 비교하세요. AI가 두 경우에서 불확실성을 다르게 표시하는지, 아니면 두 답변 모두 동일하게 자신감 있는 어조로 제시되는지 주의해서 살펴보세요.
- 탐색 2: 오래된 정보. 여러분의 분야에서 최근에 바뀐 것으로 알고 있는 것에 대해 질문하세요: 규제 업데이트, 도구 출시, 리더십 변경, 개정된 표준 등. AI가 컷오프를 인정하나요? 오래된 정보를 최신 정보처럼 제시하나요? 답변을 거부하나요? 어떤 일이 일어나는지 기록하세요.
- 탐색 3: 기본 가정. 여러분의 가정을 직접 언급하지 않은 채, AI가 외부인의 관점을 기본값으로 삼는지 드러낼 수 있는 질문을 하세요. 예를 들어, 여러분의 분야에서 "표준" 고객이 대부분의 사람들이 가정하는 것과 다르다면, AI에게 일반적인 고객을 설명해 달라고 요청하세요. AI가 무엇을 정상으로 취급하는지 기록하세요.
작업 목록으로 돌아가 두 번째 주석을 추가하세요: 각 작업에 대해 모델의 지식에 의존할 수 있는지, 아니면 맥락, 문서, 검색을 통해 직접 지식을 제공해야 하는지 표시하세요.
도전 목표: 웹 검색을 활성화한 상태로 오래된 정보 탐색을 다시 실행하세요. 무엇이 바뀌는지 비교하세요. 이것이 바로 검색(retrieval)이 작동하는 모습입니다.
레슨 되돌아보기
- 이제 모델이 맥락을 가지고 있다고 가정하기보다 직접 맥락을 제공해야 한다는 것을 깨달은 업무 영역은 어디인가요?
- 기본 가정 탐색에서 놀라운 점을 발견하셨나요?
다음 단계
지식은 모델이 학습 과정에서 흡수한 것을 다룹니다. Working Memory는 모델이 지금 이 순간 주의를 기울이고 있는 것, 즉 여러분의 프롬프트, 문서, 대화를 다룹니다. 이 속성은 네 가지 중 가장 까다로운 경계를 가지고 있습니다.