AI 모델은 왜 환각을 일으킬까요?

AI가 그렇게 발전했다면, 왜 가끔 없는 이야기를 지어낼까요? 제 이름은 Jordan이고, Anthropic에서 일하고 있습니다. 저희는 AI 어시스턴트인 Claude를 만들고 있으며, Claude가 정확한 정보를 제공하도록 많은 노력을 기울이고 있습니다. 하지만 때때로 AI는 여전히 없는 이야기를 지어냅니다. 저희는 이러한 오류를 환각이라고 부릅니다. 그리고 이는 단순한 실수보다 더 나쁜 경우가 많은데, AI가 매우 자신감 있게 보이거나, 심지어 자신이 옳다고 여러분을 설득하려 하기 때문입니다.

환각은 여러 가지 방식으로 나타날 수 있습니다. AI가 존재하지 않는 연구 논문을 인용하거나, 가짜 통계를 만들어내거나, 실제 인물이나 실제 사건에 대한 사실을 잘못 전달할 수 있습니다. 어떤 모습인지 보여드리겠습니다. 여러분이 Claude에게 Jared Kaplan이 쓴 논문들에 대해 알려달라고 요청했습니다. Claude는 자신 있게 답변을 제공합니다. 하지만 그 제목들 중 실제로 존재하는 것은 하나도 없습니다.

Claude는 불과 1년 전보다도 환각을 훨씬 덜 일으킵니다. 솔직히 말씀드리면, 저희가 Claude의 환각을 줄이기 위해 많은 노력을 기울였기 때문에 이런 예시를 찾는 데도 시간이 꽤 걸렸습니다. 하지만 그게 바로 핵심입니다. 환각은 예측하기 어렵고, 발견하기 어려우며, 잘못된 답변이 정답처럼 보이는 경우가 많습니다. 그리고 환각이 점점 드물어지면서, 사람들은 AI의 작업 결과를 굳이 확인하지 않는 경우가 많아졌습니다. 그러니 이런 일이 왜 일어나는지, 저희가 이에 대해 무엇을 하고 있는지, 그리고 AI를 사용할 때 환각을 어떻게 발견할 수 있는지 이야기해 보겠습니다.

Claude와 같은 AI 어시스턴트는 인터넷에서 방대한 양의 텍스트를 읽으며 학습합니다. 이들은 어떤 단어나 아이디어가 일반적으로 다음에 올지 파악하는 데 매우 능숙해집니다. 마치 여러분이 타이핑할 때 휴대폰이 다음 단어를 제안하는 것과 비슷합니다. 이는 대부분의 경우 잘 작동합니다. 하지만 비교적 잘 알려지지 않은 연구자의 특정 연구 논문처럼 잘 알려지지 않은 주제에 대해 질문하면, AI가 참고할 만한 정보가 충분하지 않습니다. 그래서 AI는 도움이 되려고 노력하며 추측을 합니다. 그리고 때로는 그 추측이 틀립니다.

이는 인기 있는 책을 모두 읽고 그에 관한 온갖 사소한 사실들을 아는 것에 큰 자부심을 가진 친구에게 물어보는 것과 비슷합니다. 하지만 그 친구는 전문가처럼 보이고 싶어 하기 때문에, "모르겠어"라고 인정하는 대신 때때로 자신 있게 틀린 말을 합니다. AI는 도움이 되도록 훈련받았기 때문에, 확신이 없을 때도 어떻게든 답을 주고 싶어 합니다.

하지만 저희에게는 이를 완화할 방법이 있습니다. 학습 과정에서, 저희는 Claude에게 정직할 것과 확신이 없을 때는 "모르겠습니다"라고 말하도록 가르칩니다. 저희는 정직함이 옳은 일일 뿐만 아니라 더 도움이 되는 방법의 일부이기도 하다는 것을 Claude에게 가르치려고 노력합니다.

저희는 Claude를 혼란스럽게 만들도록 특별히 고안된 수천 개의 질문으로 정기적으로 테스트합니다. 잘 알려지지 않은 사실, 틈새 주제, 진실한 답이 "모르겠습니다"인 질문들입니다. 저희는 다음과 같은 것들을 측정합니다: Claude가 확신이 없다고 올바르게 말하는 빈도는 얼마나 되는가? 인용이나 통계를 지어내는가? 거짓을 자신 있게 말하는 것에 비해 적절하게 조심스러운 태도를 보이는 빈도는 얼마나 되는가? 이러한 테스트는 저희가 문제를 발견하고 진행 상황을 추적하는 데 도움이 됩니다. Claude의 새 버전이 나올 때마다 개선이 이루어지는 것을 확인했지만, 이는 AI 분야 전체에 있어 여전히 진행 중인 과제이며 결코 해결된 문제가 아니라는 점을 솔직히 말씀드립니다.

이런 일이 언제 발생하는지 알아차리는 방법이 궁금하시다면, 환각은 몇 가지 유형의 상황에서 발생할 가능성이 가장 높습니다. 예를 들어, 구체적인 사실, 통계, 또는 인용을 요청하는 경우, 주제가 잘 알려지지 않았거나, 틈새 분야이거나, 매우 최근의 것인 경우, 실제로 존재하지만 널리 알려지지 않은 사람이나 장소에 대해 질문하는 경우, 또는 날짜, 이름, 숫자와 같은 정확한 세부 정보가 필요한 경우입니다.

환각을 줄이는 데 사용할 수 있는 몇 가지 팁을 알려드리겠습니다. 먼저, AI에게 자신의 주장을 뒷받침할 출처를 찾아달라고 요청하세요. 그리고 이미 출처를 제공했다면, 그 출처가 실제로 AI가 말하는 내용을 뒷받침하는지 확인해 달라고 요청하세요. AI에게 미리 "모르셔도 괜찮습니다"라고 말해 보세요. 그리고 답변이 확실하지 않다면, AI에게 얼마나 확신하는지, 그리고 무언가 잘못되었을 가능성이 있는지 물어보세요. 종종 AI는 자신이 틀렸다는 것을 알고 있지만, 그저 자신 있게 보이고 싶었을 뿐입니다.

확신이 서지 않는 답변이 있다면, 새 대화를 시작하여 AI에게 그 답변에서 오류를 찾아달라고 요청하고, 출처가 그 진술을 뒷받침하는지 확인해 달라고 요청하세요. 중요한 작업의 경우, 신뢰할 수 있는 출처와 교차 확인해야 합니다. 회의적인 태도를 유지하고 구체적인 숫자, 날짜, 인용을 다시 확인하세요. 뭔가 이상하게 느껴진다면, 후속 질문을 해보세요.

환각을 줄이는 것은 AI를 모두에게 더 신뢰할 수 있고 유용하게 만들기 위한 중요한 목표입니다. 저희는 이 분야에서의 진행 상황을 저희 블로그에서 계속 공유할 것입니다. AI와 함께 작업하기 위한 다른 도구와 프레임워크에 대해서는 Anthropic Academy에서 배우실 수 있습니다.