AI 모델에서 아첨(sycophancy)이란 무엇인가요?

안녕하세요! 제 이름은 Kira이며, Anthropic의 안전장치 팀에서 일하고 있습니다. 저는 정신 건강, 구체적으로는 정신의학 역학 분야에서 박사 학위를 받았으며, Anthropic에서는 사용자 웰빙과 관련된 위험을 완화하는 업무를 담당하고 있습니다. 이는 곧 Claude를 사용하는 사용자를 안전하게 지키는 방법에 대해 많이 고민한다는 의미입니다. 오늘은 아첨(sycophancy)에 대해 이야기해 보려고 합니다.

아첨이란 누군가가 진실하거나 정확하거나 진정으로 도움이 되는 것 대신, 상대방이 듣고 싶어 한다고 생각하는 것을 말하는 것을 의미합니다. 사람들은 갈등을 피하거나, 호의를 얻거나, 그 밖의 여러 이유로 이런 행동을 합니다. 그런데 이러한 아첨은 AI 모델에서도 나타날 수 있습니다. 때때로 AI 모델은 프롬프트나 대화에 대한 응답을 즉각적인 사용자 승인에 맞춰 최적화할 수 있습니다. 이는 사용자가 저지른 사실 오류에 AI가 동의하거나, 질문을 표현한 방식에 따라 답변을 바꾸거나, 사용자의 선호에 맞춰 응답을 조정하는 형태로 나타날 수 있습니다.

이 영상에서는 모델에서 아첨이 발생하는 이유와, 이것이 연구자들에게 왜 해결하기 어려운 문제인지 이야기해 보겠습니다. 또한 AI와 작업할 때 아첨하는 행동을 식별하고 대응하는 전략도 다루겠습니다.

본격적으로 시작하기 전에, AI와의 상호작용에서 나타나는 아첨의 예시를 보여드리겠습니다. 이것은 Anthropic의 자체 모델인 Claude입니다. 한번 해볼까요. "안녕하세요, 제가 정말 멋진 에세이를 썼는데 너무 신나요." "평가하고 피드백을 공유해 주실 수 있나요?" 여기서 제 주된 요청은 제 에세이에 대한 피드백을 받는 것입니다. 하지만 제가 얼마나 신나 있는지를 공유했기 때문에, 이는 AI가 비판 대신 검증이나 지지로 응답하도록 이끌 수 있습니다. 이러한 검증은 제 에세이가 실제로는 그렇지 않더라도 정말 훌륭하다고 생각하게 만들 수 있습니다.

"그래서 뭐가 문제인가요?" "사람들은 그냥 다른 사람에게 물어보거나, 사실을 확인하거나, 더 나은 질문을 하면 되잖아요."라고 생각하실 수도 있습니다. 하지만 이는 여러 이유로 중요한 문제입니다. 생산적인 작업을 하려고 할 때, 즉 발표 자료를 작성하거나, 아이디어를 브레인스토밍하거나, 작업물을 개선하려고 할 때는 사용하는 AI 도구로부터 정직한 피드백이 필요합니다. "이 이메일을 어떻게 개선할 수 있을까요?"라고 AI에게 물었는데, 더 명확한 표현이나 더 나은 구조를 제안하는 대신 "이미 완벽합니다"라고 답한다면, 이는 답답한 일이 될 수 있습니다. 어떤 경우에는 아첨이 해로운 사고 패턴을 강화하는 데 역할을 할 수도 있습니다. 만약 누군가가 현실과 동떨어진 음모론을 확인해 달라고 AI에게 요청한다면, 이는 그 사람의 잘못된 믿음을 더욱 깊게 만들고 사실로부터 더 멀어지게 만들 수 있습니다.

이런 일이 왜 일어나는지부터 살펴보겠습니다. 이는 결국 AI 모델이 어떻게 학습되는지와 관련이 있습니다. AI 모델은 수많은 인간 텍스트 예시로부터 학습합니다. 이 학습 과정에서 모델은 직설적이고 단도직입적인 것부터 따뜻하고 수용적인 것까지, 온갖 종류의 의사소통 패턴을 습득하게 됩니다. 모델을 도움이 되도록 학습시키고 따뜻하거나 친근하거나 지지적인 어조의 행동을 모방하도록 훈련할 때, 아첨은 그 과정에서 의도치 않게 함께 딸려 오는 경향이 있습니다. AI 모델이 우리 삶 전반에 점점 더 통합되어 가는 만큼, 이러한 행동을 이해하고 방지하는 것이 그 어느 때보다 중요해지고 있습니다.

아첨이 까다로운 이유는 바로 여기에 있습니다. 우리는 실제로 AI 모델이 사용자의 필요에 맞춰 적응하기를 원하지만, 사실이나 웰빙에 관한 문제에서는 그렇지 않기를 바랍니다. 만약 AI에게 캐주얼한 어조로 글을 써 달라고 요청하면, 격식 있는 언어를 고집하는 대신 그렇게 해야 합니다. "저는 간결한 답변을 선호합니다"라고 말하면, 이를 하나의 선호로 존중해야 합니다. 어떤 주제를 배우고 있어서 초보자 수준의 설명을 요청한다면, 사용자의 수준에 맞춰 응답해야 합니다. 문제는 적절한 균형을 찾는 것입니다. 모든 작업에서 끊임없이 반대하거나 논쟁적인 태도를 보이는 AI를 사용하고 싶어 하는 사람은 없습니다. 하지만 동시에, 정직한 피드백이 필요할 때 모델이 항상 동의나 칭찬으로 빠지는 것도 원하지 않습니다.

인간조차도 이 문제로 어려움을 겪습니다. 평화를 유지하기 위해 동의해야 할 때와, 중요한 문제에 대해 목소리를 내야 할 때를 어떻게 구분할까요? 이제 AI가 우리처럼 맥락을 진정으로 이해하지 못한 채, 완전히 다른 수백 가지 주제에 걸쳐 그런 판단을 내려야 한다고 상상해 보세요. 그렇기 때문에 저희는 대화 속에서 아첨이 어떻게 나타나는지 계속 연구하고, 이를 테스트할 더 나은 방법을 개발하고 있습니다. 저희는 도움이 되는 적응과 해로운 동의 사이의 차이를 모델에게 가르치는 데 집중하고 있습니다. 저희가 출시하는 각 Claude 모델은 이러한 경계를 더 잘 구분하게 됩니다.

아첨에 대응하는 데 있어 가장 큰 진전은 모델 자체에 대한 지속적인 학습에서 나오겠지만, 자신의 상호작용에서 아첨을 알아챌 수 있도록 아첨이 무엇인지 이해하는 것도 도움이 됩니다. 이제 아첨이 무엇인지, 그리고 왜 발생하는지 알게 되셨으니, 두 번째 단계는 AI가 언제, 왜 사용자에게 동의하고 있는지 성찰하고, 그것이 과연 타당한지 의문을 제기하는 것입니다. 아첨은 주관적인 진실이 사실처럼 제시될 때, 전문가 출처가 인용될 때, 질문이 특정 관점으로 틀 지어질 때, 검증이 명시적으로 요청될 때, 감정적 이해관계가 걸려 있을 때, 또는 대화가 매우 길어질 때 나타날 가능성이 가장 높습니다.

만약 아첨하는 응답을 받고 있다고 의심된다면, AI를 다시 사실에 기반한 답변으로 유도하기 위해 할 수 있는 몇 가지 방법이 있습니다. 이 방법들이 완벽한 해결책은 아니지만, AI의 시야를 넓히는 데 도움이 될 것입니다. 중립적이고 사실을 추구하는 언어를 사용하거나, 신뢰할 수 있는 출처와 정보를 교차 확인하거나, 정확성이나 반대 논거를 요청하거나, 질문을 다시 표현하거나, 새로운 대화를 시작하거나, 마지막으로 AI 사용에서 한 걸음 물러나 신뢰하는 사람에게 물어볼 수 있습니다.

하지만 이는 AI 개발 분야 전체에 걸친 지속적인 과제입니다. 이러한 시스템이 더욱 정교해지고 우리 삶에 더욱 깊이 통합될수록, 단순히 동의하는 것이 아니라 진정으로 도움이 되는 모델을 만드는 것이 점점 더 중요해지고 있습니다. Anthropic Academy에서 AI 역량에 대해 더 자세히 알아보실 수 있으며, 저와 저희 팀은 이 주제에 대한 연구를 Anthropic의 블로그를 통해 계속 공유해 나가겠습니다.