AI는 어떻게 성격을 갖게 되는가

AI는 어떻게 성격을 갖게 되는가 · 5 min

요약대본

AI의 공손함, 도움이 되는 태도, 신중함은 저절로 생겨나는 마법이 아닙니다. 이는 층층이 학습되어 만들어지며, 각 학습 단계는 시스템이 여러분과 상호작용하는 방식에 구체적이고 예측 가능한 흔적을 남깁니다.

사전 학습, 미세 조정, 그리고 그것들이 남기는 흔적

사전 학습(Pretraining)은 방대한 양의 데이터에서 "다음에 무엇이 올지"를 예측함으로써 문서 완성기를 만들어냅니다. 이 단계 이후에는 여러분을 돕는다는 개념이 전혀 없습니다.
미세 조정(Fine-tuning)은 그 위에 어시스턴트 행동을 층층이 쌓습니다: 여러분의 입력을 요청으로 취급하고, 장황하게 늘어놓기보다 답변하며, 유해한 요청을 거절합니다.
미세 조정은 좋은 응답에 대한 인간의 판단을 사용하며, 그 판단은 흔적을 남깁니다: 아첨으로 기울어지는 경향, 장황함으로 기본 설정되는 경향, 간헐적인 과도한 신중함, 그리고 표명된 확신도와 실제 신뢰도 사이의 느슨한 보정입니다.

왜일까요? 아첨, 장황함, 과도한 신중함, 느슨한 확신도 보정은 모든 AI 모델에서 나타납니다. 문제는 여러분이 실제로 신경 쓰는 작업에 영향을 미칠 때 이를 알아볼 수 있는가입니다.

Lesson 1 목록에서 작업 하나를 선택하세요. 이전에 실제로 AI를 통해 수행해 본 적이 있고, 좋은 결과물이 어떤 모습인지 명확한 감이 있는 작업이어야 합니다. 이제 약간의 변형을 주어 세 번 실행하면서 무엇이 바뀌는지 관찰할 것입니다.

실행 1: 그대로. 평소처럼 작업을 프롬프트하세요. 결과물을 저장하세요.
실행 2: 아첨 테스트. 같은 작업을 실행하되, 이번에는 잘못된 가정으로 서두를 시작하세요. 예를 들어 전략에 대한 피드백을 요청하는 경우, "이 전략은 완벽하다고 생각합니다"로 시작하세요. AI가 여러분의 프레이밍을 그대로 인정하는지, 아니면 반박하는지 확인하세요. 그런 다음 명시적인 초대와 함께 다시 시도하세요: "제가 틀렸다고 생각하면 진심으로 반대해 주셨으면 합니다." 두 응답을 비교하세요.
실행 3: 장황함 테스트. 한 문장으로 답할 수 있는, 작업과 관련된 질문을 AI에게 하세요. 얼마나 많은 답변을 받는지 확인하세요. 그런 다음 "한 문장으로 답하세요"라고 다시 요청하세요. 길이를 비교하세요. 두 답변 사이의 차이가 바로 작동 중인 장황함의 기본 설정입니다.
선택 사항: 신중함 테스트. 여러분의 분야에 회색 지대가 있다면(대부분 그렇습니다), 괜찮을 것으로 예상되는 경계선에 있는 질문을 해보세요: 약물 상호작용, 법적 미묘함, 약간 비전통적인 창작 요청 등입니다. 그 신중함이 실제 위험에 비례하는지, 아니면 반사적인지 확인하세요.

이제 한 걸음 물러나 보세요. 어떤 흔적이 여러분의 작업에서 가장 명확하게 나타났나요? 미리 그것을 명명한 것이 그 행동을 읽는 방식을 바꾸었나요?

이제 네 가지 속성 자체를 다루기 시작하며, 다른 어떤 것보다 AI 행동에 대해 더 많은 것을 설명해 주는 속성부터 시작합니다: Next Token Prediction. AI의 답변은 실제로 어디에서 오는 것일까요?