더 나은 결과 얻기

지난 수업에서는 데이터 프라이버시와 보안—반드시 보호해야 할 것과 그 방법—에 대해 다루었습니다. 이제 아마도 여러분이 데이터 분석에 AI를 사용하는 것을 애초에 망설이게 만들었을 질문에 대해 이야기해 보겠습니다: 결과를 어떻게 신뢰할 수 있을까요?

오늘 수업은 위임-책임감 루프에 관한 것으로, 구체적으로는 여러분이 이미 이해하고 있는 데이터를 기준으로 체계적으로 테스트함으로써 여러분의 특정 업무에 대한 AI의 분석 역량에 대한 신뢰를 구축하는 것입니다. 이를 통해 AI가 여러분의 특정 상황을 어떻게 지원할 수 있는지 더 잘 이해할 수 있습니다.

이 과정은 위임에서 시작됩니다. 작동 방식은 다음과 같습니다. 먼저, AI에 위임하고 싶은, 정기적으로 수행하는 특정 분석 작업을 식별합니다. 이미 분석을 완료한 과거 데이터를 찾은 다음, AI와 함께 작업하여 여러분이 했던 작업을 재현하고, 무엇이 효과가 있고 무엇이 효과가 없는지 평가합니다. 접근 방식을 다듬고 다시 테스트합니다. AI가 여러분이 알고 있는 결과와 일치할 수 있다면, 향후 유사한 작업에 대해 AI를 어떻게 사용하고 신뢰할지 알게 됩니다. 그렇지 않다면, 이 작업은 위임해서는 안 되는 작업이라는 것을 배우게 됩니다.

그럼 실제로 이것이 어떤 모습인지 보여드린 다음, 처음부터 데이터에 그다지 능숙하지 않은 경우 어떻게 해야 하는지 이야기해 보겠습니다.

Valley Veterans Services의 프로그램 디렉터인 Rio를 만나보겠습니다. 그는 매 분기마다 프로그램 참석률을 고용 성과와 함께 분석하며, 참여율을 계산하고, 월별 변화를 추적하고, 출석이 취업 성공과 상관관계가 있는지 판단합니다. 이 분석에는 항상 몇 시간이 걸립니다.

위임을 고려하면서, Rio는 이 분석 결과를 계속 활용하여 프로그램을 개선하고 싶어합니다. 그는 결과를 직접 해석하고 싶어하지만, 실제 분석을 수행하기 위해 보통 겪게 되는 데이터 정리와 수식 혼란은 없어도 된다고 생각합니다. 그래서 이 시나리오에서 AI가 적합한지 테스트하기 위해, 그는 지난 분기 데이터를 사용하여 평가하려고 합니다. 그는 AI 없이 분석한 후 이 데이터가 정확히 무엇을 보여주었는지 알고 있으며, 시작하기 전의 원시 지저분한 데이터도 가지고 있습니다. 이것이 그의 테스트 케이스입니다.

Rio는 데이터를 업로드하고 AI와 함께 작업을 시작하며, 설명과 분별력을 사용하여 분석을 수행합니다. 다만 AI가 응답할 때마다, Rio는 결과를 자신이 알고 있는 사실과 대조하여 확인하고 AI의 추론에서 잠재적인 격차를 메모합니다. 때로는 추가 설명이 AI가 그가 원하는 결과를 얻는 데 도움이 됩니다. 이런 경우, Rio는 향후 데이터 분석 작업을 위해 그런 종류의 정보를 포함해야 한다는 것을 알게 됩니다. 다른 경우에는, Rio가 정당한 역량 격차를 발견할 수도 있습니다. 이것이 바로 위임-책임감 루프가 작동하는 모습입니다. 모델의 역량을 평가하려는 Rio의 책임감은 향후 AI에 위임하기로 선택하는 것을 바꿀 수 있습니다.

그의 첫 시도는 다음과 같을 수 있습니다: "지난 분기 우리 직업 훈련 프로그램의 출석 데이터와 고용 성과 데이터를 공유합니다. 3개월 동안의 참여 패턴을 분석하고 출석 수준과 취업 성공 간의 상관관계를 그래프로 그려주세요. 특히 꾸준한 출석이 더 나은 취업 배치 결과를 예측하는지 이해하는 데 관심이 있습니다."

AI는 요약으로 응답합니다. 하지만 이것을 사실로 가정하는 대신, Rio는 이를 자신의 기록과 대조하여 무엇이 좋고 무엇이 좋지 않은지 메모합니다. AI는 프로그램 출석과 취업 배치 간의 상관관계를 정확히 식별했지만, 주거 지원과 취업 배치 프로그램이 결합된 경우에 대한 중요한 통찰을 놓쳤습니다. 그래서 Rio는 설명을 다듬어, AI에게 다시 시도하되 프로그램 유형에 특별히 주의를 기울이도록 요청합니다. 이번에는 AI가 자신의 실수를 바로잡습니다. 그래서 Rio는 향후 분기에는 분석을 수행할 때 AI에게 프로그램 유형을 고려하도록 구체적으로 요청해야 한다는 것을 메모합니다.

그런 다음 그는 더 어려운 것을 시도합니다: "참가자들이 등록한 시점을 기준으로도 살펴볼 수 있나요?" AI가 응답하자 Rio는 등록 데이터를 모르는데도 AI가 이를 추출하는 데 도움을 줄 수 있다는 것을 관찰합니다. 그는 나중에 이 결과를 교차 확인하기 위해 메모를 남깁니다.

이 과정을 거치면서, Rio는 분기별 보고를 위해 AI가 할 수 있는 것과 할 수 없는 것을 체계적으로 검증했습니다. 그는 올바른 설명이 있으면 AI가 자신이 수동으로 하던 분석을 정확하게 재현할 수 있다는 것을 배웠습니다. 하지만 그는 또한 명확한 한계와 후속 조치가 필요한 영역도 확인했습니다. AI는 코호트 분석을 수행하려면 데이터에 등록 날짜가 필요합니다. 그렇지 않으면 그것을 추론하려고 시도할 텐데, 그는 그것을 원하지 않습니다. 그리고 가장 중요한 것은, Rio가 이제 이번 분기 데이터에 자신 있게 사용할 수 있는 검증된 접근 방식과, 포함해야 할 정보와 직접 추가해야 할 맥락에 대한 명확한 메모를 갖게 되었다는 것입니다.

Rio가 이 검증된 접근 방식을 새로운 데이터에 사용할 때, 그의 책임감은 계속됩니다. 그는 자신의 프로그램에 대해 알고 있는 것을 바탕으로 숫자가 타당한지 확인할 것입니다. 그는 최종 보고서에 대한 책임을 질 것이며, 요청받으면 AI의 역할에 대해 투명하게 밝힐 것입니다. 하지만 이제 그는 추측이 아니라 검증된 신뢰를 바탕으로 작업하고 있습니다.

그래서 여기 프레임워크가 있습니다. 위임하고 싶은 특정 분석 작업을 식별하세요. 필요한 것이 무엇인지 정확하게 파악하세요. 그런 다음 이미 그 분석을 완료한 과거 데이터를 찾으세요. AI가 올바른 답에 도달할 수 있는지 평가하려면 올바른 답이 필요합니다. AI와 함께 작업하여 과거 분석을 재현하고 결과를 체계적으로 평가하세요. AI가 무엇을 만들어냈나요? 작업에 어떻게 접근했나요? 결과를 어떻게 전달했나요? 격차를 식별하고, 위임 방식을 다듬은 다음, 다시 테스트하세요. AI가 올바른 결과를 만들어낸다는 것을 검증할 수 있다면, 새로운 데이터에 자신 있게 사용할 수 있는 접근 방식을 구축한 것입니다. 하지만 여러 번 다듬은 후에도 거기에 도달할 수 없다면, 이것은 위임해서는 안 되는 작업이라는 것을 배운 것입니다.

이 모든 것이 훌륭하지만, 처음부터 데이터에 그다지 익숙하지 않아서 스스로 그런 프로세스 격차를 발견할 수 없다면 어떻게 해야 할까요? AI는 여러분이 스스로 생각하지 못했을 수도 있는 해결책을 브레인스토밍하고 구현하는 데 유용한 도구가 될 수도 있습니다. AI 모델은 코딩에 특히 뛰어나기 때문에, Excel 수식 작성, 지저분한 데이터 재포맷 등과 같은 작업에 도움을 줄 수 있습니다. 이런 경우, 여러분은 단순히 질문이나 아이디어를 AI에게 가져가서 해결책이 어떤 모습일지 이해하는 데 도움을 구체적으로 요청하면 됩니다. 마치 팀의 데이터 분석가와 함께 일하는 것처럼 말이죠. AI와 함께 작업할 때는, 프로세스를 따라가고 최종 결과물을 이해할 수 있도록 계속해서 설명과 해명을 요청하세요.

다만 기억하세요, 검증은 신뢰를 구축하지만 책임을 없애지는 않습니다. 여러분은 여전히 이러한 결과가 타당한지 확인하고 분석 과정에서 AI의 역할에 대해 투명하게 밝힐 책임이 있습니다.

이 테스트는 여러분이 고려하고 있는 모든 분석 작업에 적용됩니다: 기부자 분석, 예산 예측, 설문조사 종합, 성과 추적 등. 먼저 테스트하고, 무엇이 효과가 있는지 검증한 다음, 더 큰 자신감을 가지고 적용하거나, 전혀 위임해서는 안 된다는 것을 배우세요.

다음 수업에서는 워크플로 증강과, AI가 여러분을 대신해 일상적인 작업을 처리할 때 이러한 동일한 원칙을 적용하는 방법을 살펴보겠습니다.