같은 숫자를 보더라도 어떤 질문부터 던지는지는 사람마다 다릅니다.
실무에서 데이터 자료를 받으면 곧바로 분석하기보다 먼저 확인해야 할 사항부터 떠올리게 됩니다.
어떤 사람은 매출부터 살펴보고, 어떤 사람은 고객 관련 데이터를 먼저 확인하며, 또 다른 사람은 숫자의 기준부터 묻기도 합니다.
AI도 마찬가지일까요?
이번 글에서는 ChatGPT와 Claude가 같은 숫자 데이터를 보고 무엇을 먼저 확인하려하는지, 어떤 관점에서 자료를 바라보는지 비교해보겠습니다.
테스트 방법
임의의 경영 데이터를 제시하고 CEO라면 가장 먼저 어떤 질문을 할 것인지 ChatGPT와 Claude에 동일하게 물어보았습니다.
첫 질문과 그 이후 질문이 어떤 방향으로 이어지는지를 비교했습니다.
사용한 프롬프트는 다음과 같습니다.
당신은 CEO입니다.
다음과 같은 경영 데이터를 오늘 처음 받았습니다.
| 항목 | 수치 |
|---|---|
| 매출 | -12% |
| 신규 고객 | +15% |
| 광고비 | +20% |
| 고객 만족도 | +8% |
| 재구매율 | -18% |
| 고객 문의 | +25% |
현재 자료만으로 가장 먼저 담당자에게 확인해야 할 질문 10가지를 우선순위대로 작성해 주세요.
각 질문마다
- 왜 그 질문이 중요한지
- 이 질문을 통해 무엇을 확인하려는 것인지
함께 설명해 주세요.
현재 데이터만으로 확정할 수 없는 내용은 추측하지 말고,
추가 확인이 필요한 사항으로 구분해 주세요.
ChatGPT 결과
ChatGPT는 답변을 시작하면서 먼저 현재 자료의 상태를 설명했습니다.
“이 자료는 변화율만 제시되어 있고 기준 기간, 절대값, 원인 등이 전혀 없기 때문에 현재 단계에서는 원인을 확정할 수 없습니다.”
이후 첫 번째 질문으로 제시한 내용은 다음과 같았습니다.
“이 수치는 어떤 기간을 기준으로 하며 무엇과 비교한 변화율인가요?”
이후 질문은 다음과 같은 순서로 이어졌습니다.
- 매출 감소 원인은 무엇인가
- 신규 고객은 증가했는데 매출은 왜 감소했는가
- 재구매율 하락 원인은 무엇인가
- 광고비 증가의 목적과 성과는 무엇인가
- 고객 문의 증가 이유는 무엇인가
- 고객 만족도는 어떤 방식으로 측정했는가
마지막에는 현재 데이터만으로 확정할 수 있는 내용과 추가 확인이 필요한 사항을 별도로 구분해 정리했습니다.
특히 매출 감소 원인, 광고 효과, 문의 증가 이유, 수익성 변화 등은 모두 현재 자료만으로는 판단할 수 없다고 명시했습니다.
Claude 결과
Claude는 답변을 시작하는 방식부터 달랐습니다.
첫 문장에서 바로 다음과 같이 설명했습니다.
“이 표에서 눈에 띄는 모순이 있습니다.”
그리고 그 이유를 먼저 정리했습니다.
- 신규 고객은 증가했다.
- 광고비도 증가했다.
- 고객 만족도도 상승했다.
- 그런데 매출은 감소했고 재구매율은 하락했으며 고객 문의는 증가했다.
이처럼 서로 다른 방향으로 움직이는 지표가 있기 때문에 담당자 확인 없이 원인을 특정할 수 없다고 설명했습니다.
첫 번째 질문은 ChatGPT와 마찬가지로 비교 기준을 확인하는 것이었습니다.
“모든 수치의 비교 기준이 무엇인가.”
하지만 두 번째 질문부터는 다른 순서가 이어졌습니다.
Claude는 고객 문의 증가에 대해 먼저 문의 유형이 무엇인지를 확인하려 했습니다.
단순 문의인지, 불만인지, 환불 요청인지에 따라 같은 증가라도 의미가 달라질 수 있기 때문이라고 설명했습니다.
이후에는 다음과 같은 질문이 이어졌습니다.
- 재구매율의 정의와 하락 시점
- 신규 고객은 늘었는데 매출이 감소한 이유
- 광고비 증가 대비 고객 획득 효율(CAC)
- 고객 만족도 조사 대상과 표본
- 특정 제품이나 채널에 문제가 집중됐는지
- 기존 고객 이탈 데이터 존재 여부
- 문의 증가 이후 응대 품질 변화
- 외부 요인이 있었는지
마지막에는 현재 자료만으로 단정할 수 없는 내용을 별도로 정리하며 원인을 추측하지 않는다고 명확히 밝혔습니다.
비교 포인트
이번 테스트에서 가장 먼저 확인된 공통점은 두 AI 모두 현재 자료만으로 원인을 단정하지 않았다는 점입니다.
또한 첫 번째 질문 역시 모두 비교 기준이 무엇인지 확인하는 것이었습니다.
하지만 그 다음 질문의 흐름은 달랐습니다.
ChatGPT는 비교 기준을 확인한 뒤 각 지표를 차례대로 살펴보며 분석에 필요한 정보를 넓혀가는 질문을 이어갔습니다.
반면 Claude는 답변을 시작하면서 지표 사이의 모순을 먼저 설명했고, 이후 질문도 그 모순을 확인하는 순서로 이어졌습니다.
예를 들어 고객 문의 증가에 대해서는 증가 자체보다 문의 유형을 먼저 확인했고, 광고비 증가에 대해서는 광고비 증가율과 신규 고객 증가율을 함께 놓고 질문을 구성했습니다.
질문의 우선순위와 구성 방식에서 두 AI의 접근 차이가 분명하게 드러났습니다.
실무에서는 어떻게 활용하면 좋을까?
이번 테스트에서 흥미로웠던 점은 두 AI 모두 질문을 던졌지만, 질문의 방향이 달랐다는 것입니다.
보고서를 처음 검토할 때는 ChatGPT의 질문을 함께 확인해보세요.
ChatGPT는 먼저 자료를 해석하기 위해 필요한 정보를 차례대로 확인했습니다.
예를 들어 비교 기준, 매출 감소 원인, 광고 효과, 재구매율 하락 원인처럼 현재 보고서만으로 부족한 정보를 하나씩 확인하는 질문을 제시했습니다.
실무에서는 담당자가 작성한 보고서를 처음 검토할 때 “추가로 어떤 자료를 받아야 하는지”를 점검하는 용도로 활용하기 좋습니다.
지표 간에 서로 맞지 않는 부분이 없는지 검토할 때는 Claude의 질문을 참고해보세요
Claude는 답변을 시작하면서 지표들이 서로 다른 방향을 가리키고 있다는 점을 먼저 설명했습니다.
이후에도 고객 문의 증가와 재구매율 하락, 광고비 증가와 신규 고객 증가처럼 여러 지표를 함께 놓고 확인하는 질문을 이어갔습니다.
보고서를 읽으며 “이 숫자와 저 숫자가 함께 나타나는 이유는 무엇일까?”를 검토하고 싶다면 Claude의 질문 목록이 새로운 확인 포인트를 만드는 데 도움이 될 수 있습니다.
두 AI를 함께 활용하는 방법
이번 테스트처럼 동일한 데이터를 두 AI에 모두 입력해 보는 것도 좋은 방법입니다.
ChatGPT가 제시한 질문으로 필요한 자료가 빠졌는지 확인하고, Claude가 제시한 질문으로 지표 사이의 관계를 다시 점검하면 담당자에게 물어봐야 할 내용을 보다 폭넓게 정리할 수 있습니다.
자주 묻는 질문
Q1. 우리 회사 KPI(Key Performance Indicator, 핵심성과지표)를 그대로 입력해도 괜찮을까요?
사내 매출이나 고객 정보처럼 민감한 데이터는 그대로 입력하기보다 수치를 비율로 바꾸거나 제품명, 고객명 등 식별 가능한 정보를 제거한 후 사용하는 것이 좋습니다.
이번 테스트처럼 변화율만으로도 AI가 어떤 질문을 던지는지 확인하는 데는 충분했습니다.
Q2. 새로운 업무가 또 생기면 처음부터 다시 입력해야 하나요?
그럴 필요는 없습니다. 기존 업무 목록에 새로 받은 업무만 추가한 뒤 “기존 우선순위를 다시 조정해 주세요.”라고 요청하면 됩니다. 새 업무가 다른 업무의 일정이나 우선순위에 어떤 영향을 주는지도 함께 확인할 수 있어 실제 업무에서 활용하기 편리합니다.
Q3. 숫자가 더 많은 보고서에서도 같은 방법을 사용할 수 있나요?
가능합니다.
오히려 항목이 많을수록 질문이 어떤 순서로 이어지는지가 더 뚜렷하게 드러납니다.
월간 KPI, 영업 실적, 마케팅 성과처럼 여러 지표가 함께 있는 보고서일수록 동일한 프롬프트를 입력해 질문의 우선순위를 비교해보는 것이 도움이 됩니다.
마무리
이번 테스트에서는 두 AI 모두 현재 자료만으로 원인을 단정하지 않았고, 가장 먼저 비교 기준을 확인한다는 점에서 비슷한 모습을 보였습니다.
차이는 그다음부터 나타났습니다.
ChatGPT는 매출, 신규 고객, 광고비처럼 개별 지표를 차례대로 확인하며 분석에 필요한 정보를 순차적으로 확인해 나갔고, Claude는 답변을 시작하면서 지표 간의 모순을 설명한 뒤 그 관계를 검증하는 질문을 이어갔습니다.
같은 데이터를 입력했더라도 질문이 이어지는 방식과 확인하려는 초점은 서로 달랐던 것입니다.
AI를 비교할 때는 최종 결론만 볼 것이 아니라 질문이 어떤 기준으로 이어지는지, 그리고 각 질문이 어떤 정보를 확인하기 위해 만들어졌는지까지 함께 살펴보면 업무에서 더 적합한 활용 방법을 찾는 데 도움이 될 것입니다.