AI에게 하나를 선택해달라고 했더니 | 질문하는 방법에 따라 결과가 달라졌다

AI에게 여러 선택지 중 하나를 골라달라고 해본 적 있으신가요?

예를 들어 워크숍 장소나 여행지, 식당처럼 선택해야 할 것이 많을 때 AI에게 조건을 알려주고 가장 적합한 하나를 추천해달라고 할 수 있습니다.

팀 워크숍 장소를 결정해야 하는 상황을 만들어 두 가지 방법으로 AI에게 하나를 선택해달라고 요청해보았습니다.

첫 번째 방법은 AI가 추천한 후보 중에서 대화를 통해 중간에 기준을 적용시켜 범위를 좁혀가며 최종 장소를 결정했습니다.

두 번째 방법은 처음부터 한꺼번에 기준을 제시해서 최종 장소를 결정했습니다.

그런데, 결과가 달랐습니다.

첫 번째 방법에서는 헤이리 예술마을이 최종 선택이었는데, 두 번째 방법에서는 서울숲+성수가 선택되었습니다.

더 흥미로운 점은 서울숲+성수가 첫 번째 방법에서 AI가 추천했던 10개 후보 안에도 아예 없었다는 것입니다.

왜 이런 차이가 생겼을까요?

이번에는 AI에게 선택을 맡길 때 질문의 방법과 후보의 범위가 결과에 어떤 영향을 주는지 직접 확인해 보았습니다.

첫 번째 방법

후보지 10곳을 추천받았다

처음에는 AI에게 다음과 같이 질문했습니다.

서울에서 출발해서 당일치기로 다녀올 수 있는 팀 워크숍 장소를 추천해줘.
팀원은 10명이고, 10곳 정도 추천해줘.
각 장소의 특징과 장단점도 알려줘.

AI는 서울 근교의 팀 워크숍 장소 10곳을 추천했습니다.

대표적으로

  • 블룸비스타 호텔앤컨퍼런스
  • 헤이리 예술마을
  • BMW 드라이빙 센터
  • 한컴말랑말랑청리움
  • 양평쉬자파크
  • 세미원
  • 아침고요수목원
  • 가평빠지 리버포인트 수상레저
  • 양평헬스투어협동조합
  • 청심평화월드센터

등이 나왔습니다.

처음에는 꽤 다양한 후보가 나왔습니다.

그런데 실제로 장소를 고르려고 보니 후보가 너무 많았습니다.

그래서 다음 질문을 이어서 해봤습니다.

선택 기준을 요청해보았다

추천해준 곳이 너무 많아서 결정하기 어려워.
팀 워크숍 장소를 선택할 때 어떤 기준을 먼저 정하면 좋을지 알려줘.

AI는 장소 자체보다 워크숍의 목적과 제약조건을 먼저 정하는 것이 좋다고 답했습니다.

주요 기준으로는

  • 워크숍 목적
  • 이동시간
  • 예산
  • 필요한 시설
  • 날씨
  • 팀원들의 선호

등을 제시했습니다.

이 중에서 팀의 상황에 맞추어 중요한 기준을 3가지로 좁혀보았습니다.

중요한 조건을 추가했다

그래서 AI에게 다음과 같이 요청했습니다.

우리 팀은 비용을 많이 사용할 수 없고, 이동 시간이 너무 길지 않았으면 좋겠어.
팀원들이 함께할 수 있는 활동도 중요해.
앞에서 추천한 장소 중 이 조건에 맞는 3곳만 골라줘.
각 장소를 추천한 이유도 알려줘.

AI는 헤이리 예술마을, 세미원, 두물머리 세 곳을 골랐습니다.

그런데 여기서 한 가지 흥미로운 점이 있었습니다. 두물머리는 처음에 AI가 추천한 10개 후보에는 없던 장소였습니다.

따라서 프롬프트에서 ‘앞에서 추천한 장소 중’이라고 요청했음에도 AI는 처음 후보 10곳에 없던 두물머리를 새로운 후보로 포함했습니다.

하나를 선택해달라고 요청했다

이제 세 곳을 비교한 뒤 최종적으로 하나를 선택해달라고 했습니다.

지금까지 정리한 조건을 기준으로 하나를 선택한다면 어떤 곳을 추천해?
내가 제시한 조건을 기준으로 추천 이유를 설명해줘.

그리고 비용, 이동시간, 팀 활동을 기준으로 비교한 결과 헤이리 예술마을을 가장 균형적인 선택으로 평가했습니다.

구체적인 이유는 크게 세 가지였습니다.

첫째, 비용 부담을 비교적 낮게 유지할 수 있다는 점.

둘째, 서울에서 이동하는 부담이 상대적으로 적다는 점.

셋째, 전시·체험·산책 등을 조합해 팀 활동을 구성하기 좋다는 점이었습니다.

처음에는 이 정도면 결정을 내려도 되겠다고 생각했습니다.

그런데 한 가지 궁금한 점이 생겼습니다.

처음부터 모든 조건을 알려주면 결과도 같을까?

두 번째 방법

한꺼번에 모든 조건을 제시하여 요청했다.

이번에는 앞선 대화의 영향을 받지 않도록 새로운 채팅에서 다시 질문했습니다.

어떤 후보도 없는 상태에서 우리가 중요하게 생각했던 조건을 모두 넣었습니다.

서울에서 출발해서 당일치기로 다녀올 수 있는 10명 규모의 팀 워크숍 장소를 하나 추천해줘.
우리 팀은 비용을 많이 사용할 수 없고, 이동 시간이 너무 길지 않았으면 좋겠어.
팀원들이 함께할 수 있는 활동도 중요해.
비용, 이동 시간, 팀 활동을 기준으로 후보를 비교해서 가장 적합한 장소 하나를 선택해줘.
추천 이유와 함께 최종 결정 전에 추가로 확인해야 할 중요한 조건도 알려줘.

결과물에서 후보로 제시한 곳은

  • 남양주 물의 정원
  • 가평 아침고요수목원
  • 서울숲 + 공간대여
  • 성수 리얼월드

였습니다.

그리고 최종 추천은 서울숲 + 성수 팀빌딩이었습니다.

앞선 테스트에서 최종 선택했던 헤이리 예술마을과는 완전히 다른 결과였습니다.

처음에는 조금 의외였습니다.

왜 결과가 달라졌을까?

첫 번째 방법에서 먼저 AI에게

서울 출발 + 당일치기 + 팀 워크숍 + 10명

이라는 기본 조건으로 10개의 후보를 추천받았습니다.

그리고 그 후보를 가지고 다음 단계에서

비용 + 이동시간 + 팀 활동

이라는 기준을 추가했더니 헤이리 예술마을, 세미원, 두물머리 세 곳을 선택했습니다.

결국 선택 과정은

10개 후보 → 3개 후보로 좁히기 → 비교 → 헤이리

로 진행되었습니다.

다만 3곳을 고르는 과정에서 AI가 처음 10개 후보에 없었던 두물머리를 포함시키는 오류가 있었습니다.

반면, 두 번째 방법에서는 처음부터

서울 출발 + 당일치기 + 팀 워크숍 + 10명 + 비용 + 이동시간 + 팀 활동

이라는 조건을 한꺼번에 제시했습니다.

그리고 처음부터 이 모든 조건을 기준으로 후보를 찾고 하나를 선택하도록 했습니다.

따라서 두 번째 방법에서는 첫 번째 방법에서 처음 추천된 10개 후보에는 없었던 서울숲+성수가 새로운 후보로 등장했고, 이를 최종 장소로 선택한 것입니다.

즉, 단순히 AI가 같은 질문에 다른 답을 한 것이라고 보기는 어렵습니다.

AI가 선택할 수 있었던 후보의 범위 자체가 달랐기 때문입니다.

그렇다면 두 번째 방법의 결과가 더 정확할까?

개인적으로는 실제 최종 결정을 위한 질문으로는 두 번째 방법이 더 적합하다고 느꼈습니다.

중요한 조건을 처음부터 모두 제시했기 때문에, 제가 생각했던 선택 기준을 처음부터 반영해 후보를 찾고 비교할 수 있었기 때문입니다.

첫 번째 방법의 결과가 틀렸다는 의미는 아닙니다.

처음에 만들어진 10개 후보 안에서는 헤이리가 가장 적합한 선택이었습니다.

하지만 실제로 장소를 결정해야 한다면 처음부터 중요한 조건을 한번에 모두 알려주고, AI가 처음부터 새로운 후보를 탐색할 수 있도록 한 뒤 최종 장소를 선택하게 하는 편이 더 합리적일 수 있습니다.

생각해보면 당연한 이야기이기도 합니다.

처음에 AI에게 선택 기준을 제대로 모르는 상태에서 중간에 조건을 추가해 가면 앞에서 결과물로 만들어진 후보군 자체가 최종 선택에 영향을 줄 수 있습니다.

반면에 처음부터 모든 조건을 제시해서 질문을 하면 처음부터 더 넓은 후보를 탐색할 수 있습니다.

후보를 먼저 정할 것인가, 기준을 먼저 줄 것인가

이번 테스트에서 제가 재미있다고 느낀 부분은 바로 이것이었습니다.

AI에게 선택을 맡긴다고 해서 항상 같은 결과가 만들어지는 것은 아니었습니다.

방법 1. 후보를 먼저 만든 경우

기본 조건 제시

→ AI가 10개 후보 추천

→ 추가 조건 제시

→ 후보 3개로 축소

→ 비교

→ 하나 선택

방법 2. 조건을 처음부터 모두 준 경우

모든 중요 조건 제시

→ AI가 조건에 맞는 새로운 후보 탐색

→ 조건별 비교

→ 가장 적합한 하나 선택

두 방법 모두 나름의 장점이 있습니다.

후보를 먼저 여러 개 받아보면 내가 미처 생각하지 못했던 장소를 다양하게 살펴볼 수 있습니다.

반대로 최종 선택이 목적이라면 중요한 조건을 처음부터 충분히 알려주는 것이 더 효율적일 수 있습니다.

이번 테스트에서는 후자의 방식에서 첫 번째 방법에서 존재하지 않았던 후보가 등장했고 최종 결과도 달라졌습니다.

AI에게 선택을 맡길 때 중요한 것

이번 테스트를 해보고 나니 AI에게

“뭐가 제일 좋아?”

라고 단순하게 묻는 것보다 AI가 무엇을 기준으로 선택해야 하는지를 알려주는 것이 중요하다는 생각이 들었습니다.

특히 선택해야 할 대상이 많다면 다음과 같은 내용을 함께 알려주는 것이 좋습니다.

  • 반드시 지켜야 하는 조건
  • 가장 중요하게 생각하는 기준
  • 포기할 수 있는 조건
  • 예산이나 시간 같은 현실적인 제약
  • 최종적으로 원하는 결과

그리고 후보를 직접 정해놓은 것이 아니라면 AI가 최종 선택을 위해 후보군을 제한하지 말고, 비교할 수 있는 선택지를 최대한 많이 확보할 수 있도록 하는 것도 방법입니다.

최종 결정 전에 확인할 것도 있다

두 번째 방법에서도 AI는 장소를 하나 골라준 뒤 추가로 확인해야 할 조건을 알려줬습니다.

대표적으로

  • 실제 방문 날짜와 요일
  • 1인당 총예산
  • 팀원들의 선호
  • 비가 올 경우 대체 프로그램
  • 워크숍의 실제 목적

등입니다.

특히 비용은 장소 이용료만 생각하면 안 됩니다.

교통비, 식사비, 체험비, 공간대여비 등을 포함한 실제 총비용을 확인해야 합니다.

또한 팀 워크숍이라면 단순히 좋은 장소인지보다 우리 팀이 실제로 그 활동을 원하는지도 중요합니다.

AI가 하나를 골라줬다고 해서 바로 예약할 필요는 없는 이유입니다.

마무리

이번 테스트를 통해 알게 된 것은 AI에게 선택을 맡기는 것이 생각보다 단순하지 않다는 점입니다.

AI는 주어진 조건을 기준으로 후보를 비교하고 하나를 선택할 수 있습니다.

하지만 어떤 후보를 처음부터 고려할 수 있는지, 그리고 어떤 조건을 알고 있는지에 따라 결과가 달라질 수 있습니다.

이번에도 첫 번째 방법에서는 헤이리가 최종 선택이었지만, 모든 조건을 처음부터 제시한 두 번째 방법에서는 서울숲+성수가 선택되었습니다.

어느 하나가 무조건 정답이라고 할 수는 없습니다.

다만 실제로 최종 선택을 해야 한다면 중요한 조건을 처음부터 충분히 알려주고, 후보의 범위를 AI가 새롭게 탐색할 수 있도록 한 뒤 결과를 비교해보는 방법이 더 도움이 될 수 있습니다.

그리고 마지막 판단은 AI가 아니라 사람이 하는 것이 좋습니다.

AI에게 하나를 골라달라는 것은 결정을 대신 맡기는 것이라기보다, 내가 놓친 후보와 판단 기준을 찾아보는 과정으로 활용하는 것입니다.

이번 테스트처럼 질문하는 방법을 조금 바꿔보는 것만으로도 AI가 바라보는 선택의 범위가 달라질 수 있습니다.

그래서 여러 선택지 앞에서 고민될 때는 단순히 “하나 골라줘”라고 하기보다,

“내가 중요하게 생각하는 조건을 모두 알려주고, 그 조건에 맞는 후보를 새롭게 찾아서 비교한 뒤 하나를 추천해줘.”

라고 질문해보는 것이 더 바람직할 것으로 생각됩니다.