chatGPT 빌더를 활용한 전문가 조사 진행하기

안녕하세요, B&K 마켓 인텔리전스의 에디터K입니다🐶

요즘 오픈AI의 chatGPT, 구글 Bard 등 생성형 AI를 비즈니스 각 영역에서 어떻게 접목할 수 있을 지 고민이 많을텐데요, 인력 투입이 상당히 많은 마켓 인텔리전스와 리서치 영역에서도 이를 활용한 연구가 다양하게 진행되고 있는 것으로 보입니다.

지난 23년 11월 6일에는 OpenAI의 개발자 데이에서 ‘GPT 빌더’ 기능이 새롭게 발표되었는데요, 이를 통해 누구나 손쉽게 나만의 맞춤형 AI 기능을 제작할 수 있게 되었습니다. Large Multi-modal 모델의 사용성과 접근성이 한 단계 더 좋아졌다고 볼 수 있는데요, 본 포스팅에서는 이 GPT 빌더를 사용하여 어떻게 효과적인 전문가 조사를 진행할 수 있을 지에 대해 알아보고자 합니다.

이런 분들께 추천드려요! 👀
– 생성형 AI를 마켓 인텔리전스 및 마케팅 리서치 영역에 어떻게 활용할 지 고민하는 담당자

목차
1. 오픈AI의 chatGPT 빌더란?
2. 노코딩으로 나만의 ‘AI 전문가 리크루터’ 기능 생성
3. ‘AI 챗봇’을 활용한 전문가 조사 프로세스 효율화
4. 효과적인 GPT 빌더 활용을 위한 고려 사항

함께 읽어보기 좋은 컨텐츠 💡

1. 오픈 AI의 GPT 빌더란?

GPT 빌더는 별도의 복잡한 코드 없이 특정 목적을 수행 할 수 있는 나만의 맞춤형 GPT를 손쉽게 만들 수 있는 기능입니다. 매번 맥락 설명을 위한 긴 프롬프트를 작성하지 않고, 미리 등록해둔 내 취향이나 정보를 바탕으로 더욱 맞춤화된 정보를 제공하거나 특정 작업을 효과적으로 수행할 수 있겠습니다.

오픈 AI는 이러한 기능을 통해 개인이 필요한 서비스를 더욱 손쉽게 만들고 이를 또 타인에게 공개하여 수익화 할 수 있는 생태계를 조성할 계획인데요, 마치 모바일 앱과 안드로이드/애플 앱스토어가 처음 출시되었을때와 같은 느낌이 듭니다.

앞으로 개인들이 창의성을 발휘하여 다양한 ‘앱(GPT)’를 개발 지식 없이 제작하고, 이를 ‘앱스토어(GPT Store)‘에 게시하여, 활성 사용자 수, GPT 모델 판매 또는 별도의 멤버십 등 수익화를 할 수 있는 여러가지 방법이 생겨날 것으로 보여집니다.

회사 직원들 또한 특정 사내 프로젝트의 배경과 맥락을 모두 입력시켜놓은 ‘프로젝트 위키 GPT’를 제작하여 사내 공유하거나, 과거 보고서 자료들을 입력시킨 후 이를 기반으로 정보를 탐색하고 요약하는 ‘데스크 리서치 GPT’를 인턴처럼 활용하며 훨씬 더 효율적으로 시간을 절감할 수도 있겠습니다.

2. 노코딩으로 나만의 ‘AI 전문가 리크루터’ 기능 생성

그럼, 실제로 GPT 빌더를 활용하여 전문가 조사 프로세스를 효과적으로 진행할 수 있는 기능을 제작해보도록 하겠습니다. 대부분의 전문가 조사는 다음과 같은 프로세스로 진행됩니다 (‘성공적인 전문가 조사를 위한 3가지 고려 사항’ 글 참고):
① 가설 수립 → ② 조사 설계 → ③ 전문가 리크루팅 → ④ 질문지 개발 → ⑤ 조사 진행

이 중 가장 시간이 많이 소요되는 전문가 리크루팅을 도와주는 기능을 GPT 빌더*로 만들어 보고자 합니다.
_{* 현재 GPT 빌더는 월 20달러의 유료 서비스인 ‘챗GPT 플러스’ 사용자만 이용 가능합니다}

Step 1.
GPT 빌더로 처음 진입하면 (좌) GPT 빌더와 대화를 나눌 수 있는 화면과 (우) 생성된 기능을 테스트 해볼 수 있는 프리뷰 화면으로 구분됩니다. 우선 GPT 빌더에게 내가 만들고자 하는 기능의 목적과 주요 고려 사항을 정리해서 말해줍니다 (‘전문가 인터뷰를 위한 대상자 탐색’). GPT 빌더와 한국어로도 대화는 어느정도 가능하나, 최대한 의도하는 바를 명확하게 전달하기 위해 대화는 영어로 작성했습니다.

Step 2.
목적을 입력하면 자동으로 적합한 기능명을 제안해줍니다. 좀 더 적합한 이름으로 변경하면, 다음에는 기능을 잘 나타낼 수 있는 프로필 사진도 DALL·E 3 기반으로 자동으로 생성합니다. 또한, 우측 프리뷰 화면에서는 전문가 탐색 기능을 잘 활용하기 위한 스타터 질문 4개도 자동으로 추가되었습니다 (추후 변경 가능).

Step 3.
기본 설정을 마치고 나서는 GPT를 고도화하기 위한 여러가지 고려사항을 먼저 제안해 줍니다. 예를 들면 ‘전문가 리크루팅 GPT’는 전문가를 선정할 때 어떤 정보를 더 중점적으로 참고할 것 인지, 어떤 말투와 뉘앙스로 답변을 제공할 것인지 등 하나의 앱을 완성시키기 위한 부분을 질문하며, 제공한 답변을 토대로 GPT를 자동으로 업데이트 합니다.

Step 4.
이렇게 간단한 대화를 통해 고도화 작업이 마무리되었습니다. ‘Configure’ 화면에 들어가보면 대화를 통해 GPT가 직접 제작한 프롬프트 내용을 볼 수 있는데요, GPT의 성능을 보면서 유저가 직접 자유롭게 수정이 가능합니다 (한국어도 작성해도 성능이 꽤 괜찮은 수준이나, 답변 속도가 영어에 비해서는 현저히 떨어집니다). 또한, Knowledge 섹션에서는 GPT가 참고할만한 PDF나 워드, 또는 이미지 자료를 올릴 수 있으며, 이를 기반으로 더욱 맞춤화된 답변을 제공받을 수 있습니다.

Step 5.
프롬프트는 실제 사용해보면서 수정하거나 기존 업무 지식을 참고하여 작동 방식을 추가로 설정해줄 수 있습니다. 이번에 ‘전문가 리크루터 GPT’의 성능 개선을 위해 다음 내용들을 직접 추가해두었습니다.

1) 실제 전문가 조사를 수행하기 적합한 응답자 레벨 조정
– 최초 설정된 GPT는 업계 / 시장 전문가로 대부분 현직 C레벨을 추천해주었는데요, 조사 목적에 따라 다르겠지만 현실적인 전문가 리크루팅을 위해 프롬프트를 조정했습니다.

The GPT now reviews potential experts’ publications and postings, adding depth to the selection process. It prioritizes accessible experts over high-level positions like CEOs.

2. 전문가 선정을 위한 주요 내용 추가
– 단순 이름과 설명 외 빠르게 전문가의 적합도를 판단하기 위해, 전문가가 작성한 기고문이나 아티클을 같이 명시하도록 조정했습니다.
– 이를 통해 전문가 초기 스크리닝을 효과적으로 진행할 뿐 아니라, 실제로 글을 포스팅한 인원들만 걸러내기에 가짜 전문가를 만들어내는 할루시네이션 효과도 현저히 줄일 수 있었습니다.

For each expert, it provides a brief rationale based on their expertise, experience, industry contributions, and public writings.

3) 컨택 정보 확보를 통한 정확도 제고 및 공수 절감
– 2번과 마찬가지로 실존하는 인물을 찾기위해 LinkedIn 또는 컨택 정보가 있는 인원들을 탐색하도록 프롬프트를 업데이트하였고, 일일히 컨택을 다시 찾는 작업을 줄이기 위해 구체적인 링크드인 주소를 반환하도록 가이드를 추가했습니다. 단순히 컨택을 추가하라고 요청하면 반환되지 않을 수 있는 점 유의하시면 좋을 듯 합니다.

The GPT then presents the expert’s LinkedIn URL and a concise bio…(생략), complete with direct contact information or LinkedIn links, and mentions the relevant webpage, such as “https://www.linkedin.com/in/example-profile” for a specific expert.

3. ‘AI 챗봇’을 활용한 전문가 조사 프로세스 효율화

이제 ‘전문가 리크루터 GPT‘를 실제로 조사를 진행한다고 가정하고 활용해보겠습니다.
이번에 생성한 GPT 링크 또한 아래 전달드리니 궁금하시면 자유롭게 활용해보셔도 좋습니다 (단, ‘ChatGPT 플러스’ 유료 요금제 가입자만 접근 가능)

Step 1.
우선 자동차 산업에 재직 중인 MI 담당자로 가정하고, ‘전문가 리크루터 GPT’에게 이번 조사 목적에 부합하는 특정 지역의 전문가를 추천해달라고 요청합니다. 이후 GPT는 사전에 설정한 구체적인 가이드와 요청사항을 기반으로, 전문가를 리스트업 해주는 것을 보실 수 있습니다. 어떤 사람인지 간략한 Bio와 함께 추천 이유를 기술하고, 주요 발표 문헌이 있는 경우 링크를 같이 제시하여 결과의 신빙성을 더해줍니다.

Step 2.
혹시 다른 인원도 추천해 줄 수 있을 지 물어봤습니다. 아까와는 다른 여러 전문가들의 리스트를 추가로 제공하며, 추천한 이유도 상세하게 작성합니다. 주로 인터넷에 공개된 컨설팅 보고서나 컨퍼런스/발표자 정보, 아니면 링크드인 Bio에 적혀 있는 본인 소개와 프로젝트 내용을 바탕으로 리스트업 한 것을 확인할 수 있습니다.

Step 3.
GPT가 추천해준 전문가 중 한 명이 마음에 듭니다. 이 분이 작성한 발표 자료 또한 링크가 되어 있는데요, 전문가 조사 목적과 부합하는 지 빠르게 검증하기 위해 GPT에게 발표 자료의 핵심 내용 요약을 요청합니다. 주요 내용을 훑어보면서 후보자가 적합하다고 판단하고 컨택해보기로 결정합니다.

Step 4.
이렇게 전문가 인터뷰 후보군이 어느 정도 추려지면, 인터뷰를 위한 스크립트 준비에 들어갑니다. GPT에게 앞서 논의한 조사 목적과 대화 맥락을 바탕으로 인터뷰 스크립트 작성을 요청합니다.

스크립트 내용은 잘 정리해줬지만 영어라서 눈에 잘 들어오지 않았는데요, 한국어로도 제공할 수 있는 지 요청합니다. 이후 아래와 같이 한국어 스크립트 전문이 매끄럽게 제공되며, 전문가에게 물어볼 주요 주제들을 빠르게 점검합니다.

이렇게 ‘전문가 리크루터 GPT’를 활용하여 공수가 많이 들어가는 인터뷰 후보군 탐색과 검증, 그리고 인터뷰 스크립트 준비까지 작업해봤습니다. 사용자가 아주 많은 배경 지식이나 전문성이 없어도 어느정도 수준급의 결과가 나올 수 있다는 점에서 매우 매력적이며, 기업의 MI 담당자나 전문 에이전시/리서처가 들이는 공수를 크게 절감할 수 있다는 점에서 더욱 연구할 가치가 있어보입니다.

4. 효과적인 GPT 빌더 활용을 위한 고려 사항

앞서 GPT를 활용하여 전문가 조사 프로세스를 효율화 할 수 있는 방법에 대해 알아보았는데요, chatGPT와 같은 LMM 모델이 가지는 한계 또한 명확히 존재합니다. 아래 사항을 주의하여 오히려 잘못된 결과로 이어지지 않도록 유의할 필요는 있겠습니다.

1) 할루시네이션(Hallucination)

• 할루시네이션은 AI가 주어진 데이터나 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 것을 의미합니다. 이번 작업을 진행하면서도 가짜 전문가 후보들을 만들어내거나 프로필 링크를 다르게 제공하는 등 유사한 현상이 발견되었는데요, AI 프롬프트를 좀 더 보수적으로 변경하고 실제 게시된 기사 / 발표 문건 / 컨퍼런스 에 참석한 인원을 대상으로 리스트를 추려달라는 내용을 더하여 할루시네이션 현상을 최소화했습니다.

2) 오픈 데이터 소스에 한정

• chatGPT, Bard 등 현재 대중들이 쉽게 접근 가능한 생성형 AI는 기본적으로 인터넷에 무료로 공개된 개방형 데이터 소스를 기반으로 학습하고, 이를 브라우징한 결과를 반환합니다. 이번 작업에서도 링크드인 프로필이 ‘전체 공개’로 설정되어 있지 않거나 구글 검색 결과에 잡히지 않는 인원들은 추천 리스트에서 제외된 것을 볼 수가 있었습니다.
• 무분별한 AI 크롤링을 방지하기 위해 다양한 웹사이트나 서비스들이 점차 데이터셋을 개방형에서 폐쇄형으로 변경해나가고 있는 추세입니다 (예. 각종 뉴스 사이트, 트위터 등). GPT를 만들 때 특정 서비스를 호출하는 API를 추가하여 이를 어느정도 해소할 수는 있겠습니다만, 결국 가격과 직결될 것으로 보입니다.
• ‘Garbage In, Garbage Out’ 이라는 말처럼 어떤 툴을 쓰더라도 양질의 데이터가 확보될 수 있어야 좋은 결과가 나올 수 있기에, 특화 기능의 GPT를 만들기 위해 앞으로 원천 데이터 소스를 어떻게 확보할 지가 관건으로 보입니다.

3) 명확한 가이드 설정 필요

• 다른 직원들에게 업무를 요청하거나 지시할때 자세한 맥락과 가이드를 제공하는 것처럼, GPT 또한 마찬가지로 구체적이고 명확한 가이드 제공이 필요합니다. 어떻게 보면 사람에게 업무 지시하는 것보다 훨씬 더 상세하게 기술하게 되는 것 같은데요, 반환된 결과를 살펴보면서 최적의 성능을 위해 가이드 / 프롬프트를 개선하는 것이 중요합니다.

3줄 요약

이번 포스팅도 관심있게 읽어주셔서 감사드리며, 추가로 궁금하시거나 의견 있으시면 댓글로 자유롭게 말씀 주세요!😊

에디터K

– 10년 차 고객/직원 경험 관리 (CX) Specialist

– 現 외국계 CX 솔루션 재직 중

– 고객 시그널 기반 경험 관리 체계 수립과 CFM 시장 성장에 관심이 많습니다