AI 챗봇 성능 테스트하기 - GPT 봇 품질 향상 방법

일반 챗봇 vs 전문가 챗봇

일반 ChatGPT에게 물어보면:

나: 우리 회사 환불 정책이 뭐야?
ChatGPT: 죄송하지만 귀사의 환불 정책은 모릅니다.

하지만 맞춤형 챗봇이라면:

나: 우리 회사 환불 정책이 뭐야?
맞춤 챗봇: 환불 정책은 다음과 같습니다:
- 구매 후 14일 이내 전액 환불
- 사용하지 않은 제품에 한함
- 환불 신청은 고객센터를 통해...

차이가 보이죠? 오늘은 여러분의 자료로 학습한 전문가 챗봇을 만드는 방법을 알려드릴게요.

맞춤형 챗봇이 필요한 경우

1. 회사 내부 문서

• 업무 매뉴얼
• 규정/정책
• FAQ

2. 전문 지식

• 연구 논문
• 기술 문서
• 교육 자료

3. 개인 콘텐츠

• 블로그 글
• 책 내용
• 강의 자료

4. 고객 데이터

• 과거 상담 내역
• 제품 정보
• 가격표

RAG가 뭐예요?

RAG = Retrieval Augmented Generation (검색 증강 생성)

쉽게 말하면:

1. 질문을 받음
2. 관련 문서를 찾음
3. 그 문서를 참고해서 답변

[질문] → [문서 검색] → [관련 내용 찾기] → [답변 생성]

일반 챗봇은 3번만 해요. RAG 챗봇은 1-2-3번을 다 해요.

방법 1: ChatGPT Custom GPT + 파일 업로드

가장 쉬운 방법이에요.

단계별 가이드

1. Custom GPT 만들기

• ChatGPT 접속
• Explore > Create a GPT

2. Knowledge 섹션에 파일 추가

• Configure 탭 클릭
• Knowledge 섹션 찾기
• Upload files 클릭

지원 파일:

• PDF
• TXT
• DOCX
• XLSX
• CSV (최대 20개 파일, 파일당 512MB)

3. Instructions 설정

당신은 [회사명] 고객센터 챗봇입니다.

역할:
업로드된 문서(환불정책.pdf, FAQ.docx, 제품정보.xlsx)를
참고하여 정확한 답변을 제공합니다.

규칙:
1. 항상 업로드된 문서를 먼저 확인하세요
2. 문서에 없는 내용은 "문서에서 찾을 수 없습니다"라고 하세요
3. 답변 시 어느 문서의 어느 부분인지 언급하세요

답변 형식:
"[문서명]에 따르면,
[내용]
입니다.

(출처: [문서명] p.X)"

예시:
질문: 환불 기간이 어떻게 되나요?
답변: 환불정책.pdf에 따르면,
제품 수령 후 14일 이내에 환불 신청이 가능합니다.

(출처: 환불정책.pdf 2페이지)

실전 예시: 블로그 Q&A 봇

업로드할 파일 준비:

1. 블로그 글을 PDF로 저장

   • Chrome: Ctrl+P → PDF로 저장
   • 10-20개 주요 글 선택

2. FAQ 문서 만들기

   • Google Docs나 Word로 작성
   • 자주 받는 질문 정리

파일 구조 예시:

blog_post_01.pdf - "AI 도구 시작하기"
blog_post_02.pdf - "ChatGPT 활용법"
blog_post_03.pdf - "프롬프트 엔지니어링"
faq.pdf - 자주 묻는 질문 모음
about.pdf - 저자 소개

Instructions:

당신은 [블로그명] 전문 어시스턴트입니다.

지식베이스:
업로드된 블로그 글과 FAQ를 참고하여 답변합니다.

답변 방식:
1. 관련 블로그 글이 있으면 해당 글을 소개
2. 글의 핵심 내용을 요약해서 답변
3. 전체 글을 읽고 싶으면 링크 제공

예시:
질문: "ChatGPT 프롬프트 잘 쓰는 법 알려줘"

답변: "ChatGPT 활용법" 글에서 다룬 내용이네요!

핵심 팁:
1. 구체적으로 질문하기
   나쁜 예: "글 써줘"
   좋은 예: "마케팅 블로그 글 500자로 써줘"

2. 역할 부여하기
   "너는 전문 마케터야"

3. 예시 제공하기
   "이런 스타일로: [예시]"

전체 글은 여기서 읽을 수 있어요:
[블로그 URL]/chatgpt-tips

더 궁금한 점 있으세요?

테스트

나: 프롬프트 엔지니어링이 뭐야?

봇: "프롬프트 엔지니어링" 글에서 설명했어요!

프롬프트 엔지니어링은 AI에게 효과적으로 질문하는 기술입니다.

주요 기법:
- Few-shot learning: 예시 제공
- Chain-of-thought: 단계별 사고
- Role prompting: 역할 부여

상세한 예시와 실습은 블로그 글에서 확인하세요:
[링크]

(출처: blog_post_03.pdf)

완벽하죠?

방법 2: Claude Projects

Claude는 더 많은 파일을 올릴 수 있어요!

특징

용량:

• 최대 100개 파일
• 총 10MB (Pro는 30MB)

지원 형식:

• PDF, TXT, CSV
• 코드 파일 (py, js, etc.)
• Markdown

만들기

1. Project 생성

• Claude 접속
• Projects 탭
• Create Project

2. 파일 업로드

• Add Content 클릭
• 파일 선택 (여러 개 가능)

3. Custom Instructions

당신은 사내 업무 매뉴얼 전문가입니다.

역할:
직원들의 업무 관련 질문에 답변합니다.
모든 답변은 업로드된 매뉴얼 기반입니다.

업로드된 문서:
- employee_handbook.pdf (직원 핸드북)
- it_guide.pdf (IT 가이드)
- hr_policy.pdf (인사 규정)
- office_rules.pdf (사무실 규칙)

답변 규칙:
1. 문서에서 정확한 정보를 찾아 답변
2. 여러 문서에 관련 정보가 있으면 모두 참조
3. 문서에 없으면 "매뉴얼에 없는 내용입니다. HR팀에 문의하세요"
4. 정책이 변경되었을 수 있으니 최신 확인 권장

출처 표기:
모든 답변 끝에 (출처: [파일명]) 표시

예시:
질문: 연차 사용 규정이 어떻게 되나요?

답변: 연차 사용 규정은 다음과 같습니다:

• 입사 1년차: 15일
• 2년차 이상: 15일 + (근속년수-1)일
• 최대 25일

신청 방법:
1. 인트라넷 > 전자결재
2. 연차신청서 작성
3. 팀장 승인

• 3일 이상: 최소 1주일 전 신청
• 당일 연차: 긴급 시에만

(출처: hr_policy.pdf 12-13페이지)

다른 궁금한 점 있으신가요?

고급 활용: 여러 프로젝트

용도별로 프로젝트를 나눠보세요:

프로젝트 1: 고객서비스
- FAQ
- 제품 매뉴얼
- 환불 정책

프로젝트 2: 기술지원
- API 문서
- 트러블슈팅 가이드
- 코드 예시

프로젝트 3: 영업지원
- 제품 소개서
- 가격표
- 영업 스크립트

방법 3: 무료 도구로 만들기

유료 구독이 부담되신다면?

Poe.com + 긴 프롬프트

파일 업로드는 안 되지만, 긴 텍스트를 프롬프트에 넣을 수 있어요.

단계:

1. 문서를 텍스트로 변환
2. 프롬프트에 포함

예시:

당신은 맛집 추천 전문가입니다.

아래는 우리 동네 맛집 정보입니다:

===== 맛집 정보 시작 =====

[식당 1]
이름: 진미식당
위치: 강남구 역삼동 123
메뉴:
- 김치찌개: 8,000원
- 된장찌개: 8,000원
- 제육볶음: 10,000원
특징: 집밥 같은 맛, 반찬 푸짐
영업: 11:00-21:00 (일요일 휴무)
평점: 4.5/5

[식당 2]
이름: 파스타하우스
위치: 강남구 역삼동 456
메뉴:
- 알리오올리오: 12,000원
- 까르보나라: 13,000원
- 토마토파스타: 12,000원
특징: 수제 파스타, 분위기 좋음
영업: 12:00-22:00
평점: 4.7/5

[식당 3]
이름: 스시야
위치: 강남구 논현동 789
메뉴:
- 런치 세트: 15,000원
- 디너 세트: 30,000원
- 특선 초밥: 50,000원
특징: 신선한 재료, 예약 필수
영업: 12:00-15:00, 18:00-22:00
평점: 4.8/5

===== 맛집 정보 끝 =====

위 정보를 바탕으로 질문에 답변해주세요.

답변 형식:
- 식당 이름, 위치, 추천 메뉴
- 가격대
- 특징
- 영업시간
- "더 자세한 정보는 직접 방문 추천" 추가

예시:
질문: 1만원대로 점심 먹을 곳 추천해줘

답변: 1만원대 점심이라면 진미식당을 추천드려요!

📍 위치: 강남구 역삼동 123
🍽️ 추천: 제육볶음 (10,000원)
✨ 특징: 집밥처럼 푸짐한 반찬
⏰ 영업: 11:00-21:00

제육볶음이 매콤하면서 밥도둑이에요.
반찬도 5-6가지 나오고 모두 리필 가능!

평일 점심엔 사람이 많으니
11시 반이나 1시 반쯤 가시면 좋아요.

더 자세한 정보는 직접 방문을 추천드려요!

장점:

• 무료
• 간단함

단점:

• 텍스트만 가능
• 양이 제한적 (약 4,000자)

방법 4: 구글 스프레드시트 연동

구조화된 데이터라면 스프레드시트가 편해요.

준비

스프레드시트 예시:

질문	답변	카테고리
배송 기간?	2-3일 소요	배송
배송비?	3만원 이상 무료	배송
환불 방법?	마이페이지에서 신청	환불
교환 가능?	수령 후 7일 이내	교환

ChatGPT에 활용

1. 스프레드시트를 CSV로 다운로드
2. Custom GPT에 업로드
3. Instructions 설정

당신은 고객센터 챗봇입니다.

업로드된 faq.csv 파일에는 다음 정보가 있습니다:
- 질문 (column A)
- 답변 (column B)
- 카테고리 (column C)

답변 방법:
1. 질문과 유사한 내용을 CSV에서 찾기
2. 해당 답변 제공
3. 관련 카테고리의 다른 질문도 제안

예시:
질문: 택배 언제 와요?

답변: 배송은 결제 완료 후 2-3일 소요됩니다.

관련 질문:
• 배송비는 얼마인가요?
• 배송 조회는 어떻게 하나요?

더 궁금한 점 있으세요?

데이터 준비 팁

1. 문서 정리

좋은 문서:

• 제목이 명확함
• 구조화됨 (제목, 소제목)
• 불필요한 내용 제거

나쁜 문서:

• 너무 길고 장황함
• 구조 없음
• 중복 내용 많음

2. 파일 이름

나쁜 예:
doc1.pdf
최종.pdf
final_final_v2.pdf

좋은 예:
환불정책_2024.pdf
제품매뉴얼_스마트폰.pdf
FAQ_고객서비스.pdf

3. 텍스트 추출 가능하게

PDF가 이미지면 안 돼요. 텍스트 선택이 되어야 해요.

확인 방법:

• PDF 열기
• 텍스트를 마우스로 드래그
• 복사가 되면 OK!

안 되면:

• OCR 도구 사용 (Adobe Acrobat, Online OCR)
• 또는 Word로 다시 만들기

4. 메타데이터 추가

문서 앞부분에 요약 추가:

===== 문서 정보 =====
제목: 환불 정책
버전: 2024.1
업데이트: 2024-05-15
카테고리: 고객서비스
핵심 키워드: 환불, 교환, 반품
====================

[본문 시작]
...

품질 높이기

1. 출처 명시 강제

[Instructions에 추가]

모든 답변은 다음 형식으로:

[답변 내용]

---
📚 출처: [파일명] [페이지/섹션]
📅 업데이트: [문서 날짜]

예시:
환불은 14일 이내 가능합니다.

---
📚 출처: 환불정책.pdf 2페이지
📅 업데이트: 2024-05-15

2. 확실하지 않을 때 명시

확신도 표시:

✅ 확실함 (문서에 명시)
⚠️ 추정 (유사 내용 참고)
❌ 불확실 (문서에 없음)

예시:
질문: 해외 배송도 되나요?

답변: ❌ 불확실
업로드된 문서에 해외 배송 관련 내용이 없습니다.
정확한 정보는 고객센터(1234-5678)로 문의해주세요.

3. 최신성 경고

[Instructions]

오래된 정책:
만약 문서가 6개월 이상 된 것이라면,
답변 끝에 경고 추가:

"⚠️ 이 정보는 [날짜] 기준입니다.
최신 정책은 담당자에게 확인하세요."

테스트 체크리스트

만든 후 꼭 테스트:

✅ 정확성
□ 문서에 있는 내용을 정확히 찾는가?
□ 없는 내용을 지어내지 않는가?

✅ 완성도
□ 출처를 명시하는가?
□ 여러 문서를 종합하는가?

✅ 사용성
□ 답변이 이해하기 쉬운가?
□ 필요하면 추가 정보를 제안하는가?

✅ 예외 처리
□ 문서에 없는 질문을 잘 처리하는가?
□ 모호한 질문에도 대응하는가?

업데이트 관리

정보가 바뀌면 어떻게?

버전 관리

파일명에 날짜:
환불정책_2024-05.pdf (5월 버전)
환불정책_2024-06.pdf (6월 업데이트)

Instructions에 명시:
"가장 최신 날짜의 문서를 우선 참고하세요"

변경 내역 문서

changes.txt 추가:

2024-06-01 업데이트:
- 환불 기간 7일 → 14일로 변경
- 배송비 무료 기준 2만원 → 3만원

2024-05-15 업데이트:
- 새 제품 라인 추가
- 가격표 업데이트

실전 활용 예시

예시 1: 개인 블로그 도우미

업로드:

• 50개 블로그 글 (PDF)
• 카테고리별 목록 (TXT)
• 자주 받는 질문 (DOCX)

결과:

나: AI 도구 추천해줘

봇: AI 도구 추천글이 여러 개 있어요!

1. "초보자를 위한 AI 도구 5선" (2024-03)
   - ChatGPT, Claude, Midjourney 등 소개
   - 무료로 시작 가능

2. "업무 자동화 AI 도구" (2024-04)
   - Zapier, Make.com
   - 실전 예시 포함

3. "콘텐츠 제작용 AI" (2024-05)
   - Copy.ai, Jasper
   - 블로거를 위한 팁

어떤 분야가 궁금하신가요?

예시 2: 회사 내부 지원봇

업로드:

• 직원 핸드북
• 업무 매뉴얼
• IT 가이드
• 자주 묻는 질문

결과:

직원: VPN 연결이 안 돼요

봇: VPN 연결 문제 해결법입니다:

1. VPN 프로그램 재시작
2. Wi-Fi 끄고 다시 켜기
3. 회사 계정 비밀번호 재확인

그래도 안 되면:
- 컴퓨터 재부팅
- VPN 재설치

여전히 문제라면:
IT팀 (내선 1234)로 연락주세요.

(출처: IT가이드.pdf, 15-16페이지)

다음 단계

다음 글에서는 고객 서비스 챗봇 체험을 다룰 거예요.

실제 기업들이 쓰는 고객센터 챗봇의 기능과 만드는 법을 알아볼게요!

마무리하며

맞춤형 챗봇은 일반 챗봇과 차원이 달라요. 여러분만의 전문 지식을 담을 수 있거든요.

핵심은:

1. 좋은 문서 준비
2. 명확한 Instructions
3. 꾸준한 업데이트

처음엔 10개 문서부터 시작하세요. 완벽하지 않아도 괜찮아요. 사용하면서 개선하면 됩니다.

여러분만의 전문가 챗봇을 만들어보세요!

---

함께 읽으면 좋은 글:

• [이전 편] 챗봇을 블로그에 넣는 방법
• [다음 편] 고객 서비스 챗봇 체험

어떤 자료로 챗봇을 만드셨나요? 댓글로 공유해주세요!