AIチャットボット性能テスト - GPTボット品質向上方法

一般チャットボット vs 専門家チャットボット

一般のChatGPTに聞くと:

私:うちの会社の返金ポリシーは何?
ChatGPT:申し訳ございませんが、御社の返金ポリシーは存じ上げません。

でもカスタマイズチャットボットなら:

私:うちの会社の返金ポリシーは何?
カスタムチャットボット:返金ポリシーは次の通りです:
- 購入後14日以内全額返金
- 未使用商品に限る
- 返金申請はカスタマーセンターを通じて...

違いが分かりますね?今日はあなたの資料で学習した専門家チャットボットを作る方法をお教えします。

カスタマイズチャットボットが必要な場合

1. 会社内部文書

• 業務マニュアル
• 規定/ポリシー
• FAQ

2. 専門知識

• 研究論文
• 技術文書
• 教育資料

3. 個人コンテンツ

• ブログ記事
• 本の内容
• 講義資料

4. 顧客データ

• 過去の相談履歴
• 商品情報
• 価格表

RAGって何?

RAG = Retrieval Augmented Generation (検索拡張生成)

簡単に言うと:

1. 質問を受ける
2. 関連文書を探す
3. その文書を参考にして回答

[質問] → [文書検索] → [関連内容を探す] → [回答生成]

一般チャットボットは3番だけやります。 RAGチャットボットは1-2-3番を全部やります。

方法1:ChatGPT Custom GPT + ファイルアップロード

最も簡単な方法です。

ステップ別ガイド

1. Custom GPTを作る

• ChatGPTにアクセス
• Explore > Create a GPT

2. Knowledgeセクションにファイル追加

• Configureタブをクリック
• Knowledgeセクションを探す
• Upload filesをクリック

対応ファイル:

• PDF
• TXT
• DOCX
• XLSX
• CSV (最大20ファイル、ファイルあたり512MB)

3. Instructions設定

あなたは[会社名]カスタマーセンターチャットボットです。

役割:
アップロードされた文書(返金ポリシー.pdf、FAQ.docx、商品情報.xlsx)を
参考にして正確な回答を提供します。

ルール:
1. 常にアップロードされた文書を最初に確認してください
2. 文書にない内容は「文書で見つかりませんでした」と言ってください
3. 回答時にどの文書のどの部分か言及してください

回答形式:
「[文書名]によると、
[内容]
です。

(出典:[文書名] p.X)」

例:
質問:返金期間はどうなっていますか?
回答:返金ポリシー.pdfによると、
商品受領後14日以内に返金申請が可能です。

(出典:返金ポリシー.pdf 2ページ)

実戦例:ブログQ&Aボット

アップロードするファイル準備:

1. ブログ記事をPDFで保存

   • Chrome: Ctrl+P → PDFで保存
   • 10-20個の主要記事選択

2. FAQ文書作成

   • Google DocsやWordで作成
   • よく受ける質問整理

ファイル構造例:

blog_post_01.pdf - 「AIツール入門」
blog_post_02.pdf - 「ChatGPT活用法」
blog_post_03.pdf - 「プロンプトエンジニアリング」
faq.pdf - よくある質問集
about.pdf - 著者紹介

Instructions:

あなたは[ブログ名]専門アシスタントです。

ナレッジベース:
アップロードされたブログ記事とFAQを参考にして回答します。

回答方式:
1. 関連ブログ記事があればその記事を紹介
2. 記事の核心内容を要約して回答
3. 全文を読みたい場合はリンク提供

例:
質問:「ChatGPTプロンプトの上手な書き方を教えて」

回答:「ChatGPT活用法」記事で扱った内容ですね!

核心のヒント:
1. 具体的に質問する
   悪い例:「文章書いて」
   良い例:「マーケティングブログ記事を500字で書いて」

2. 役割を与える
   「あなたは専門マーケターです」

3. 例を提供する
   「このスタイルで:[例]」

全文はここで読めます:
[ブログURL]/chatgpt-tips

他に気になることはありますか?

テスト

私:プロンプトエンジニアリングって何?

ボット:「プロンプトエンジニアリング」記事で説明しました!

プロンプトエンジニアリングはAIに効果的に質問する技術です。

主要技法:
- Few-shot learning:例を提供
- Chain-of-thought:段階的思考
- Role prompting:役割付与

詳しい例と実習はブログ記事で確認してください:
[リンク]

(出典:blog_post_03.pdf)

完璧ですね?

方法2:Claude Projects

Claudeはもっと多くのファイルをアップロードできます!

特徴

容量:

• 最大100ファイル
• 合計10MB(Proは30MB)

対応形式:

• PDF、TXT、CSV
• コードファイル(py、jsなど)
• Markdown

作成

1. Project作成

• Claudeにアクセス
• Projectsタブ
• Create Project

2. ファイルアップロード

• Add Contentをクリック
• ファイル選択(複数可能)

3. Custom Instructions

あなたは社内業務マニュアル専門家です。

役割:
社員の業務関連質問に回答します。
すべての回答はアップロードされたマニュアルに基づきます。

アップロードされた文書:
- employee_handbook.pdf(社員ハンドブック)
- it_guide.pdf(ITガイド)
- hr_policy.pdf(人事規定)
- office_rules.pdf(オフィスルール)

回答ルール:
1. 文書で正確な情報を探して回答
2. 複数の文書に関連情報があればすべて参照
3. 文書になければ「マニュアルにない内容です。HRチームにお問い合わせください」
4. ポリシーが変更された可能性があるため最新確認を推奨

出典表記:
すべての回答の最後に(出典:[ファイル名])を表示

例:
質問:年次使用規定はどうなっていますか?

回答:年次使用規定は次の通りです:

• 入社1年目:15日
• 2年目以上:15日 +(勤続年数-1)日
• 最大25日

申請方法:
1. イントラネット > 電子決裁
2. 年次申請書作成
3. チーム長承認

• 3日以上:最低1週間前申請
• 当日年次:緊急時のみ

(出典:hr_policy.pdf 12-13ページ)

他に気になることはありますか?

方法3:無料ツールで作る

有料サブスクリプションが負担なら?

Poe.com + 長いプロンプト

ファイルアップロードはできませんが、長いテキストをプロンプトに入れられます。

ステップ:

1. 文書をテキストに変換
2. プロンプトに含める

例:

あなたはレストラン推薦専門家です。

以下は我が地域のレストラン情報です:

===== レストラン情報開始 =====

[レストラン1]
名前:真味食堂
位置:江南区駅三洞123
メニュー:
- キムチチゲ:8,000円
- 味噌チゲ:8,000円
- 豚肉炒め:10,000円
特徴:家庭料理のような味、おかず豊富
営業:11:00-21:00(日曜休業)
評価:4.5/5

[レストラン2]
名前:パスタハウス
位置:江南区駅三洞456
メニュー:
- アーリオ・オーリオ:12,000円
- カルボナーラ:13,000円
- トマトパスタ:12,000円
特徴:手作りパスタ、雰囲気良い
営業:12:00-22:00
評価:4.7/5

[レストラン3]
名前:寿司屋
位置:江南区論峴洞789
メニュー:
- ランチセット:15,000円
- ディナーセット:30,000円
- 特選寿司:50,000円
特徴:新鮮な材料、予約必須
営業:12:00-15:00、18:00-22:00
評価:4.8/5

===== レストラン情報終了 =====

上記情報を基に質問に回答してください。

回答形式:
- レストラン名、位置、おすすめメニュー
- 価格帯
- 特徴
- 営業時間
- 「詳細は直接訪問をおすすめ」追加

例:
質問:1万円台でランチを食べる場所を推薦して

回答:1万円台のランチなら真味食堂をおすすめします!

📍 位置:江南区駅三洞123
🍽️ おすすめ:豚肉炒め(10,000円)
✨ 特徴:家庭料理のように豊富なおかず
⏰ 営業:11:00-21:00

豚肉炒めが辛くてご飯泥棒です。
おかずも5-6種類出て全部おかわり可能!

平日のランチは人が多いので
11時半か1時半頃に行くと良いです。

詳細は直接訪問をおすすめします!

長所:

• 無料
• 簡単

短所:

• テキストのみ可能
• 量が制限的(約4,000字)

データ準備のヒント

1. 文書整理

良い文書:

• タイトルが明確
• 構造化(タイトル、小見出し)
• 不要な内容削除

悪い文書:

• 長すぎて冗長
• 構造なし
• 重複内容多い

2. ファイル名

悪い例:
doc1.pdf
最終.pdf
final_final_v2.pdf

良い例:
返金ポリシー_2024.pdf
商品マニュアル_スマートフォン.pdf
FAQ_カスタマーサービス.pdf

3. テキスト抽出可能にする

PDFが画像だとダメです。テキスト選択ができる必要があります。

確認方法:

• PDFを開く
• テキストをマウスでドラッグ
• コピーできればOK!

できない場合:

• OCRツール使用(Adobe Acrobat、Online OCR)
• またはWordで作り直す

品質を高める

1. 出典明示を強制

[Instructionsに追加]

すべての回答は次の形式で:

[回答内容]

---
📚 出典:[ファイル名][ページ/セクション]
📅 更新:[文書日付]

例:
返金は14日以内可能です。

---
📚 出典:返金ポリシー.pdf 2ページ
📅 更新:2024-05-15

2. 確実でない時は明示

確信度表示:

✅ 確実(文書に明示)
⚠️ 推定(類似内容参考)
❌ 不確実(文書になし)

例:
質問:海外配送もできますか?

回答:❌ 不確実
アップロードされた文書に海外配送関連内容がありません。
正確な情報はカスタマーセンター(1234-5678)にお問い合わせください。

3. 最新性警告

[Instructions]

古いポリシー:
文書が6ヶ月以上古い場合、
回答の最後に警告追加:

「⚠️ この情報は[日付]基準です。
最新ポリシーは担当者に確認してください。」

次のステップ

次回はカスタマーサービスチャットボット体験を扱います。

実際の企業が使うカスタマーセンターチャットボットの機能と作り方を見ていきます!

最後に

カスタマイズチャットボットは一般チャットボットと次元が違います。あなただけの専門知識を盛り込めますから。

ポイントは:

1. 良い文書準備
2. 明確なInstructions
3. 継続的なアップデート

最初は10個の文書から始めてください。完璧でなくても大丈夫です。使いながら改善すればいいんです。

あなただけの専門家チャットボットを作ってみてください!

---

一緒に読むと良い記事:

• [前回] チャットボットをブログに入れる方法
• [次回] カスタマーサービスチャットボット体験

どんな資料でチャットボットを作りましたか?コメントで共有してください!