GPTチャットボットにナレッジベースを接続 - AIデータ学習ガイド

「自分が作ったものは完璧!」...本当に?

一生懸命チャットボットを作りました。テストもして、よく動いて、完璧だと思います。

ところが友達に見せたら: 「え...これどうやって使うの?」 「なんでこんな返答するの?」 「これ必要?」

ショックですよね。でもこれが現実です。

自分が作ったものは自分の目にだけ完璧に見えます。他の人が使ってみて初めて本当の問題が見つかります。

今日はチャットボットをちゃんとテストする方法をお教えします。

なぜ他の人のテストが必要なのですか?

1. 自分の偏見を壊す

作った人はどう使うか既に知っています。でも初めて見る人は?

私:(当然メニューの種類を言うだろう)
友達:「何がある?」(予想外の質問)
→ チャットボット困惑:「申し訳ございません、理解できませんでした」

2. 実際の使用パターンを発見

予想外の使い方を発見できます。

予想:「ピザを注文したい」→「ペパロニにして」
実際:「お腹すいた」→「早くして」→「何でもいい」

3. 隠れたバグを見つける

一人では見つけられなかった問題が明らかになります。

一人でテスト:すべての段階を順序通りに
友達のテスト:「あ、これキャンセル」→ システムエラー?

テスト準備

ステップ1:テスターの募集

誰にお願いしますか?

良いテスター:

• 正直に話してくれる人
• 実際のターゲットユーザーと似た人
• 技術に慣れていない人(なお良い!)

人数:

• 最低3人
• 様々な背景の人々

例:

テスター1:20代女性、オンラインショッピング頻繁
テスター2:40代男性、技術に慣れていない
テスター3:10代、チャットボット初使用

ステップ2:テスト環境の準備

共有方法決定:

ChatGPT Custom GPT:

• リンクをコピーして送信
• Public設定が必要

Claude Project:

• プロンプトをコピーして伝達
• 直接作らせる

Poe ボット:

• リンク共有
• ログイン必要案内

ステップ3:テストシナリオ作成

無作為に「使ってみて」ではなく、具体的なミッションを与えます。

例:ショッピングモールチャットボット

ミッション1:商品を探す
「ワンピースを探してください。
どんな過程を経ましたか?
簡単でしたか、難しかったですか?」

ミッション2:推薦を受ける
「デートルックを推薦してもらってください。
推薦は気に入りましたか?」

ミッション3:注文する
「気に入った商品を注文してください。
(実際の決済はしないでください)
過程は明確でしたか?」

ミッション4:問題状況
「注文を途中でキャンセルしてください。
簡単にできましたか?」

テスト方法3つ

方法1:声に出して考える(Think Aloud)

テスターが考えを話しながら使います。

やり方:

テスター:「うーん...ワンピースを探したいんだけど...
        何て言えばいいかな?
        『ワンピース見せて』って言ってみようかな?
        (入力)
        お、出てきた!
        でも多すぎない?
        どうやって絞り込む...」

長所:

• 思考過程をリアルタイムで見られる
• 詰まるポイントを正確に知ることができる

記録する:

詰まったポイント:
- 「何て言えばいいか分からない」(始める時)
- 「選択肢が多すぎる」(検索結果)
- 「キャンセルボタンが見つからない」(途中キャンセル時)

方法2:観察する

話させずにただ見守ります。

チェックリスト:

□ 最初の画面で立ち止まるか?
□ どこを最初にクリック/入力するか?
□ 同じ質問を繰り返すか?
□ イライラした表情をするか?
□ 途中で諦めるか?

タイミング測定:

開始 → 最初の入力:15秒(長すぎる?)
質問 → 回答:2秒(適当)
全体ミッション:3分(目標:2分)

方法3:アンケート調査

テスト後に質問する。

必須質問:

1. チャットボットの使用は簡単でしたか?(1-5点)
   1(とても難しい)～5(とても簡単)

2. チャットボットの返答は理解しやすかったですか?(1-5点)

3. 望む結果を得られましたか?(はい/いいえ)
   - いいえならなぜ?

4. 一番良かった点は?

5. 一番不便だった点は?

6. このチャットボットをまた使いたいですか?(はい/いいえ)

7. 友達に推薦したいですか?(1-5点)

追加質問:

8. チャットボットの話し方はどうでしたか?
   - 堅すぎる
   - 適当
   - カジュアルすぎる

9. 返答速度はどうでしたか?
   - 遅すぎる
   - 適当
   - 速い

10. 一番印象に残った会話は?

実戦テストシナリオ

テスト1:第一印象テスト

目標: 5秒で理解できるか?

方法:

1. チャットボット画面を見せる
2. 5秒後に画面を隠す
3. 質問する

質問:

- このチャットボットは何をするもの?
- どうやって始めそう?
- どんな話し方をしそう?

良い例:

「あ、ショッピングを手伝ってくれるんだね!」
「ここの入力欄に探しているものを言えばいいみたい」
「親しみやすい感じだね」

悪い例:

「うーん...何をするものか分からないけど?」
「どこから始めるんだろう?」
「これチャットボット?」

テスト2:コア機能テスト

目標: 主要機能を3分以内に使えるか?

シナリオ:

[ショッピングモールチャットボットの例]

開始:
「このチャットボットを初めて見たと思ってください。
ワンピースを1つ探してカートに入れてください。」

観察ポイント:
✓ 自分で開始したか?
✓ 詰まらずに進んだか?
✓ ヘルプを探したか?
✓ 諦めなかったか?

目標:3分以内完了

結果記録:

テスター1:2分30秒 ✓ 成功
- スムーズだった
- 「サイズ」選択で3秒立ち止まった

テスター2:5分 ✗ 失敗
- 「どうやって検索するか分からない」
- ヘルプが見つからなかった
- 途中で「これ合ってる?」不安になった

テスター3:3分50秒 △ ほぼ成功
- 全体的にOK
- カートボタンが見つからなかった

テスト3:例外状況テスト

目標: 問題状況もうまく処理できるか?

シナリオ:

ミッション:わざと変な使い方をしてください

1. 悪口や変な言葉を入力
   → チャットボットの反応は?

2. 何も答えずに待つ
   → タイムアウト?再質問?

3. 途中で関係ない質問
   例:注文中に「あなたの名前は何?」
   → コンテキスト維持できる?

4. 「キャンセル」「最初から」「終了」のようなコマンド
   → ちゃんと動く?

チェックポイント:

✓ 悪口フィルタリング動く?
✓ 変な入力にも親切?
✓ コンテキストを見失わない?
✓ ユーザーが抜け出せる方法がある?

フィードバック整理

問題点分類

受けたフィードバックを整理:

[深刻な問題] 🔴
- チャットボットがフリーズ
- 注文できない
- 個人情報露出

→ すぐ修正必要

[重要な問題] 🟡
- 返答が理解できない
- ステップをスキップ
- ヘルプが不足

→ 優先修正

[改善事項] 🟢
- 話し方が少し堅い
- 絵文字が不足
- もっと速ければ良い

→ 余裕がある時修正

頻度チェック

複数の人が同じことを言う?

「始め方が分からない」- 3人 🔴
「返答が長すぎる」- 2人 🟡
「絵文字もっと入れて」- 1人 🟢

→ 3人が言ったら本当の問題!

実際のテストケース:カフェ注文ボット

テストセッティング

ボット:カフェ注文チャットボット
テスター:友達3人(A、B、C)
ミッション:「アメリカーノ1杯注文してください」

テスターA(20代女性、IT慣れている)

進行:

00:00 - 開始
00:05 - 「アメリカーノください」入力
00:07 - ボット応答:「サイズは?」
00:10 - 「トールで」入力
00:12 - ボット応答:「3,500円です。注文しますか?」
00:15 - 「はい」入力
00:17 - 完了

合計時間:17秒

フィードバック:

• 「速くて簡単でした」
• 「話し方が少し堅いです。絵文字でもあれば...」
• 点数:4/5

テスターB(40代男性、技術に慣れていない)

進行:

00:00 - 開始
00:15 - (何もしない)
00:20 - 「え...何て言えばいいんだろう?」
00:30 - 「注文したいんですが」入力
00:33 - ボット:「何を注文しますか?」
00:40 - 「アメリカーノ」入力
00:42 - ボット:「サイズは?」
00:50 - 「大きいの」入力
00:52 - ボット:「申し訳ございません。理解できませんでした」
01:00 - 「???」
01:10 - 「ラージです!」入力
01:12 - ボット:「申し訳ございません...」
01:20 - (諦める)

失敗

フィードバック:

• 「どうやって始めるか分かりません」
• 「大きいのって言ったのになんで分からないの?」
• 「腹が立ちます」
• 点数:1/5

テスターC(10代、チャットボット経験あり)

進行:

00:00 - 開始
00:02 - 「こん」入力
00:04 - ボット:「申し訳ございません...」
00:06 - 「こんにちは」
00:08 - ボット:「申し訳ございません...」
00:10 - 「あ、もう」
00:15 - 「アメリカーノ」
00:17 - ボット:「サイズは?」
00:20 - 「ベンティ」
00:22 - ボット:「申し訳ございません...」
00:25 - 「あ、イライラする」
00:30 - (諦める)

失敗

フィードバック:

• 「挨拶も受けられないの?」
• 「ベンティも分からないの?スタバ用語なのに」
• 「不親切です」
• 点数:1/5

問題点発見!

🔴 深刻:
- 始め方が不明確(テスターB)
- 自然言語理解不足(「大きいの」、「ベンティ」)

🟡 重要:
- 挨拶処理できない(テスターC)
- ヘルプ/ガイドなし(テスターB、C)

🟢 改善:
- 話し方改善(テスターA)
- 絵文字追加(テスターA)

修正して再テスト

修正事項

[変更1] 開始メッセージを明確に
変更前:
(何も言わない)

変更後:
「こんにちは!注文をお手伝いします ☕
どんな飲み物がいいですか?
例:アメリカーノ、ラテ、カプチーノ」

[変更2] 自然言語理解改善
追加キーワード:
- 「大きいの」= ラージ
- 「ベンティ」= ラージ
- 「小さいの」= スモール
- 「普通」= ミディアム

[変更3] 挨拶処理
「こんにちは」、「こん」などの入力時:
「こんにちは! 😊
飲み物の注文をお手伝いしましょうか?」

[変更4] 絵文字追加
☕🥤😊✨など適度に使用

再テスト結果

テスターB(2回目試行):

00:00 - 開始
00:05 - ボット:「こんにちは!注文をお手伝いします ☕...」
00:08 - 「あ、分かった」
00:12 - 「アメリカーノです」
00:14 - ボット:「サイズは?(小/普通/大)」
00:18 - 「大きいのです」
00:20 - ボット:「大サイズアメリカーノ!4,000円です ✨」
00:25 - 「はい」
00:27 - 完了!

成功!点数:4/5

テスターC(2回目試行):

00:00 - 「こんにちは」
00:02 - ボット:「こんにちは! 😊 飲み物の注文をお手伝いしましょうか?」
00:05 - 「アメリカーノ」
00:07 - ボット:「サイズは?」
00:10 - 「ベンティ」
00:12 - ボット:「大サイズ!良い選択ですね ☕」
00:17 - 完了!

成功!点数:5/5

ずっと良くなりましたね?

リモートテスト方法

直接会えない場合は?

ツール活用

画面録画依頼:

• Loom、OBSなどで録画
• 声に出して考えながら進行

ビデオ通話:

• Zoom、Google Meet
• 画面共有しながらテスト

アンケートツール:

• Google Forms
• Typeform
• Notion

リモートテストガイドを送る

こんにちは!テストをお願いします 😊

1. このリンクをクリックしてください:
   [チャットボットリンク]

2. 次のミッションを実行してください:
   - ミッション1:[...]
   - ミッション2:[...]

3. 可能なら画面を録画してください
   (なくても大丈夫です)

4. 完了後、このアンケートを作成してください:
   [Googleフォームリンク]

所要時間:約10分
ありがとうございます!

ベータテスターグループ作り

複数の人に継続的にテストしてもらう

募集

[ベータテスター募集]

「レストラン推薦チャットボット」のベータテスターを募集します!

特典:
- 正式リリース時プレミアム無料
- 開発過程参加
- クレジットに名前記載

条件:
- 週1回テスト(10分程度)
- 正直なフィードバック

興味のある方はコメントまたはDMください!

運営

Discord/Slackチャンネル:

#お知らせ:アップデート案内
#テスト:テストミッション
#フィードバック:意見共有
#バグ:問題報告

定期アンケート:

• 2週間ごとに満足度調査
• 主要改善事項投票

フィードバック反映の優先順位

すべてのフィードバックを反映することはできません。

優先順位マトリックス

        影響度大
            ↑
  [緊急]    |  [重要]
  即修正    |  計画して修正
------------|------------
  [保留]    |  [検討]
  後で      |  余裕があれば
            ↓
        影響度小

例:

[緊急] 注文完了できない(バグ)
→ すぐ修正

[重要] 検索精度が低い
→ 来週まで修正

[検討] 絵文字をもっと追加
→ 他の作業が終わったら

[保留] 音声認識機能
→ 次バージョンで

次のステップ

次回はチャットボットをブログに入れる方法を扱います。

作ったチャットボットを実際のウェブサイトにembedする方法をお教えします!

最後に

テストは面倒ですが必ず必要です。一人では絶対見つけられない問題があるんです。

ポイントは:

1. 実際のユーザーにテスト
2. 観察して傾聴する
3. 問題を分類して優先順位
4. 修正後再テスト

完璧なチャットボットはありません。でも継続的に改善するチャットボットはあります。

今日すぐ友達一人にお願いしてみてください。「5分だけこれ使ってみてくれる?」

その5分があなたのチャットボットを10倍良くしますよ!

---

一緒に読むと良い記事:

• [前回] チャットボット性格・話し方設定
• [次回] チャットボットをブログに入れる方法

テストしながら面白かった経験ありますか?コメントで共有してください!