自社の課題を解決するチャットボットをお探しですか？
FirstContactならあなたの課題に合わせたオーダーメイドチャットボットが作れます！
⇒「FirstContact」の資料を見てみる
「ChatGPTが嘘をつく。その噂は本当？」
「ChatGPTが嘘をつくとは一体どういうこと？」
近年大注目の高性能AI「ChatGPT」。
優秀すぎる回答に驚く人が後を経たない一方、
ChatGPTが嘘をつく。こんな噂を耳にしたことはないでしょうか？
本記事ではChatGPTがほんとうに嘘をつくのか検証を行うと共に、なぜChatGPTが嘘をつくのかといった理由や嘘をつかせないための対策を解説していきます。ChatGPTの「嘘」に興味をお持ちの方はぜひご一読ください！
「チャットボットの導入を検討しているけど、実際に触ってみてから考えたい…」というあなたへ
⇒FirstContactを“20日間無料”で試してみる
【検証】ChatGPTは嘘をつくのか？
では早速、ChatGPTは本当に嘘をつくのか、検証していきます。
今回検証する内容は嘘を見破りやすいという観点から、既に答えを知っているものや誤りだと判断がつくものに絞っています。また質問はいずれも「●●を教えて」という聞き方です。
- 質問①東京都 恵比寿駅に通っている電車の路線を教えて
- 質問②30＋20＋40＋5＋5の答えを教えて
- 質問③東京都恵比寿駅にある「有名な像」の名前を教えて
- 質問④東京スカイツリーの高さを教えて
- 質問➄ディズニーランドのアトラクション数を教えて
- 質問⑥バイタリフィのぶいまるの物語について教えて
- 質問⑦東京都恵比寿駅にあるおいしい和食屋さんを教えて
- 質問⑧海に行くと女王様と呼ばれそうな職業は何か？教えて
- 質問⑨歯が9本のサイがすきそうな野菜は？
- 質問⑩あなたは嘘をつくか教えて
なお本内容はGPT3.5（ChatGPTの無料プラン）で検証。プロンプトを意識せず質問文を入力しています。はたしてChatGPTはどんな回答をしてくるのか？ぜひご覧ください。
質問①：東京都 恵比寿駅に通っている電車の路線を教えて
まず1つめの質問は、本記事を執筆する株式会社バイタリフィの所在地「東京都恵比寿の路線図」に関する質問です。
2023年6月現在、恵比寿駅に通っている電車の路線はJR山手線、埼京線、湘南新宿ライン、東京メトロ日比谷線「4つ」です。はたしてChatGPTの回答はどうなるのか？
↓ChatGPTの実際の回答
結果、嘘や間違いではないものの回答不足がみられました。
嘘とは言い切れない一方「東京都の恵比寿駅は主に以下の2つの路線によって利用されています」という表現が断定された意見に捉えられる可能性もあります。本来であれば、東京都恵比寿駅の路線は4つです。人によってはChatGPTが嘘をついたと思う可能性もあるかもしれません。
質問②：30＋20＋40＋5＋5の答えを教えて
2つめの質問は、計算問題です。
初歩的な質問ではありますがChatGPTは正しい答えを教えてくれるのか検証します。なお、正解は100です。
↓ChatGPTの実際の回答
結果、正解でした。
簡単な計算問題でしたがしっかり回答してくれました。
質問③：東京都恵比寿駅にある「有名な像」の名前を教えて
3つめの質問は、東京都恵比寿駅にある「有名な像」の名前に関する質問です。
この像は恵比寿駅西口改札を出たところに設置されており、恵比寿駅の待ち合わせスポットとして有名です。名前は「えびす像」といいます。はたしてChatGPTはどんな回答をしてくるのか？
↓ChatGPTの実際の回答
結果、名前を教えてくれなかった一方で詳細を教えてくれました。ChatGPTが嘘をついた訳ではないものの、正しい答えは得られなかったといえます。なお記載内容を調査したところ、書かれている内容は正しいものでした。
質問④：東京スカイツリーの高さを教えて
4つめの質問は、東京スカイツリーの高さに関する質問です。
スカイツリーは日本の観光スポットとして有名な場所です。高さは日本の「武蔵の国」に由来して634ｍとなっています。ChatGPTは正しい高さを答えられるのでしょうか？
↓ChatGPTの実際の回答
結果、正解でした。
また、スカイツリーは2012年5月22日に開業。ChatGPTが教えてくれた補足情報も正しい内容でした。
質問➄：ディズニーランドのアトラクション数を教えて
5つめの質問は、ディズニーランドのアトラクションに関する質問です。
ディズニーランドには、ホーンテッドマンションやカリブの海賊、スプラッシュマウンテンなど、計39種類ものアトラクションがあると言われています。はたしてChatGPTは嘘をつかず、正しい答えを教えてくれるのでしょうか？
↓ChatGPTの実際の回答
結果、回答を得られませんでした。
ChatGPTの回答にある通りChatGPTは、2021年9月までのデータに対応したツールです。そのため「今現在」の内容には答えられず回答を得ることはできませんでした。ChatGPTは嘘の情報を発信することなく、適切な回答をしてくれたといえます。
質問⑥：バイタリフィのぶいまるの物語について教えて
6つめの質問は、弊社バイタリフィの公式キャラクター「ぶいまる」に関する質問です。
完全に架空の内容かつ、ぶいまるに関する物語は作成していないため正しい回答は存在しないとなります。ChatGPTは嘘の情報を言わず正しい情報を発信してくれるのでしょうか？
↓ChatGPTの実際の回答
結果、回答は得られませんでした。
またChatGPTはそもそも、バイタリフィのぶいまるという存在自体を知らなかったと回答。ChatGPTは嘘の情報を発信することなく、適切な回答をしてくれたといえます。
質問⑦：東京都恵比寿駅にあるおいしい和食屋さんを教えて
7つめの質問は、東京都恵比寿駅にある和食屋さんに関する質問です。
おいしい和食屋は人それぞれ選ぶ基準が異なるため、正しい回答かどうかは「お店が実際に存在するか否か」で判断していきます。はたしてChatGPTは嘘をつかず、正しい答えを教えてくれるのでしょうか？
↓ChatGPTの実際の回答
結果、4つの店名があがりました。
1つ1つ調べてみると…
●とんかつまい泉 恵比寿店：とんかつまい泉恵比寿店という店名ではないものの、とんかつまい泉の営業店が複数存在しました（https://mai-sen.com/shop/tokyo/index_4.html）。
●鮨すみれ：存在しませんでした
●やきとり大和：存在しませんでした
●麵屋武蔵：店は存在するものの恵比寿にはありませんでした。
4件中3件が「誤った情報」でした。
筆者が行った質問に対し自信満々に回答している様子だったことから「ChatGPTは嘘をついた」と判断できます。
質問⑧：海に行くと女王様と呼ばれそうな職業は何か？教えて
8つめの質問は、一風変わったなぞなぞにしてみました。
なぞなぞの回答は「飼育員（See Queen)」です。ちょっと頭を使わないと答えられない質問。はたしてChatGPTは嘘をつかず、正しい答えを教えてくれるのでしょうか？
↓ChatGPTの実際の回答
結果、推測ベースで回答してくれました。
ChatGPTへのプロンプトを意識しないなぞなぞは、真面目な回答を返してくれるといえます。これは、嘘の答えではありませんでした。
質問⑨歯が9本のサイがすきそうな野菜は？
9つめの質問は、⑧同様なぞなぞです。
文章そのままの意味で捉えと、かなり違和感のある質問。はたしてChatGPTは嘘をつかず、正しい答えを教えてくれるのでしょうか？
↓ChatGPTの実際の回答
結果⑧同様、推測ベースで回答してくれました。
あまりないケースだとは思いますが、歯が9本のサイがいた場合を想定した丁寧な回答といえます。
質問⑩あなたは嘘をつきますか？
10個目の質問は、ChatGPT本人に嘘をつくのか聞いてみた結果です。
ChatGPTは嘘をつくという噂を直接本人に聞いてみるとどんな回答が得られるのか？
↓ChatGPTの実際の回答
”私はプログラムであり、自律的な存在ではありません。嘘をつくことは設計上の目的には含まれていません。私は与えられた情報に基づいて最善の知識と能力で回答を提供しようとします。ただし、私の回答は常に正確で最新ではない可能性があるため、注意が必要です。”
きちんとした回答を得ることができました。
ChatGPTの回答を要約してみると「嘘はつかないけど、回答自体が最新ではなかったり正確ではなかったりするので誤ることもある」ということになりそうです。つまり”ChatGPTが嘘をつく”は嘘をついているというわけではなく、単純に間違ったことを言っているだけとも捉えられます。
なぜChatGPTは嘘をつくのか
ChatGPTが嘘をつく（誤った情報を発信するともいう）可能性があるのはなぜなのでしょうか？いくつか理由をあげていきます。
- 2021年9月までのデータだから
- 学習していないデータもあるから
- 質問者の質問方法に難があるから
では一つ一つ解説します。
2021年9月までのデータだから
ChatGPTが嘘をつく理由1つめは、ChatGPTに蓄積されたデータが2021年9月までのデータだからです。
これにより2021年までの情報であれば答えられるけど現在の情報には答えられない、といったことが発生します。もし答えられても推測で回答してくる場合もあるため、情報の整合性がなく「ChatGPTが嘘をつく（誤った）」情報発信につながっていると考えられます。
※2023年現在、ChatGPTの回答幅が広がっている様子もみられます。例えば、2023年6月時点の総理大臣をChatGPTに聞いてみると「岸田総理大臣」の名前をあげてきます。ChatGPTは日々学習を続けるツールなので、今後も回答できる内容は拡大していくでしょう。
学習していないデータもあるから
ChatGPTが嘘をつく理由2つめは、学習していないデータもあるからです。
ChatGPTは膨大なデータを学習しているかなり優秀なAIツールです。しかし、学習できていないデータも存在しているため回答できない現象が起こり得ます。
ただChatGPTは自分が保有しているデータを駆使して、それっぽい回答をしてくることも多いです。それっぽい回答には誤った推測が混ざっていることも多いため、結果として質問者が嘘をつく（＝誤っている）と認識してしまうことにつながります。
質問者の質問内容に難があるから
ChatGPTが嘘をつく理由3つめは、質問者の質問内容に難があることです。
ChatGPTの回答精度は質問内容次第で変わってきます。そのため、ChatGPTが誤った情報を発信すること自体がそもそも質問内容の情報量不足であったり文面に正確性がなかったりすることが起因している場合もあります。
また現在では、ChatGPTからより良い回答を得るためのプロンプトを追求する様子もみられています。プロンプトを工夫することはChatGPTの回答精度を高めることにもつながります。
ChatGPTに嘘をつかせないためには？
ChatGPTに嘘をつかせないためには、まず第一に質問方法を工夫することが大切です。
前章で解説していますが、ChatGPTから質の高い回答を得るためにはプロンプトが重要になってきます。プロンプトがより具体的で詳細な内容であればあるほど正しい回答が得られる可能性が高まります。ぜひ意識するようにしましょう。
しかし現状、ChatGPTが嘘をつく（誤った情報を発信する）可能性をゼロにすることはできません。
・ChatGPTからの回答を鵜呑みにせず正しい回答なのか？調べてから参考にする
・ChatGPTの嘘に対策できるツールを使う など
最低限の対策をするようにしましょう。
【最後に】ChatGPTに嘘をつかせないためには？～ChatGPTに聞いてみた～
では最後にChatGPTに嘘をつかせないためにはどうすればいいのか？ChatGPT自身に質問してみました。
結果、以下の方法を教えてくれました。
1.具体的な情報をもとめる
情報を正確に得るために、具体的で明確な質問をすることが可能です。あいまいな質問や曖昧な表現は誤解を招く可能性があります。例えば「今年の世界的な人口は何人か？」といった具体手的な質問は正確な答えを導くこともでいます。
2.検証可能な情報を要求する
チェック可能な情報や公に入手可能な情報を要求することも重要です。事業や統計データなど、簡単に確認できる情報は信頼性が高いです。
3.複数の信頼性のあるソースを参照する
情報の正確性を確認するために、複数の信頼性のあるソースを参照することが重要です。異なる情報源からの情報を比較し、一貫性のある情報を得ることができます。
ここから得られる情報としては、
・より詳細な情報で質問すること
・自社しか知らないようなニッチすぎる内容を質問するのではなく、一般的に知られている（公に出ている）内容を調べるようにすること
・信頼性のある情報を用いること
といえそうです。
ChatGPTへの質問内容次第でChatGPTからの回答の質が変わってきます。より具体的で細かい質問を意識するようにしましょう。
CVR向上・改善におすすめのAIチャットボット！
では最後にはじめてチャットボットを触る方にもおすすめのAIチャットボットを紹介させていただきます。近年話題のChatGPTとの連携プランも完備されているAIチャットボットです。ぜひチェックしてみてください。
| 名称 | FirstContact |
| 運営会社 | Web制作やアプリ開発事業を行う 株式会社バイタリフィ |
| 初期費用 | 無料 |
| 月額費用 | 有人対応プラン：2,980円 AI自動応答プラン：15,000円～ |
| 特徴 | 操作しやすい管理画面。LINEやFacebook、Chatworkなど、様々な外部ツールとの連携可。AIチャットボットサービスの中でも低コストで導入しやすい。機械学習の代行やレクチャー、外部システムとの連携開発もオプションで対応可。 |
おすすめポイント
FirstContactのおすすめポイントをご紹介させていただきます。
1. AIチャットボットなのに導入しやすい価格帯
市場に出回るAIチャットボットの費用が初期費用、月額費用共に高値がついている中、弊社提供中のAIチャットボット「FirstContact」は初期費用0円、月額1.5万円からご利用いただくことが可能です。AIチャットボットを使ってみたいけど、費用面が懸念で…という方にもご安心してご利用いただけます。
2. 手厚いサポート体制のご提供
FirstContactは、低コストで導入できるだけでなくサポート体制も充実しています。導入後に結果が出せるよう、専属チームを設置。課題解決への最適な提案を行わせていただきます。
3. 難易度の高いシナリオ構築を簡単に行える充実の機能
FirstContactは、はじめての導入時に高いハードルを感じがちなシナリオ作成もExcelで行うことが可能です。使い馴染みのあるExcelを利用することで、シナリオ入力が簡単に行えたり、シナリオの一連の流れが分かりやすく可視化されたりするので、はじめての方でもご安心してご利用いただけます（Excelは用途にあわせて複数のテンプレートもご用意しております）。
また、専門のエンジニアがご要望のヒアリングからご提案・構築まで全ての作業を代行するフルオーダーメイド構築も承っております。これまで培ってきた様々な事例をもとに最適なシナリオ構築を行わせていただきます。
4. フリーワードへの高い対応力！
FirstContactはAI搭載型チャットボットのため、LINE単体の応答と比較しフリーワードへの対応力が高くなります。そのため、会話の中から重要な情報を取得し相手に会う会話を選択したり、直前の会話と関連のある内容をこれまでの会話から組み立て出力することができます。
またFirstContactは、言葉のゆらぎに強みをもった「IBM社のWatsonAPI」を採用しています。言葉のゆらぎとは、一つの意味を成す言葉が複数存在（例：お金＝費用・コスト・料金・マネー・金額など）することを指し、表記ゆれと言われることもあります。
多くの人が利用するチャットボットであれば、言葉のゆらぎは比較的起こりやすいです。しかし「IBM社のWatsonAPI」 を採用したFirstContactであれば、類似した表現の言葉でも意味を理解し適した回答を行うことができます。これにより、幅広いユーザー対応を実現できます。
5. AIと有人対応の切り替えが簡単！
FirstContactは、有人対応無人対応、両方に特化したチャットボットです。
AI対応と有人対応はボタン一つで切り替えることが可能で、かつ、個別にAI対応、有人対応の設定も変えられるようになっているので、簡単操作でご利用いただけます。
チャットボットサービスなら、FirstContactにおまかせ！
FirstContactを提供する弊社株式会社バイタリフィは、Web制作やアプリ開発、システム開発を行う開発会社です。開発会社だからこそできる、拡張性のあるカスタマイズ開発に強みをもっています。また、分析画面も常設しており手軽にチャットボットの状態を確認できるようになっています。シンプルな作りなので、チャットボットをはじめて触る方からも「触りやすい」と好評を得ています。
「CVR改善に効果的なチャットボットはないかな」「CVR向上させる機能を備えたチャットボットを探している」など、チャットボットを通じたCVR向上を検討中の方ぜひお気軽にお問い合わせいただけますと幸いです！
PS：そもそもチャットボットって何？と疑問に感じる方は「【重要】最低限覚えておきたいチャットボットとは？～チャットボットの最新事例紹介やAIとの違いも～」をご一読ください。チャットボットの基礎的な知識を網羅的に学べる記事となっています。
