・NVIDIAのNeMo Guardrailsは幻覚症状問題に対するソフトウェア。
・ガードレールを追加し、不適切な情報や有害な情報の提示を防ぐ。
・複数のモデルの返答を比較し、ファクトチェックを実行して幻覚症状を抑制する。
ChatGPTやBardなどが直面する「幻覚症状」問題、NVIDIAが対策へhttps://t.co/yF5DN4sFK9
— 黒井五郎(News U.S.) (@goro_newsus) May 27, 2023

NVIDIAが幻覚症状に対するソリューションとして「NeMo Guardrails」というソフトウェアを開発しました。このソフトウェアは、チャットAIに対して「ガードレール」を設け、不適切な情報や有害な情報の提示、幻覚症状を防ぐことができるとされています。
具体的には、NeMo Guardrailsは特定のトピックに話を限定したり、有害な内容を回避することに加えて、コンピュータ上で有害なコマンドを実行しないように制限することができます。また、特定のトピックに関連するプロンプトが入力された場合、事前に定義された返答のみを返すようなスクリプトを作成することも可能です。
このソフトウェアの活用例としては、カスタマーサービスや社内向けのチャットAIが挙げられます。例えば、カスタマーサービスAIは、プロンプトによって情報を脱線させたり、有害な回答を提示したりする可能性がありますが、NeMo Guardrailsを使用することで、トピックの脱線や有害な反応を防ぐことができます。同様に、社内向けのチャットAIでは、機密情報や他の社員に関する情報を保護するために、アクセスを制限することも可能です。
さらに、NeMo Guardrailsは、複数の大規模言語モデルの返答を比較し、ファクトチェックを実行することもできます。もし複数のモデルの返答が異なる場合、AIは「分かりません」と回答することがあります。これにより、幻覚症状を抑制することができるとされています。
NVIDIAのNeMo Guardrailsは、ジェネレーティブAIにおける幻覚症状問題に対する一つの取り組みであり、より安全かつ信頼性の高いAIシステムの実現を目指しています。
コメント欄の意見:
temさん
ChatGPTが黒木千晶アナウンサーについて全く有りもしない嘘のプロフィールを回答した。
最新のコメントではChatGPTが日本人女性の名前の可能性を示唆しているが、2021年までの情報しか持っていないはずである。****さん
ChatGPTを調べものに使っているが、架空の団体の説明を始めたことがある。
情報を生成する場合は自作の方が速いが、回答の範囲が予測できる内容や他の検索方法手段のヒントとして利用している。gonさん
調べものをする場合はBingChatや有料のChatGPT-4を使うべきだと思う。
ただし、誰もが使いこなせるわけではないため、指示を文章で行うのに不便な人々のための工夫が必要である。lost quintetさん
シュメール王名表についてChatGPTに尋ねたところ、全く架空の書籍を提示してきた。
幻覚を起こすことはあっても、爆弾を作っても爆発しないだろう。alaさん
検索で分かることをChatGPTに聞いてしまう理由に疑問を持っている。



