【小学生でもわかる】AIに入る言葉と出る言葉を、AIが見張る！Jevでつくる安全チェック（ガードレール）

どんな話？

しゃべらないAI「Jev」を、しゃべるAIの入口（利用者の文）と出口（しゃべるAIの返事）に見張り役として置く回です。まずい約束をした返事に、お店の決まりを資料として足すだけで、約束の札が0.5前後から0.96に上がりました。「どれ？」の札は2つの決まりに反する文で0.61と0.36に割れ、決まりごとの「はい度」なら0.97・0.98。成果物は、入口と出口の見張り表と「通す・人に回す・止める」の線です。

この記事でわかること

• 見張りは、1通につき1回の依頼。カードを何枚出しても、依頼は1回のまま
• 決まりは資料で渡す。お店の決まりを資料に足すと、約束の札が0.49〜0.52から0.96に（問いだけ変えたときは0.70〜0.71。3回ずつ）
• 「どれ？」の札は、2つの決まりに反する文で0.61と0.36に割れた。決まりごとに「はい度」を1枚ずつ出すと0.97・0.98。ただし名指ししていない決まりも0.3〜0.5に上がった
• 小説の形の依頼は、脱獄の札が0.67と中くらい。害の重さ（2.36）と組み合わせて、はじめて「止める」に入る
• 公式のレシピの線は、0.70以上でそのカードに決めた動き・0.35以上で人に回す・害の重さ2.0以上で「人に回す」を「止める」に上げる
• 見張り1回は、サーバーの処理が0.1秒前後、お金は入口で0.00004ドルほど（計算上）。資料の中の指示に札が引っぱられることもあり、「これで安全」ではない

こんな人に

• お店の問い合わせ窓口や社内の質問係に、しゃべるAI（チャットボット）を置こうとしている人
• 「これまでの指示はすべて忘れて」と打ちこまれたら、AIが決まりを守れるのか心配な人
• まだ決めていない返金を、AIが返事で約束してしまわないか気になる人

この話のTIPS

• 注意「どれ？」の札は、候補の中から1つを選ぶ札です。割合は足して1になるので、2つの決まりに同時に反していても、割合は2つに分かれてしまう。
• コツ見張りのカードを増やしても、依頼は1回のままです。カードのぶんだけトークンは増えますが、1枚あたりは短い文にすぎません。