小学生でもわかる AI図鑑
  1. ホーム
  2. 小学生でもわかるJev
  3. 第7話

Jev 第7話

【小学生でもわかる】AIに任せないほうがいい質問!Jevの公式が自分で挙げた9つの苦手のうち6つを試した

審査員に注文の記録を配って、「返品を望んでいますか?」の質問カードを出す。ついでに「注文から30日以上たっていますか?」「合計は4,000円をこえていますか?」も同じ回に出してしまえば、1回で全部片づきそうです。ところが、注文から28日しかたっていないのに、「30日以上たっている?」のはい度は0.57でした。どちらかといえば「はい」の側です。

  • 書き直しは紙かメモで作れる。練習ステージで Run した分は使った量(Spend)に出る(9月21日の6回ぶんで0.0001ドル)
Xで記事を読む シェア
審査員の苦手のカバー

どんな話?

公式の説明書が挙げたJevの9つの苦手(jev-1.13 用)のうち、6つを練習ステージで試した回です。合計3,900円で「4,000円をこえている?」は0.52、28日で「30日以上たっている?」は0.57。関係ないお知らせ30件をまぜると0.91が0.77に、「判定するAIへ」と書きこむと急ぎ0.98が0.89に動きました。計算・数える・日付・資料のしぼりこみは司会の進行表へ移し、審査員には意味の判断だけを残します。

この記事でわかること

  • 公式の説明書には、Jevの苦手が9つ、対処つきで並んでいる(jev-1.13 用・2026年9月17日見直し)
  • 合計3,900円で「4,000円をこえる?」は0.52、28日で「30日以上たった?」は0.57。計算と日付はプログラムで
  • 数えるのは当たることもある(7個・23個)。でも「返品」の回数では割合がばらけた(自信0.24)。数えるのも司会
  • 関係ないお知らせ30件をまぜると、0.91が0.77に。入力のトークンは約3.8倍。資料はしぼってから
  • 「判定するAIへ」と書きこむと、急ぎ0.98が0.89に。ひっくり返りはしなかったが、外から届く文は試してから
  • 二重否定は、まっすぐ聞くより弱い(0.90と0.97)。1つの判断は1通りで、まっすぐ聞く

こんな人に

  • 問い合わせを仕分けるついでに、「注文の合計は4,000円をこえているか」「注文から30日たっているか」まで、AIに確かめてもらおうとしている人
  • 問い合わせのように、外から届く文をそのまま資料にして審査員に渡そうとしている人
  • 自分の質問カードを「9つの苦手チェック表」に通して、苦手に当たる部分を司会の側へ移したい人

この話のTIPS

  • 注意しゃべらないAI「Jev」に合計3,900円の注文の記録を見せて「4,000円をこえている?」と聞いたところ、はいである確率は0.52で、ほぼ半々でした。
  • 注意1回当たったからといって、任せていいことにはなりません。数える質問は、7個のリストでも23個のリストでも当たりました。それでも公式は「確かには数えられない」と書いています。実際、文の中に「返品」が何回出てくるかを聞いたときは、1位こそ正解の6回でしたが、割合がばらけて、自信ランプは0.24しか点きませんでした。
すべてのTIPS