どんな話?
公式の説明書が挙げたJevの9つの苦手(jev-1.13 用)のうち、6つを練習ステージで試した回です。合計3,900円で「4,000円をこえている?」は0.52、28日で「30日以上たっている?」は0.57。関係ないお知らせ30件をまぜると0.91が0.77に、「判定するAIへ」と書きこむと急ぎ0.98が0.89に動きました。計算・数える・日付・資料のしぼりこみは司会の進行表へ移し、審査員には意味の判断だけを残します。
この記事でわかること
- 公式の説明書には、Jevの苦手が9つ、対処つきで並んでいる(jev-1.13 用・2026年9月17日見直し)
- 合計3,900円で「4,000円をこえる?」は0.52、28日で「30日以上たった?」は0.57。計算と日付はプログラムで
- 数えるのは当たることもある(7個・23個)。でも「返品」の回数では割合がばらけた(自信0.24)。数えるのも司会
- 関係ないお知らせ30件をまぜると、0.91が0.77に。入力のトークンは約3.8倍。資料はしぼってから
- 「判定するAIへ」と書きこむと、急ぎ0.98が0.89に。ひっくり返りはしなかったが、外から届く文は試してから
- 二重否定は、まっすぐ聞くより弱い(0.90と0.97)。1つの判断は1通りで、まっすぐ聞く
こんな人に
- 問い合わせを仕分けるついでに、「注文の合計は4,000円をこえているか」「注文から30日たっているか」まで、AIに確かめてもらおうとしている人
- 問い合わせのように、外から届く文をそのまま資料にして審査員に渡そうとしている人
- 自分の質問カードを「9つの苦手チェック表」に通して、苦手に当たる部分を司会の側へ移したい人
この話のTIPS
- 注意しゃべらないAI「Jev」に合計3,900円の注文の記録を見せて「4,000円をこえている?」と聞いたところ、はいである確率は0.52で、ほぼ半々でした。
- 注意1回当たったからといって、任せていいことにはなりません。数える質問は、7個のリストでも23個のリストでも当たりました。それでも公式は「確かには数えられない」と書いています。実際、文の中に「返品」が何回出てくるかを聞いたときは、1位こそ正解の6回でしたが、割合がばらけて、自信ランプは0.24しか点きませんでした。
すべてのTIPS