どんな話？
入力、期待値、条件の版、実測値、実行失敗、後続処理を並べる評価セットを作りました。第3話と同じ10件は9件が期待値と一致し、誘導文の1件が不一致。担当範囲付きの別条件で試した住所変更3件は2件が一致し、「住所を変えたい」は人が確認を期待したのにアカウント60%でした。条件がちがう結果は13件中11件とまとめず、1か所直して前の版と比べます。間違いは、どこを直し、何をもう一度試すかを決める材料です。
この記事でわかること
- 期待する答えは、AIの出力を見る前に人が決める。担当者同士で答えが分かれる例は、AIの評価より先に、ルールの境界を確認する材料
- 入力は普通・曖昧・想定外に分けて用意する。想定外には、担当外の内容、空の入力、材料に混ざった誘導文を入れる
- 架空の計算練習では、回答を取得できた9件で見た一致率は8÷9で約88.9%、全10件で見ると8÷10で80%。何を分母にしたかを明記する
- 担当範囲付きの routing-playground-v2 で住所変更3件を試し、2件が一致。E7-14「住所を変えたい」はアカウント60%、confidence47%で不一致
- confidence は一致した9件で56〜95%、不一致の1件で59%。結果を見てから引いた「80%以上」の線は、新しい入力で通用するか未確認
- 修正に使った文だけでなく、以前合っていた文と、修正に使わなかった言い換えでも確かめる
やることチェックリスト
0/6記事を読みながら、できたものにチェックを付けていけます。チェックはこの端末に残ります。
ぜんぶできた！おつかれさまでした。
くわしい手順と画面の図は、Xの記事にあります。
こんな人に
- 数件うまくいっただけで、仕事へ組み込んでよいか迷っている人
- AIの判断を確かめたい人
- 試す入力の集め方と、結果を読む方法を知りたい人
この話のTIPS
- コツ何を分母にしたかを隠すと、同じ結果でもよく見えてしまいます。
- 注意confidence が高いときも正解とは限らず、低いときでも答えが合うことがあります。