どんな話？
Jevは1回の依頼で、1つの資料に対して質問カードをまとめて、互いを見ずに同時に評価します。練習ステージで1枚から20枚にしても、サーバーでの処理は53〜102ミリ秒の中で、枚数では延びませんでした。1枚ずつ5回は2,413トークン、5枚を1回は573トークンで約4.2分の1。上限は資料と質問ぜんぶで6万4千トークン、資料といちばん長いカードで3万2千トークン。前の答えで資料か候補が変わるカードだけ、2回目に分けます。
この記事でわかること
- 1回の依頼で、1つの資料に質問カードをまとめて出せる。カードは同時に、互いの答えを見ずに評価される
- 質問カードを1枚から20枚にしても、サーバーでの処理は53〜102ミリ秒の中で、枚数では延びなかった（1回か2回ずつの測定）
- 1枚ずつ5回＝2,413トークン、5枚を1回＝573トークン（約4.2分の1）。料金の差は、おもに依頼を何回送ったかでつく
- 公式のレシピは「12.2倍安く10.0倍速い」、質問の出し方のページは「11.5倍安く9.6倍速い」。公式の中で割れている
- 1回の上限は、資料と質問ぜんぶで6万4千トークン、資料といちばん長いカードで3万2千トークン。こえると答えは1つも返らず断られる
- 前の答えを使うカード（資料に足す・資料を決める・候補を選ぶ）だけ2回目に分ける。使わないかもしれないカードは先に出しておいていい
こんな人に
- 問い合わせ1通について、AIに確かめたいことが5つも6つもあり、1つずつ聞いて回数も料金もかさんでいる人
- しゃべるAIの感覚で、質問は少ないほど速くて安いと思っている人
- 自分の仕事の質問カードを、1回目にまとめるものと2回目に分けるものに仕分けたい人
この話のTIPS
- コツまとめて出したカードは、ほかのカードの答えを見ません。2回目の依頼に分けるのは、前の答えで資料か候補が変わるときだけです。答えを見てから使うかどうか決めるだけのカードは、1回目にまとめて出し、要らない答えはプログラムが捨てます。
- 注意断られた依頼に料金がかかるかは、確かめられていません。日本語の資料で何字まで入るかも、試していません。字とトークンの数え方は言葉によって変わるので、英語の15万字を日本語の目安にしないでください。