どんな話？
頼まれたときだけ GPU が起きて働く Serverless の仕組みを、公式の説明書と料金ページを読んでまとめました（実際に作る操作はしていません）。課金は、エンジンが起動してから完全に止まるまで。仕事のあとに待つ5秒（初期値）も料金に入ります。寝起きの時間は「200ミリ秒未満」から「初回は数分」まで幅があります。仮の計算では、1回50秒の頼みが1日10回で約0.16ドル。最後に、作る手順メモを1枚書きました。
この記事でわかること
- 4090 PRO は1秒0.00031ドルで、1時間に直すと約1.12ドル。ガレージ（RTX 4090・Secure Cloud）の1時間0.74ドルの1.5倍ほどで、起きている時間が1日に合計で約16時間を超えるなら、ガレージのほうが安い
- 課金は、エンジンが起動してから完全に止まるまで、秒単位で切り上げ。仕事のあとに次の頼みを待つ5秒（初期値）も料金に入る
- 眠れるエンジン（Flex worker）は寝起きの時間がある。起きっぱなしのエンジン（Active worker）は、何もしていないときもずっと課金される。Active workers の初期値は0、Max workers は3
- 寝起きの時間（コールドスタート）は、公式の中で「200ミリ秒未満」「数秒」「初回は数分」と幅がある。7分を超えると、そのエンジンは「故障」として扱われる
- 仮の計算では、1回50秒の頼みが1日10回で0.155ドル、30日続けると4.65ドル。借りっぱなしのガレージ（RTX 4090・Secure Cloud）は30日で532.80ドル
- 3日間だれも鳴らさないと Max workers は2に、7日間で0に下がる。貸し倉庫（Network volume）の保管料は、エンジンが眠っていても、呼び鈴を消しても続く
やることチェックリスト
0/6記事を読みながら、できたものにチェックを付けていけます。チェックはこの端末に残ります。
ぜんぶできた！おつかれさまでした。
くわしい手順と画面の図は、Xの記事にあります。
こんな人に
- 自分で動かしたAIを、同僚やほかの人にも使ってもらいたい人
- ガレージ（Pod）を借りっぱなしにするのは、もったいないと感じている人
- 「コールドスタート」「アイドルタイムアウト」という言葉を見て、意味もお金への響き方も分からなかった人
この話のTIPS
- コツ待つほう（/runsync）にも、待てる長さの決まりがあります。操作の一覧のページによると、何も指定しなければ、待つのは90秒まで。住所の最後に ?wait=120000 のように付ければ、1秒から300秒（5分）の間で変えられます。数字の単位はミリ秒なので、120000 は120秒です。
- 注意push したとき、Docker Hub に置き場がまだ無ければ、置き場は自動で作られます。そのときの公開範囲を決めるのが、自分のアカウントの「Default repository privacy」という設定です。これが Public なら、置き場は検索に出て、誰でも箱を取り出せます。