確認テスト | 37.LLMアプリの評価と運用

Q1LLMアプリを良い状態に保つための「確かめる3つのタイミング」として、正しい組み合わせはどれでしょう？

作る前にモデルを選ぶ・作るときにコードを読む・出したあとに苦情を待つ毎月1回だけ評価セットを流す・年に1回モデルを替える・問い合わせが来たら直す出す前に基準を決める・変えるたびに評価セットを流す・出したあと数字で見守る指示を変えたときだけ確かめ、モデルの版や店の決まりが変わったときは確かめない

Q2自分で考えた200問の評価セットでは、新しい版 B が今の版 A より良く見えました。ところが、本番の記録600件で比べると、範囲外と引き継ぎのカテゴリで B は20ポイント悪くなっていました。主な原因はどれでしょう？

200問では、正解率が計算できないから自分で考えた問いは、よくある質問にかたより、範囲外や引き継ぎの問いが入っていなかったから本番の記録は個人の情報を伏せたので、正しく測れないからB のほうが、答えが長いから

Q3ボットの答え「送料は全国一律５５０円です。」が、入っていてほしい言葉「550円」のルールで不合格になりました。中身は正しい答えです。どう直すのがよいでしょう？

入っていてほしい言葉のルールは役に立たないので、外す「５５０円」「550円」「五百五十円」など、思いつく書き方を全部並べるボットへの指示に「数字は半角で」と書けば、ルールはそのままでよい答えと入っていてほしい言葉の両方を、全角・半角や空白をそろえてから比べる

Q4人が20件中16件を合格にした答えを、採点させるAIも判定したところ、人との一致率は80%でした。正しい考え方はどれでしょう？

何も読まずに「いつも合格」と言うだけでも80%一致するので、偶然の分を引いたカッパ係数も見て、食い違った答えを読む80%も一致しているので、採点はAIに任せてよい一致率は件数が多いほど高くなるので、件数を増やせばよい人の判定のほうが間違っているので、人の判定をAIに合わせる

Q5新しいモデルの版に切りかえると、評価セット47問の合格が39問から40問に増えました。でも、注文の状況の9問のうち3問が、注文を調べる関数を呼ばずに答えて落ちています。出す前の関門として、いちばんよいものはどれでしょう？

全体の合格が増えていれば出す全体の合格が40問以上なら出す全体の基準に加えて、間違えると困るカテゴリは前の版より下げない、悪くなった問いは人が読む、の関門も置く落ちた3問を評価セットから外してから、全体で判定する

Q610日目にモデルが自動で新しい版になり、注文の質問に、注文を調べずに「通常1〜3日でお届けします」と答えるようになりました。お客様は間違いに気づいていません。毎日見る数字のうち、いちばん早く気づけるのはどれでしょう？

「よくない」の評価の割合遅いほうの待ち時間（p95）1会話あたりの費用注文の質問で、注文を調べる道具を呼んだ割合

Q7ボットの指示のいちばん先頭に、今の日時とお客様の呼び名を入れていたので、キャッシュがほとんど効いていませんでした。どう直すのがよいでしょう？

毎回同じ指示・店の決まり・関数の一覧を先頭に置き、日時や呼び名のように毎回変わるものは後ろに回す日時と呼び名を、指示の先頭から消すだけでよく、評価セットは流さなくてよいキャッシュが効くように、指示をできるだけ短くするお客様ごとに、別々の指示を作る

Q8費用と速さを下げる打ち手の組み合わせを比べました。全部を小さいモデルに回して答えも2文以内に縮めると、1日278円ですが、評価セットは37問で関門を通りません。よくある質問だけを振り分け、キャッシュ・バッチなどを入れると768円で、44問で関門を通ります。どう選ぶのがよいでしょう？

いちばん安いので、278円の組み合わせを出す関門を通る組み合わせの中で、いちばん安い768円のものを選ぶ評価セットの基準を37問に下げてから、278円の組み合わせを出す品質が下がるかもしれないので、費用を下げる変更はしない