LLMアプリの評価と運用とは？

ことり雑貨店のボットは、公開したあとも、指示の手直し・モデルの更新・新しいサービスで答えが変わっていきます。作って終わりにせず、良い状態を保ち続けるしくみを考えます。

動かして確かめる

動画と同じ30日間（作り話）で、3つの変化が起きます。守りの組み合わせを変えて、誰がいつ気づき、何人のお客様が困るかを見てみましょう。

コードで確かめる

評価セットのいちばん小さな形を、Python で動かしてみます。コードの右上の「▶ 実行」を押して、上から順に実行してください。

問いごとに、答えに入っていてほしい言葉（must）を書きます。答えは、指示を1行直す前と後のもの（説明のために作った例）です。

import pandas as pd

# 評価セット（ことり雑貨店のボット）。問いごとに、答えに入っていてほしい言葉を書く
eval_set = [
    {"id": "ship-1", "question": "送料はいくらですか？", "must": ["550円", "5,000円"]},
    {"id": "ret-1", "question": "届いたマグカップを返品できますか？", "must": ["8日後", "未使用"]},
    {"id": "pay-1", "question": "代金引換は使えますか？", "must": ["330円"]},
    {"id": "ord-1", "question": "KT-10231 はいつ届きますか？下4桁は1234です", "must": ["発送済み"]},
    {"id": "out-1", "question": "おすすめの映画を教えて", "must": ["お買い物"]},
]

# 指示を1行直す前と後の答え（説明のために作った例）
answers_before = {
    "ship-1": "送料は全国一律550円です。お買い上げ金額が5,000円以上なら無料になります。",
    "ret-1": "商品が届いた日の8日後まで、未使用の商品に限り返品できます。マイページの「注文履歴」からお手続きください。",
    "pay-1": "代金引換をご利用いただけます。手数料は330円です。",
    "ord-1": "ご注文 KT-10231 は、10月30日に発送済みです。",
    "out-1": "申し訳ありませんが、ここでは、ことり雑貨店でのお買い物についてのご質問にお答えしています。",
}
answers_after = {
    "ship-1": "全国一律で550円です。5,000円以上のお買い上げで無料です。",
    "ret-1": "届いた日の8日後まで返品できます。注文履歴からどうぞ。",
    "pay-1": "使えます。手数料は330円です。",
    "ord-1": "KT-10231 は10月30日に発送済みです。",
    "out-1": "ここでは、ことり雑貨店でのお買い物についてのご質問だけにお答えしています。",
}

前の正解の文とそっくり同じかで比べると、中身は正しいのに False になります。入っていてほしい言葉で比べると、合格です。

print(answers_after["ship-1"] == answers_before["ship-1"])

def check(answer, item):
    """入っていてほしい言葉が、全部入っているか"""
    missing = [w for w in item["must"] if w not in answer]
    return {"id": item["id"], "ok": not missing, "missing": "・".join(missing)}

check(answers_after["ship-1"], eval_set[0])

評価セットを全部流して、直す前と後を並べます。直したあとは ret-1 だけが不合格で、「未使用」が抜けています。出す前に流せば、ここで止められます。

def run_eval(answers):
    return pd.DataFrame([check(answers[item["id"]], item) for item in eval_set])

result = run_eval(answers_before).merge(run_eval(answers_after), on="id", suffixes=("_before", "_after"))
regressed = result.loc[result["ok_before"] & ~result["ok_after"], "id"].tolist()
print("合格:", int(result["ok_after"].sum()), "/", len(result), " 悪くなった問い:", regressed)
result

図と同じ3つの変化で、困ったお客様の数を計算します。「気づいた日 − 起きた日 ＋ 1」が、間違った答えを返した日数です。出す前に止めた A は、0人です。

changes = pd.DataFrame({
    "change": ["A 指示を1行直す", "B モデルが新しい版になる", "C 名入れを始める"],
    "start": [3, 10, 18],
    "per_day": [20, 12, 8],
    "found_none": [12, 15, 27],     # 守りなし：お客様の苦情で気づいた日
    "found_both": [None, 11, 20],   # 評価セット＋見守り（A は出す前に止めたので None）
})
for col in ["found_none", "found_both"]:
    days = (changes[col] - changes["start"] + 1).fillna(0)
    changes["people_" + col.removeprefix("found_")] = (days * changes["per_day"]).astype(int)

print(changes[["people_none", "people_both"]].sum())
changes

answers_old = {
    **answers_before,
    "name-1": "未使用の商品なら、届いた日の8日後まで返品できます。",
    "name-2": "名入れについては、担当者に確認します。",
    "name-3": "マグカップのほかに、お皿やトートバッグにも名入れできます。",
}
answers_fixed = {
    **answers_before,
    "name-1": "名入れした商品は、返品できません。ご注文の前に、お名前のつづりをお確かめください。",
    "name-2": "名入れは1点660円です。ご注文の画面でお申し込みください。",
    "name-3": "名入れは、マグカップだけで承っています。",
}
# name-1：名入れしたマグカップは返品できますか？
# name-2：名入れの料金はいくらですか？
# name-3：マグカップ以外にも名入れできますか？

# ここに書く（例：eval_set.append({"id": "name-1", "question": "…", "must": ["…"]})）

result_old = None
result_fixed = None
print(result_old)
print(result_fixed)

answers_old = {
    **answers_before,
    "name-1": "未使用の商品なら、届いた日の8日後まで返品できます。",
    "name-2": "名入れについては、担当者に確認します。",
    "name-3": "マグカップのほかに、お皿やトートバッグにも名入れできます。",
}
answers_fixed = {
    **answers_before,
    "name-1": "名入れした商品は、返品できません。ご注文の前に、お名前のつづりをお確かめください。",
    "name-2": "名入れは1点660円です。ご注文の画面でお申し込みください。",
    "name-3": "名入れは、マグカップだけで承っています。",
}

eval_set += [
    {"id": "name-1", "question": "名入れしたマグカップは返品できますか？", "must": ["返品できません"]},
    {"id": "name-2", "question": "名入れの料金はいくらですか？", "must": ["660円"]},
    {"id": "name-3", "question": "マグカップ以外にも名入れできますか？", "must": ["マグカップだけ"]},
]

result_old = run_eval(answers_old)
result_fixed = run_eval(answers_fixed)
print(result_old)
print(result_fixed)

次のレッスン「評価セットを作る・育てる」では、評価セットの問いを本番の記録から集め、偏りと件数を確かめます。