LLMアプリの評価と運用

このコースでは、LLM を使ったアプリを、作って終わりにせず、良い状態に保ち続ける方法を学びます。LLMアプリは、同じ質問でも答えが変わり、正しい答えも1つに決まりません。指示を1行直しただけでも、モデルの版が変わっただけでも、答えが変わります。題材は、「PythonでAIチャットボットを作る」で作って公開した、架空のネットショップ「ことり雑貨店」のお問い合わせボットです。

対象は、LLM を使ったアプリを作ったことがあり、これから仕事で使ってもらう人です。前提として、「プロンプト設計」（特に「プロンプトを比べて良くする」）と、「PythonでAIチャットボットを作る」の内容が分かっていると、スムーズに進めます。資料を探して答えるしくみの評価は「RAG」、何ステップも進めるエージェントの見える化は「AIエージェント入門」でも扱っています。

コースを終えると、次のことができるようになります。

• 出す前に基準を決める・変えるたびに確かめる・出したあと見守る、の3つのタイミングと、見つける → 評価セットに足す → 直す → 確かめて出す → 見守る のサイクルを説明する
• 本番の記録から評価セットを作り、偏りと件数を確かめ、2つの版の差がたまたまかを判断する
• 形・注文番号・個人の情報・約束・長さ・出典・引き継ぎを、ルールで自動採点する
• LLMに採点させる基準を書き、順番や長さのくせを確かめ、人の判定と比べて（カッパ係数）から使う
• 指示やモデルを変えるたびに、評価セットを自動で流して確かめ、出したあとは記録と数字で見守る
• 品質を保ったまま、費用と待ち時間を下げる

レッスン5のほかは、コードをブラウザの中でそのまま動かせます。APIを呼ぶレッスン5は、「PythonでAIチャットボットを作る」で作ったフォルダを使い、自分のパソコンで動かします。

このコースは、スタアカの「生成AIパート」の最後のコースです。