ホーム ／ ナレッジ ／ LLMの精度評価は「評価セット」で決まる——作り方と運用の実務
LLMをプロダクトや業務に載せる前に、精度をどう確かめるか。「良さそう」という印象評価が破綻する理由から、評価セット（入力と期待出力のペア集合）の作り方の手順、Go/No-Go基準の決め方、モデル更新時の回帰評価までを、AI機能PoCを提供する実装企業が実務目線で解説します。
著者： 村山 悠太（ゴムマリ） 最終更新： 2026年7月
この記事でわかること
この記事は、LLM（大規模言語モデル）をプロダクトや業務に載せる前に、その精度をどう確かめるかを実務目線で扱います。中心にあるのは「評価セット」という道具です。作り方の手順、Go/No-Goの基準の決め方、載せた後の運用までを順に説明します。読み手は、LLMを実装する前に精度をどう検証するか悩んでいるPdM・開発責任者・推進担当です。
デモを触って「良さそう」と感じることと、その機能が本番品質に届いていることは別物です。印象評価が意思決定に使えないのには、2つの理由があります。
印象は再現しない。 たまたま試した数件がうまくいっても、本番で来る入力の全体でどうかは分かりません。うまくいく例ばかりを見て過大評価する、あるいは失敗例に引きずられて過小評価する——どちらも起きます。
人によって判定が揺れる。 同じ出力でも、レビューする人・見た日・そのときの期待値によって「正解」の線引きが動きます。揺れる物差しで測った精度は、投資判断の根拠になりません。
この2つを同時に解くのが評価セットです。精度は、評価セットを用意して初めて数字になります。
評価セットとは、入力と、それに対する期待出力のペアを集めたものです。 LLMに同じ入力を与え、出力が期待出力の基準を満たすかを一件ずつ判定して、全体の精度を数字で出します。
要点は3つです。第一に、実データ由来であること。想像で作ったきれいな入力ではなく、本番で実際に来る入力から作ります。第二に、代表ケースだけでなく例外・難ケースを含むこと。うまくいく例だけを集めても、本番の弱点は見えません。第三に、期待出力の基準が文章で固定されていること。何をもって正解とするかが揺れないことが、再現する評価の前提です。
評価セットの作成は、おおむね次の4手順です。
1. 実データから代表ケースと難ケースを抽出する。 過去の実データを見渡し、頻度の高い代表的な入力と、判断が割れそうな難しい入力の両方を選びます。難ケースを意図的に入れることが、本番の弱点を先に見つける鍵です。
2. 正解の定義を文章で固定する。 各入力について「何が正解か」を言葉で書き切ります。「おおむね妥当」ではなく、判定者が変わっても同じ結論に至る粒度まで具体化します。この定義書が評価の背骨になります。
3. 専門家の監修で正解自体を検証する。 正解の定義が本当に正しいかを、その領域の専門家にレビューしてもらいます。ここを飛ばすと、間違った正解に向けて精度を測るという本末転倒が起きます。専門領域ほど、正解の妥当性そのものが論点になります。
4. 件数は代表性が確保できる規模から始める。 当社の実例では、法務領域のSaaS企業のAI機能PoCで、想定ケースを類型網羅した約100件の評価セットを設計しました（事例）。多ければよいというより、来る入力の型を網羅できているかが重要です。まず型を押さえ、運用しながら不足を足していきます。
評価セットができたら、何%の精度で本番に進むのかを着手前に決めます。順番が大切で、結果を見てから基準を作ると、都合のよい線引きになりがちです。
基準は機能の性質で変わります。誤りが直接ユーザーの不利益になる判定・チェック・審査のような機能は、高い水準と、誤り方の許容範囲（どの種類の間違いは許せないか）まで決めておきます。逆に、人が最終確認する前提の下書き生成なら、求める水準は変わります。基準を数字と言葉で先に置くことが、PoCを印象論から救います。
評価セットは、一度作って終わりではありません。LLMは、モデルの更新やプロンプトの変更で挙動が変わります。よかれと思った変更が、別のケースを悪化させることは珍しくありません。
だからこそ、モデルを更新したときやプロンプトを変えたときは、同じ評価セットで回帰評価を回します。変更の前後を同じ物差しで比べれば、改善したのか、どこかを犠牲にしたのかが数字で見えます。入力の分布も時間とともに変わるため、新しく現れた難ケースを評価セットに足していく運用も、あわせて回してください。この継続評価を最初から設計に組み込むことが、載せた後の劣化を防ぎます。ログや例外の受け皿、改修体制まで含めた導入後の運用の全体像はAIエージェントの運用・保守で扱っています。
評価セットは何件あれば十分ですか。 件数より、来る入力の型を網羅できているかが本質です。当社の実例では約100件から始めています。代表ケースと難ケースの型が押さえられていれば、少数でも意思決定に使えます。不足は運用の中で足していきます。
自動評価と人手評価、どちらがよいですか。 両立させます。明確な正誤が定義できる項目は自動化して回帰評価を軽くし、判断が要る項目は人手や専門家のレビューで見ます。大切なのは、どちらも同じ正解の定義に沿って判定することです。
専門家の監修は本当に必要ですか。 正解の妥当性が論点になる領域では必要です。正解の定義が間違っていれば、そこに向けて測った精度は意味を持ちません。専門領域ほど、正解自体をレビューする工程の価値が上がります。
PoCが本番に進まないのも、評価の問題ですか。 評価の設計は大きな要因の一つです。印象評価のまま進めると判断が止まります。構造的な要因の全体像はAI PoCが本番に進まない理由に整理しています。
評価セットの設計・専門家監修・Go/No-Go判断までを含む固定価格のPoCは、AI機能PoC（サービス）にまとめています。自社の機能でどう評価セットを組むかは領域ごとに異なりますので、まずはお問い合わせからご相談ください。
国産大手ERPベンダーで新卒からERPのエンタープライズ営業・プリセールス・導入コンサル、外資系SaaSでパートナーセールス部門の立ち上げ、国内大手放送局で新規事業開発（通販カタログ事業）、AIスタートアップ2社でビジネスサイドの要職を歴任。2024年10月から生成AIを自ら実装し、2025年にゴムマリ株式会社を設立。
現在は自らAIエージェントを実装するFDE。評価セット設計・専門家監修・Go/No-Go判定、CRM・会計・社内DBとの統合、減った時間の実測まで一貫します。要件から、運用まで——AIエージェントが、現場で成果を出す仕組みを。