RAGの​評価データセット作成

こんな​時に

• 社内のAIを入れたが、どれくらい正しく答えているかを、数問試した印象でしか語れない
• 誤答の報告が届いても、文書の崩れか、検索の取りこぼしか、回答の誤りかが分からず、直す先が決まらない
• 設定やモデル、入れる文書を変えたとき、良くなったのか悪くなったのかを確かめる物差しがない
• どの業務なら社内のAIに任せてよいかを、数字で社内に説明できない

納品物に​含まれる​もの

• 正解つきの質問のセット（業務の場面ごと。正解には原本の該当箇所〔文書名とページ・条項〕を添える）
• 採点の結果（御社の社内のAIに実際に聞き、正答・誤答・出典違い〔根拠として示した箇所が答えの裏づけになっていない〕に分けたもの）
• 誤答の原因の分類（文書の崩れ・検索の取りこぼし・回答の誤り）
• 直す順番の提案（直すと正答が増える順）

進め方

1. 社内のAIが受ける質問を業務の場面に分け、対象の文書の範囲を決める
2. 原本から場面ごとに質問と正解を作る（表の中の値、版による違い、文書に答えが無い質問など、取り違えやすい質問も入れる。判断が割れる正解は御社に確かめていただく）
3. 社内のAIに作った質問を聞き、正答・誤答・出典違いに採点する
4. 誤答の原因を分け、直す順番をつけて報告する

構築に​含まれる​評価との​違い

本メニューは社内のAIを作らず、測ることだけを引き受けます。質問のセットは御社の文書の原本から業務の場面ごとに作り、正解ごとに原本の該当箇所を添えるため、採点する人によって結論が揺れにくくなります。機械で採点できる形で数をそろえて作るので、設定・モデル・文書を変えるたびに、同じ質問のセットで前後の正答率を比べられます。

近いメニューとの使い分け: 社内のAIを作る、または散らばった文書を整えて答えられるようにするなら社内ナレッジのAI検索化、製品マニュアル・技術文書をAIが正しく答えられる形に整えるならマニュアルのデータ構造化へ。本メニューは「いまの社内のAIが、どの業務でどれくらい正しく答えているかを測る」が主目的の方に向いています。

次の​一歩

文書・設定・モデルを変えるたびに同じ質問のセットで測り直すなら、業務AIエージェント導入で御社の中の仕組みにできます。 本メニューの費用は初期構築費に全額充当できます。