ウォーターフォールエンリッチメントとは​｜​データ源を​順に​当てて充足率を​上げる​設計

ウォーターフォールエンリッチメントとは、企業データの各項目を1つのデータ源だけで埋めようとせず、優先順位をつけた複数の源に「上から順に」当てて、埋まらなかった分だけ次の源で埋めていく設計手法です。滝（ウォーターフォール）のように上から流すことからこの名があります。この記事は、営業リストの空欄の多さに悩むBtoB営業企画・マーケ担当に向けて、この設計の原理と日本での組み方を整理します。

なぜ必要か​——​単一の​源では​埋まらない

空欄だらけのリストでは、あたる先も攻め方も決められません。どんなデータ源にもカバレッジの凸凹があります。ある源は上場企業に強く非上場に弱い、ある源は所在地は正確だが従業員数が古い——単一の源への依存は、その源の弱点がそのままリストの空欄になります。複数の源を重ねる設計は、この凸凹を互いに補うための答えです。この考え方は海外のBtoBデータ運用で確立したもので、狙いは「1件ごとに最良の源から取り、余計な源には当てない」ことにあります。

設計の​原理——​順序・​止め条件・​記録

設計は3つの要素でできています。

1. 順序: 源を評価軸で並べます。評価軸は、カバレッジ（対象のどれだけを埋められるか）・確度（出典の信頼度）・鮮度（更新頻度）・コスト・結合キーの5つです。安くて信頼できて結合しやすい源を上に、高価な源や手間のかかる個別調査を下に置きます。
2. 止め条件: 項目が埋まったら、それより下の源には当てません。止め条件はレコード単位ではなく項目単位で書きます。「この会社は埋まった」で止めると、一部の列だけ埋まって残りが空のまま下位層に流れず、穴が残ります。確度が低い値しか返らない源では、しきい値を決めて「未確定」に落とす判断も止め条件に含めます。
3. 記録: どの値をどの源から・いつ取ったかを、値と一緒に列で残します。源によって信頼度が違う以上、出典と取得日のない値は検品も更新もできません。

コストの考え方は、この止め条件が決めます。全部の源に全件を当てる総当たりは、費用が源の数だけ倍増します。上の層で埋まった分を下の層に流さない設計にすれば、有料源や個別調査にかかるのは「上で埋まらなかった残り」の件数だけになります。

日本での​設計——​3階層の​源マップ

日本の企業リストは、源を3つの階層に分けて設計すると組みやすくなります。

第1層は官公データ（無料・法人番号で結合）。 国税庁の法人番号公表サイトは、全法人の基本3情報（法人番号・商号・所在地）をCSV形式・XML形式で無償配布しています（約580万法人）。gBizINFOは、この基本3情報に各府省の情報（財務情報・決算情報・特許情報・届出認定情報・補助金情報・調達情報・表彰情報・職場情報）を紐づけて提供します（500万社以上）。両者は法人番号という共通キーで結合でき、出典としての信頼度も高い——「安くて信頼できる源を上に」という原理にそのまま合致します。官公データ層の作り方は官公データで企業リストを作る方法に整理しています。

第2層は商用データベース（有料・カテゴリで購入）。 官公データで埋まらない業種分類や連絡先などを、企業情報データベースのサービスから補います。件数課金・項目課金のものが多く、上層で埋まった分を流さないほど費用が下がります。

第3層はWebの個別調査（1社ずつ読む）。 保有設備・導入システム・直近の動きなど、どのデータベースにも載らない項目は、企業サイトや採用ページを1社ずつ読んで埋めます。最も手間がかかるため、上の2層で埋まらなかった項目だけをここに流すのが設計の要です。

官公データ層を​組むときの​実仕様

第1層を自前で組むなら、配布仕様を押さえておく必要があります。

• 国税庁の全件データは前月末時点の情報で、差分データは日別に配布されます。最新に保つには、全件を土台にして日別の差分を重ねる取り込みが要ります。
• ダウンロードファイルは「CSV形式・Shift-JIS」「CSV形式・Unicode」「XML形式・Unicode」の3種類です。Shift-JISはJIS第一・第二水準、UnicodeはJIS第一〜第四水準の文字を収めます。結合する源どうしで文字コードを揃えないと、文字化けや不一致が起きます。
• 国税庁はWeb-APIも提供します（REST方式・アプリケーションID発行は無料）。ただしWeb-APIでは全件データを取得できません。全件は基本3情報ダウンロードで取り、Web-APIは個別照会や差分取得に使います。
• gBizINFOはCSVやJSONなどの形式での一括ダウンロードと、REST API（利用申請でトークンを発行）を提供します（形式の詳細はgBizINFOの使い方へ）。

充足率の​測り方と​検品

ウォーターフォールが効いているかは、数えなければわかりません。

• 各項目の充足率（対象件数のうち値が入っている割合）を測ります。分母は対象件数、分子は非空の件数です。
• 層を1つ通すごとに再測定すると、その層が何件を新たに埋めたか（寄与）が見えます。寄与が小さい層は、コストに見合っているかを見直します。
• 検品では、値の由来（どの源・取得日）を列で持っておき、出典別に信頼度を判断します。全件の目視は現実的でないため、源ごと・項目ごとにサンプルを抜いて突き合わせます。

編成例——​製造業リストでの​流れ

製造業のリストを作る場合、層はこう流れます。まず第1層の国税庁データで商号・所在地・法人番号を確定します。次にgBizINFOで資本金・従業員数・届出認定情報（各種の認定・届出の有無）を法人番号で紐づけます。ここまでで基礎属性はおおむね埋まります。残る保有設備・生産品目・導入システムは官公にも商用DBにも載りにくいため、第3層のWeb個別調査（企業サイト・製品ページ）に流します。基礎属性は上層で安く埋め、営業固有の項目だけ手間のかかる層に回す——これが編成の狙いです。

それでも​空欄は​残る​——​空欄主義が​正しい

ウォーターフォールは充足率を上げる設計であって、100%にする魔法ではありません。すべての源を流れても埋まらない項目は、「調べたが存在しなかった」という正しい情報として空欄のまま残すべきです。それらしい値で補完した瞬間、リスト全体の検品可能性が壊れます。空欄の量を事前に見積もり、発注者と共有しておくことも実務の作法です。

よく​ある​質問

源は何層くらい重ねるものですか？

項目によります。基礎属性（所在地・規模）は官公データでほぼ埋まるため1〜2層で足り、営業固有の項目（保有設備・導入システム）は最初からWeb個別調査の層まで流れる前提で設計します。

止め条件はレコード単位と項目単位のどちらで書くべきですか？

項目単位です。レコード単位で「この会社は埋まった」と止めると、一部の列だけ埋まって残りの列が空のまま次の源に渡らず、穴が残ります。列ごとに埋まったかを判定し、埋まった列だけ以降の源をスキップします。

官公データと商用・Web源はどう結合しますか？

官公データどうしは法人番号で一意に結合できます。商用DBやWebの情報には法人番号が振られていないことが多く、その場合は商号・所在地での突合になり、表記の揺れが問題になります。名寄せの実務は法人番号での名寄せに整理しています。

自力で組めますか？

官公データ2層までは、法人番号キーの結合と文字コードの統一ができれば自力で組めます。壁はWeb個別調査の層で、ここは1社ずつ読む作業になるため、件数が増えると人手では回りません。

リストはどのくらいの頻度で更新すべきですか？

第1層の配布頻度に合わせるのが基本です。国税庁の全件データは前月末時点、差分データは日別に配布されます。月に一度の全件取り直しでも足りますが、鮮度を求めるなら日別の差分を継ぎ足す設計にします。第2層・第3層の更新頻度は源ごとに違うため、項目ごとに「いつ取ったか」を残しておくと、古くなった項目だけを取り直せます。

ツールを買えば解決しますか？

海外製のエンリッチメントツールは複数源の自動切替を備えるものがありますが、日本の非上場企業のカバレッジが弱点になりがちです。日本のロングテールが対象なら、官公データ第1層の自前設計が効きます。エンリッチメント全体の考え方はデータエンリッチメントとはに整理しています。

次の​一歩

まず、手元のリストで項目ごとの空欄率を数えてください。どの項目がどれだけ空いているかがわかれば、必要な層の設計が決まります。埋まったリストは、あたる先と攻め方を決めるための土台です。その土台を成果物単位で作るリードエンリッチを提供しています。相談から、欲しい列と件数を教えてください。

関連記事: データエンリッチメントとは／官公データで企業リストを作る方法／展示会の名刺の山を、商談準備済みのリストに変える