Webサイトから企業情報を抽出する方法

Webサイトから会社情報を確実に抽出するには、必要な項目を定義し、関連するページを収集し、各事実にその出典を紐づけて記録したうえで、結果を使う前に時間に関わる情報を検証します。

目的は、企業プロフィールの言い換えではなく「構造化データ」です。良い抽出フローでは、そのサイトが何を述べているのか、どこで述べているのか、いつ公開された情報なのか、そしてどの項目が不明のままかを把握できます。

出力のスキーマを最初に定義する

スキーマがないと、手作業の調査やAIツールは「面白そうなもの」を集めがちです。サイトを訪問する前に、行き先に必要なものを決めましょう。

基本的な会社データセットには、たとえば次の項目が含まれます:

営業調査なら、公的な取り組み、採用の手がかり、最近の発表なども追加することができます。ディレクトリであれば、カテゴリ、所在地、連絡先の項目で十分な場合もあります。用途に必要のない個人情報やセンシティブなデータは収集しないようにしましょう。

有用な事実を持つページをマッピングする

ホームページには、必要な情報がすべて揃っていることはほとんどありません。メインのナビゲーションを確認し、それぞれ役割の異なるページを集めます:

• About: 自社の識別情報、沿革、ミッション、拠点;
• 製品またはサービスページ: 提供内容、機能、ユースケース;
• ソリューションまたは業界: 対象ユーザーと市場の重点;
• Leadership: 氏名と役職;
• ニュースルームまたはプレスキット: 日付、節目、承認済みの説明;
• Careers: チームの言葉遣いと、公開された採用情報;
• Contact とフッター: 住所、正式名称、公開チャネル;
• 利用規約またはプライバシーページ: 運営主体と管轄。

ログインが必要なページ、ブロックされているページ、削除されたページは「利用不可」としてマークします。検索スニペットから内容を推測しないでください。

出所（provenance）付きで主張を抽出する

あらゆる重要な事実について、次を保存します:

1. 項目名;
2. 抽出した値;
3. 参照した出典URL（正確なもの）;
4. ページタイトルまたは該当セクション;
5. ページに表示されている日付（あれば）;
6. アクセスした日付; そして
7. 確信度またはレビュー状況。

これにより、コピペされたテキストの山が「監査可能な情報」になります。さらに更新も簡単になります。リーダーが交代したり、製品名が変更されたときに、どの出典を見直せばよいかが分かるためです。

サイトの直接の記述と、分類を分けて扱ってください。たとえば「モバイルチームのためのオペレーション基盤です」のようにサイトが説明していることがあります。そのフレーズを「フィールドサービス管理ソフトウェア」といったデータベースのカテゴリに対応づけるのは解釈であり、「解釈」としてラベル付けすべきです。

相反する情報を解決する

会社のWebサイトには矛盾が含まれることがよくあります。プレスリリースでは古い従業員数が使われていたり、地域の問い合わせページに本社として近隣のオフィスが表示されていたり、リーダーのプロフィールが役割変更後も残っていたりします。

次のルールを使いましょう:

• 変化する事実については、まず最も新しい一次情報を優先する;
• 運営主体や住所は、法務または問い合わせページを優先する;
• 指標には日付を添える;
• 矛盾を解消できない場合は、両方の値を記録する;
• より都合のよい回答を選ぶのではなく、その項目を人のレビュー対象としてマークする。

外部の権威ある情報源は、公的な届出や法的な身元の確認に役立ちますが、「Webサイトから抽出したデータ」に黙って混ぜ込まないでください。出典の種類を保持しましょう。

発明ではなく、AIを抽出のために使う

ページが長い場合や、同じ項目を複数のURLから集める必要がある場合、AIは役立ちます。モデルには厳密なスキーマを提示し、情報がない場合はnull値を要求してください。

たとえば次のようなプロンプトを試します:

提供されたWebページに明示的に記載されている情報のみを抽出してください。項目、値、出典URL、ページ日付、レビュー注記を含む表を返してください。項目が見つからない場合は「not found」を使用します。本社、創業年、従業員数、顧客、売上、市場でのポジションを推測しないでください。

iWeaverの AI Website Summarizer は公開Webページを要約するのに役立ち、Company Research Generator は複数の会社ソースを構造化された調査に整理するのに役立ちます。重要な項目は必ず元のページと照合してください。

実例: 抽出の例

ソフトウェア会社のホームページに「独立したクリニックが患者とのコミュニケーションを調整できるようにする」と書かれているとします。製品ページには、予約リマインダーやメッセージのルーティングが挙げられています。Aboutページには拠点としてボストンが記載されている一方、2年前の告知では本社はニューヨークだと述べています。

正しい抽出は、注釈なしでボストンを選ぶことではありません。現在のAboutページからボストンを記録し、古いニューヨークの値は競合メモとして保持し、本社は確認のためにフラグを立てます。製品リストは記載どおりに取り込めます。「ヘルスケアSaaS」は有用なカテゴリになり得ますが、直接の引用ではなく、調査担当者が割り当てた分類としてラベル付けすべきです。

データをきれいにして正規化する

抽出後は、意味を変えずに、表記の大文字小文字、国名、電話番号の形式、カテゴリラベルを標準化します。ナビゲーションと本文に出てくる製品名は重複を解消します。データがCRMやデータベースに入る場合は、正規化した値に加えて、生の値も保持してください。

基本的なバリデーションを実行します: 必須項目が存在すること、URLが有効であること、日付が1つの形式であること、期待される場合は項目ごとに値が1つであること、サポートされない数値がないこと。継続プロジェクトでは、新しい抽出結果と前回版を比較し、変更があればレビュー対象として扱いましょう。

抽出は最初の段階にすぎない

構造化されたWebサイトデータは、ディレクトリのレコード、アカウントの概要、ファクトシート、または文章作成のワークフローに活用できます。次のタスクが、検証済みの入力を読みやすい会社コンテンツに変換することである場合は、会社情報ジェネレーターが何をするのかをご覧ください。

これらの段階の境界を飛ばさないでください。抽出では「出典は何と言っているか？」を問い、コンテンツ生成では「この対象に、承認済みの事実をどう提示すべきか？」を問いかけます。分けて扱うことで、両方の出力の信頼性が高まります。

最良の抽出は、最も長いものではありません。これは、根拠となる出所が追跡でき、見落とし（ギャップ）が明確で、日付付きの証拠が揃い、人（または別のシステム）が推測せずに使えるだけの構造を備えたデータセットです。