1. 公開Webデータの収集
対象URL、検索キーワード、地域、期間、並び順、必要な項目を確認します。検索結果と詳細ページでは取得できる内容が異なるため、実際のページで少量テストを行います。
店舗・企業の公開情報、商品ページ、公開レビューなどを検討対象にします。ただし、ページに見える項目すべてが安定して取得できるとは限りません。非公開の売上、ダウンロード数、個人の連絡先などを、公開情報から正確に復元できるとはご案内しません。
納品範囲は「合意した条件で取得できた公開レコード」です。「ある都市の全店舗」「ある商品の全レビュー」といった完全網羅を、テストなしで約束することはありません。
2. 重複処理と項目の整形
同じレコードの重複を処理し、日付、地域、通貨、項目名などの表記を揃えます。原文の値と整形後の値を区別できるようにし、必要に応じて両方を残します。
空欄を見つけた場合は、取得対象に情報がなかったのか、取得に失敗したのかを確認します。確認できない値は推測で補いません。Webサイト欄が埋まっていても、リンク先へのアクセスや運営主体まで確認済みとは限りません。
店舗リストでは、同一ブランドの別店舗をまとめないことが重要です。商品調査では、色・サイズの違いを一つの商品にまとめるか、別の行として扱うかを先に決めます。
3. ファイル納品と定期更新
一般的な納品形式はXLSX、CSV、JSONです。項目の順序、文字コード、日付・時刻のタイムゾーン、ファイル分割、重複判定の基準を実行前に確認します。
納品説明には、取得条件、取得日時、実際の件数、項目ごとの欠損、既知の制約を記載します。出典URLや安定した識別子を残し、必要なレコードを後から照合しやすくします。
定期更新では、初回と同じ条件をできるだけ維持して比較します。「今回見つからなかった」と「閉店・削除が確認された」は別です。ページ変更で取得が不安定になった場合の扱いも、更新開始前に決めます。
費用と納期は、テスト結果を見て確認
固定件数の料金表だけでは、実際の工数を判断できません。主な確認項目は次のとおりです。
- 対象サイト、ページ形式、ページ送り、公開範囲、アクセスの安定性
- 希望件数、詳細ページの有無、取得項目、絞り込み条件
- 必須項目の充足率、重複の扱い、整形・確認の範囲
- 一回限りか定期更新か、更新間隔、履歴保存の必要性
最初の小規模な実現可能性確認は単独では課金せず、正式実行の費用と納品予定を合意してから進めます。大規模な事前調査など、通常の確認を超える作業が必要な場合は、範囲と費用を先にご相談します。
ご相談時に必要な情報
対象URLを2〜3件、必要な項目、地域と期間、希望件数、使用目的、希望形式をお送りください。必ず埋まっていてほしい項目も明記すると、利用可能な件数を早い段階で見積もれます。
問い合わせ用の記入例と実データの納品サンプルをご用意しています。日本国内の個別サービスを含め、未テストのサイトの取得可否は個別確認となります。