先看五件事
拿到一個採集需求，我們會先看目標網站的五個條件。這五點決定了項目是簡單、複雜，還是根本不該做。
你自己也可以用同樣的方法先做一次判斷，這能省掉大量來回溝通。
一、是否公開瀏覽
打開目標頁面，在沒有登入、沒有會員身份的情況下，需要的內容是否都能看到。
需要登入才能看到的內容不在服務範圍內，這一條沒有例外。有些網站會先展示一部分內容，翻到一定深度後要求註冊，這種情況下實際可採範圍就是免登入能翻到的深度。
判斷方法很簡單：用無痕視窗打開目標頁面，看到甚麼就是能採甚麼。
二、欄位在哪一層展示
這是最容易被低估的一項。
如果需要的欄位都在列表頁可見——比如商戶名稱、評分、地址直接顯示在搜尋結果裡——那麼一次請求就能得到幾十條記錄，效率很高。
如果關鍵欄位只在詳情頁——比如必須點進每個商戶才能看到網站和電話——那麼請求量會增加一到兩個數量級，成本隨之上升。
所以在提需求前值得問一句：這個欄位是必須的，還是有了更好。區別很大。
三、分頁方式
按處理成本從低到高排列：
- 傳統翻頁：頁碼清晰，可以直接定位，成本最低。
- 載入更多按鈕：需要模擬點擊，中等成本。
- 無限捲動：需要持續觸發載入，中等偏高。
- 逐層展開：例如留言的巢狀回覆，成本最高。
比分頁方式更關鍵的是單次查詢的結果上限。很多平台一次搜尋最多只返回固定條數，超出部分無法透過繼續翻頁得到。這時候要覆蓋完整範圍，就必須把一次查詢拆成很多次——按地區、按類目、按時間段——再合併去重。這部分拆分和去重的工作量，經常超過採集本身。
四、數量範圍
數量本身不是難點，數量與覆蓋方式的組合才是。
幾千條數據、單一入口，通常是簡單項目。同樣是幾千條，但需要從上百個入口分別取再合併去重，複雜度完全不同。
估算數量時建議實際去看：搜尋結果頁是否顯示總數，翻到最後一頁是第幾頁。這兩個資訊比憑印象估計準確得多。
五、更新頻率
一次性交付和週期性更新是兩種不同的項目。
一次性交付只需要確認當前狀態。週期性更新要額外考慮：增量怎樣判斷、欄位變化怎樣標記、目標網站改版後怎樣處理、歷史數據是保留還是覆蓋。這些規則需要在第一次採集時就定好，事後補會很麻煩。
甚麼情況下我們會建議不做
- 需要的核心欄位只有登入後才可見
- 單次查詢上限很低，而目標覆蓋範圍很大，拆分成本遠超數據本身的價值
- 目標網站結構頻繁變動，規則維護成本高於數據帶來的收益
- 數據用途本身存在明顯風險
前三種情況我們會說明成本結構，由你判斷值不值得。第四種情況直接拒絕。
一個建議
評估階段最有價值的動作，是先用小規模測試跑一遍真實數據。看到實際能拿到甚麼、缺失多少、條數是多少，比任何事前估算都可靠。這一步我們不單獨收費，結論無論是否合作都歸你。