先看五件事
拿到一個擷取需求，我們會先看目標網站的五個條件。這五點決定了專案是簡單、複雜，還是根本不該做。
你自己也可以用同樣的方法先做一次判斷，這能省掉大量來回溝通。
一、是否公開瀏覽
打開目標頁面，在沒有登入、沒有會員身分的情況下，需要的內容是否都能看到。
需要登入才能看到的內容不在服務範圍內，這一條沒有例外。有些網站會先展示一部分內容，翻到一定深度後要求註冊，這種情況下實際可擷取範圍就是免登入能翻到的深度。
判斷方法很簡單：用無痕視窗打開目標頁面，看到什麼就是能擷取什麼。
二、欄位在哪一層展示
這是最容易被低估的一項。
如果需要的欄位都在列表頁可見——比如商家名稱、評分、地址直接顯示在搜尋結果裡——那麼一次請求就能得到幾十筆記錄，效率很高。
如果關鍵欄位只在詳情頁——比如必須點進每個商家才能看到網站和電話——那麼請求量會增加一到兩個數量級，成本隨之上升。
所以在提需求前值得問一句：這個欄位是必須的，還是有了更好。區別很大。
三、分頁方式
依處理成本從低到高排列：
- 傳統翻頁：頁碼清晰，可以直接定位，成本最低。
- 載入更多按鈕：需要模擬點擊，中等成本。
- 無限捲動：需要持續觸發載入，中等偏高。
- 逐層展開：例如留言的巢狀回覆，成本最高。
比分頁方式更關鍵的是單次查詢的結果上限。很多平台一次搜尋最多只回傳固定筆數，超出部分無法透過繼續翻頁得到。這時候要涵蓋完整範圍，就必須把一次查詢拆成很多次——依地區、依類目、依時間段——再合併去重。這部分拆分和去重的工作量，經常超過擷取本身。
四、數量範圍
數量本身不是難點，數量與涵蓋方式的組合才是。
幾千筆資料、單一入口，通常是簡單專案。同樣是幾千筆，但需要從上百個入口分別取再合併去重，複雜度完全不同。
估算數量時建議實際去看：搜尋結果頁是否顯示總數，翻到最後一頁是第幾頁。這兩個資訊比憑印象估計準確得多。
五、更新頻率
一次性交付和週期性更新是兩種不同的專案。
一次性交付只需要確認當前狀態。週期性更新要額外考慮：增量怎麼判斷、欄位變化怎麼標記、目標網站改版後怎麼處理、歷史資料是保留還是覆蓋。這些規則需要在第一次擷取時就定好，事後補會很麻煩。
什麼情況下我們會建議不做
- 需要的核心欄位只有登入後才可見
- 單次查詢上限很低，而目標涵蓋範圍很大，拆分成本遠超資料本身的價值
- 目標網站結構頻繁變動，規則維護成本高於資料帶來的收益
- 資料用途本身存在明顯風險
前三種情況我們會說明成本結構，由你判斷值不值得。第四種情況直接拒絕。
一個建議
評估階段最有價值的動作，是先用小規模測試跑一遍真實資料。看到實際能拿到什麼、缺失多少、筆數是多少，比任何事前估算都可靠。這一步我們不單獨收費，結論無論是否合作都歸你。