先看五件事
拿到一个采集需求，我们会先看目标网站的五个条件。这五点决定了项目是简单、复杂，还是根本不该做。
你自己也可以用同样的方法先做一次判断，这能省掉大量来回沟通。
一、是否公开访问
打开目标页面，在没有登录、没有会员身份的情况下，需要的内容是否都能看到。
需要登录才能看到的内容不在服务范围内，这一条没有例外。有些网站会先展示一部分内容，翻到一定深度后要求注册，这种情况下实际可采范围就是免登录能翻到的深度。
判断方法很简单：用无痕窗口打开目标页面，看到什么就是能采什么。
二、字段在哪一层展示
这是最容易被低估的一项。
如果需要的字段都在列表页可见——比如商家名称、评分、地址直接显示在搜索结果里——那么一次请求就能得到几十条记录，效率很高。
如果关键字段只在详情页——比如必须点进每个商家才能看到网站和电话——那么请求量会增加一到两个数量级，成本随之上升。
所以在提需求前值得问一句：这个字段是必须的，还是有了更好。区别很大。
三、分页方式
按处理成本从低到高排列：
- 传统翻页：页码清晰，可以直接定位，成本最低。
- 加载更多按钮：需要模拟点击，中等成本。
- 无限滚动：需要持续触发加载，中等偏高。
- 逐层展开：例如评论的嵌套回复，成本最高。
比分页方式更关键的是单次查询的结果上限。很多平台一次搜索最多只返回固定条数，超出部分无法通过继续翻页得到。这时候要覆盖完整范围，就必须把一次查询拆成很多次——按地区、按类目、按时间段——再合并去重。这部分拆分和去重的工作量，经常超过采集本身。
四、数量范围
数量本身不是难点，数量与覆盖方式的组合才是。
几千条数据、单一入口，通常是简单项目。同样是几千条，但需要从上百个入口分别取再合并去重，复杂度完全不同。
估算数量时建议实际去看：搜索结果页是否显示总数，翻到最后一页是第几页。这两个信息比凭印象估计准确得多。
五、更新频率
一次性交付和周期性更新是两种不同的项目。
一次性交付只需要确认当前状态。周期性更新要额外考虑：增量怎么判断、字段变化怎么标记、目标网站改版后怎么处理、历史数据是保留还是覆盖。这些规则需要在第一次采集时就定好，事后补会很麻烦。
什么情况下我们会建议不做
- 需要的核心字段只有登录后才可见
- 单次查询上限很低，而目标覆盖范围很大，拆分成本远超数据本身的价值
- 目标网站结构频繁变动，规则维护成本高于数据带来的收益
- 数据用途本身存在明显风险
前三种情况我们会说明成本结构，由你判断值不值得。第四种情况直接拒绝。
一个建议
评估阶段最有价值的动作，是先用小规模测试跑一遍真实数据。看到实际能拿到什么、缺失多少、条数是多少，比任何事前估算都可靠。这一步我们不单独收费，结论无论是否合作都归你。