條數達標,不代表數據可用

數據交付最容易出現的爭議,是雙方對「完成」的理解不同。

交付方說採了一萬條,需求方拿到手發現:一半沒有聯絡方式、去重之後只剩六千、有幾條明顯對不上,想核實卻找不到來源。條數確實是一萬,但這份數據不能直接用。

問題不在任何一方不誠實,而在於驗收標準從一開始就只寫了數量。

工廠品檢枱的照片,枱面上方懸浮著三個立體方塊

應該寫進驗收標準的三件事

俯拍的雞蛋托盤,部分格子空著

一、完整率

按欄位分別統計,不是給一個總體百分比。

一份商戶名單,名稱的完整率可能是百分之百,地址百分之九十五,電話百分之六十,網站百分之四十。這四個數字分別寫出來,才有意義。

更重要的是在測試階段就確定預期完整率。目標平台上某個欄位的填寫率是客觀事實,不會因為多花錢就提高。如果電話欄位在目標平台的填寫率只有六成,那麼合約裡寫「電話完整率不低於九成」是無法實現的——正確做法是要麼接受六成,要麼把「必須有電話」作為篩選條件,同時下調總條數預期。

這個區分很關鍵:平台本身的欄位缺失採集過程中的遺漏是兩回事,前者需要在報價前說明,後者屬於交付質量問題。

兩個完全相同的白色杯子並排擺放的特寫

二、去重口徑

先約定按甚麼去重,再談去重後的條數。

同一家公司可能因為多個分店、舊地址、用戶重複標註而出現多條記錄。按甚麼規則判定為同一實體,會讓最終條數出現明顯差異:

  • 按名稱加地址去重:保守,可能留下少量重複
  • 按電話去重:準確,但沒有電話的記錄無法參與判斷
  • 按網站域名去重:適合企業類名單,但小微商戶覆蓋不到

沒有哪個規則絕對正確,關鍵是提前定好並寫進交付說明。交付時應該同時給出去重前和去重後的條數,以及使用的規則。

檔案盒排列的照片,上方懸浮著一條連接兩點的立體線段

三、來源連結與採集時間

每一行數據都應該能回到它的原始頁面,並且知道是哪一時刻採的。

這兩個欄位的價值在數據出問題的時候才體現出來。當有人質疑某條記錄不對,有來源連結就能當場核對;當兩批數據的價格對不上,有採集時間就能解釋這是不同時刻的快照,而不是數據錯誤。

一份沒有來源連結和採集時間的表格,出現爭議時無法自證。這是我們預設在每份交付裡都帶上這兩個欄位的原因。

攤開的說明書頁面特寫,背景虛化

還應該附上的一份說明

除了數據檔案本身,交付時應該有一份欄位說明,寫清楚:

  • 每個欄位的具體口徑(價格是原價還是現價,評論數是總數還是時段數)
  • 各欄位的實際完整率
  • 使用的去重規則和去重前後條數
  • 已知的限制(哪些內容因為平台機制無法完整取得)
  • 採集參數(地區、語言、排序方式等會影響結果可重現性的設定)

最後一項對週期性項目尤其重要。如果第二次更新用了不同的採集參數,兩批數據就沒有可比性,而這種差異從數據本身看不出來。

工廠生產線的照片,上方懸浮著三個依次排列的立體方塊

一份三步驗收流程

拿到數據後,建議花點時間做這三步:

  1. 抽樣核對:隨機取十條,按來源連結打開原頁面,逐欄位對照。
  2. 完整率統計:對每個關鍵欄位統計空值比例,和測試階段的承諾對比。
  3. 去重覆核:按約定規則跑一遍,確認沒有殘留重複。
三步驗收流程:抽樣核對、完整率統計、去重覆核 1 抽樣核對 隨機取十條,按來源連結 打開原頁面逐欄位對照 查的是:數據對不對 2 完整率統計 按欄位分別統計空值比例 與測試階段的承諾對比 查的是:夠不夠用 3 去重覆核 按約定規則跑一遍 確認沒有殘留重複 查的是:條數實不實 缺失來自平台本身 目標網站該欄位填寫率就低,屬 客觀情況,應在測試階段說明並 同步下調數量預期 缺失來自採集遺漏 規則沒覆蓋到或頁面結構變化導 致漏採,屬交付質量問題,應補 採修正
三步都在數據進入業務流程之前完成。完整率不達標時,先區分是平台本身的欄位缺失還是採集遺漏——這兩種情況的責任歸屬完全不同。

這三步能發現絕大多數問題,而且都發生在數據進入業務流程之前——比用了一個月之後才發現問題要好得多。