交叉驗證不是把兩張表拼起來

站上好幾個來源頁都建議把多個來源合併使用:地圖數據驗證企業是否仍在經營,目錄數據補覆蓋面,評價數據補口碑維度。這個建議是對的,但合併本身是有成本的,而且做錯了比不合更糟

不合併,你有兩份各自口徑清楚的數據。合併錯了,你有一份看起來統一、實際混著重複和錯值的數據,而且再也分不清哪條來自哪裡。

所以合併之前必須先定三件事。

兩條工廠輸送帶匯合成一條的照片,匯合處上方懸浮著一個立體方塊

一、主鍵:按甚麼判定是同一個實體

這是全部問題的起點。企業數據沒有天然的唯一識別碼,只能用組合欄位推斷:

  • 名稱加地址:最常用,但兩邊的寫法差異很大。有限公司還是 Co., Ltd.、街道縮寫不縮寫、有沒有門牌號碼,都會讓同一家公司匹配不上。需要先做正規化。
  • 電話:準確度高,但要求兩邊都有電話。沒有電話的記錄直接失去參與匹配的資格,而這類記錄往往正是小微企業。
  • 網站域名:適合企業類名單,準確度也高,但同樣只覆蓋有網站的那部分;另外集團旗下多家公司共用一個域名的情況會造成誤合併。

沒有哪個規則絕對正確。實際項目裡通常是分層匹配:先按最嚴格的規則合一輪,剩下的再放寬條件,最後留一批人手確認。

兩串不同顏色的鑰匙並排掛在掛鈎上

二、衝突裁決:同一欄位兩個值,信誰

匹配上之後,兩邊同一欄位給了不同的值,這是必然會遇到的。

處理方式取決於欄位類型:

  • 容易過期的欄位(地址、電話、營業狀態):信更新更及時的來源。地圖類來源通常比目錄類新。
  • 主觀欄位(行業分類、標籤):不要裁決,兩個都保留並標註來源。不同目錄的分類體系本來就不通用,強行選一個會丟資訊。
  • 數值欄位(評分、評論數):不要合併,分平台保留。跨平台的評分制度不同,平均出來的數字沒有含義。
  • 明顯衝突(兩個完全不同的地址):標記出來,不要自動選。這類記錄數量通常不多,但往往正是數據質量問題的訊號。

規則必須在合併前定好並寫進交付說明。合的時候臨時決定,就等於沒有規則。

檔案室兩排文件櫃之間的走廊照片,上方懸浮著兩個即將合併的立體方塊

三、來源標記:合併後能不能回溯

每個欄位保留它來自哪個來源、哪一頁、甚麼時候採的。

這一項在數據沒出問題的時候看起來是多餘的,出問題的時候它是唯一能救你的東西。客戶質疑某條記錄的電話不對,有來源標記就能當場查出這個值來自哪個目錄的哪一頁、是甚麼時候採的,據此判斷是採錯了還是目錄本身過期。

我們的做法是:交付合併表的同時,保留各來源的原始記錄檔案。合併表用於業務使用,原始記錄用於回溯。

兩杯液體高度不同的量杯並排放置的特寫

合併能帶來甚麼,代價是甚麼

收益主要在欄位完整率,不在條數。

兩份各一萬條的名單合併後,條數可能只有一萬三千條——重疊部分被識別成了同一家企業。但如果 A 來源有電話沒網站、B 來源正好相反,合併後兩個欄位的完整率會明顯提升。判斷合併成效要看完整率,不是看總數變大了沒有。

代價有三項:需要正規化處理、需要一輪人手確認邊界情況、以及交付物變成兩套檔案而不是一套。這些都應該體現在報價裡。

分揀中心兩條物流線交匯的照片,上方懸浮著三個立體方塊

甚麼情況下不該合併

  • 兩個來源的口徑根本不同。比如一個統計的是企業法人,另一個統計的是門店網點,合併後的條數既不是企業數也不是網點數。
  • 主鍵欄位在兩邊的覆蓋率都很低。匹配不上的比例過高時,合併的結果基本等於兩張表疊在一起,只是多了一欄來源標記。
  • 只是為了讓數字更好看。合併不會創造資訊,只會重新組織資訊。如果目的是讓名單看起來更多,那不合併反而更誠實。

評估階段我們會先用小樣本測一下匹配率。匹配率太低的話,我們會建議分開交付,而不是硬合。