交叉驗證不是把兩張表拼起來
站上好幾個來源頁都建議把多個來源合併使用:地圖數據驗證企業是否仍在經營,目錄數據補覆蓋面,評價數據補口碑維度。這個建議是對的,但合併本身是有成本的,而且做錯了比不合更糟。
不合併,你有兩份各自口徑清楚的數據。合併錯了,你有一份看起來統一、實際混著重複和錯值的數據,而且再也分不清哪條來自哪裡。
所以合併之前必須先定三件事。

一、主鍵:按甚麼判定是同一個實體
這是全部問題的起點。企業數據沒有天然的唯一識別碼,只能用組合欄位推斷:
- 名稱加地址:最常用,但兩邊的寫法差異很大。有限公司還是 Co., Ltd.、街道縮寫不縮寫、有沒有門牌號碼,都會讓同一家公司匹配不上。需要先做正規化。
- 電話:準確度高,但要求兩邊都有電話。沒有電話的記錄直接失去參與匹配的資格,而這類記錄往往正是小微企業。
- 網站域名:適合企業類名單,準確度也高,但同樣只覆蓋有網站的那部分;另外集團旗下多家公司共用一個域名的情況會造成誤合併。
沒有哪個規則絕對正確。實際項目裡通常是分層匹配:先按最嚴格的規則合一輪,剩下的再放寬條件,最後留一批人手確認。

二、衝突裁決:同一欄位兩個值,信誰
匹配上之後,兩邊同一欄位給了不同的值,這是必然會遇到的。
處理方式取決於欄位類型:
- 容易過期的欄位(地址、電話、營業狀態):信更新更及時的來源。地圖類來源通常比目錄類新。
- 主觀欄位(行業分類、標籤):不要裁決,兩個都保留並標註來源。不同目錄的分類體系本來就不通用,強行選一個會丟資訊。
- 數值欄位(評分、評論數):不要合併,分平台保留。跨平台的評分制度不同,平均出來的數字沒有含義。
- 明顯衝突(兩個完全不同的地址):標記出來,不要自動選。這類記錄數量通常不多,但往往正是數據質量問題的訊號。
規則必須在合併前定好並寫進交付說明。合的時候臨時決定,就等於沒有規則。

三、來源標記:合併後能不能回溯
每個欄位保留它來自哪個來源、哪一頁、甚麼時候採的。
這一項在數據沒出問題的時候看起來是多餘的,出問題的時候它是唯一能救你的東西。客戶質疑某條記錄的電話不對,有來源標記就能當場查出這個值來自哪個目錄的哪一頁、是甚麼時候採的,據此判斷是採錯了還是目錄本身過期。
我們的做法是:交付合併表的同時,保留各來源的原始記錄檔案。合併表用於業務使用,原始記錄用於回溯。

合併能帶來甚麼,代價是甚麼
收益主要在欄位完整率,不在條數。
兩份各一萬條的名單合併後,條數可能只有一萬三千條——重疊部分被識別成了同一家企業。但如果 A 來源有電話沒網站、B 來源正好相反,合併後兩個欄位的完整率會明顯提升。判斷合併成效要看完整率,不是看總數變大了沒有。
代價有三項:需要正規化處理、需要一輪人手確認邊界情況、以及交付物變成兩套檔案而不是一套。這些都應該體現在報價裡。

甚麼情況下不該合併
- 兩個來源的口徑根本不同。比如一個統計的是企業法人,另一個統計的是門店網點,合併後的條數既不是企業數也不是網點數。
- 主鍵欄位在兩邊的覆蓋率都很低。匹配不上的比例過高時,合併的結果基本等於兩張表疊在一起,只是多了一欄來源標記。
- 只是為了讓數字更好看。合併不會創造資訊,只會重新組織資訊。如果目的是讓名單看起來更多,那不合併反而更誠實。
評估階段我們會先用小樣本測一下匹配率。匹配率太低的話,我們會建議分開交付,而不是硬合。
