公開可瀏覽,只是第一個條件

很多需求溝通是從同一句話開始的:這些內容在網頁上就能看到,擷取一下應該沒問題吧。

能看到是必要條件,但不是充分條件。同樣是公開頁面上的內容,一份依城市整理的商家名稱和營業地址,和一份把公開留言與使用者名稱關聯起來形成的人物檔案,性質完全不同。前者是事實性的機構資訊,後者已經進入個人資訊處理的範疇。

所以我們在接需求時不看「能不能擷取到」,而是依四個維度判斷「該不該擷取、能不能這樣用」。

一排金屬檔案櫃的照片,櫃前懸浮著三個立體方塊

我們判斷需求的四個維度

四道判斷關卡:資料類型、平台規則、取得方式、使用目的,任一不通過即不承接 01 資料類型 是機構資訊,還是指向具體自然人的個人資訊 涉及個人側寫、再識別 → 不做 02 平台規則 目標網站的公開條款對自動化存取怎麼規定 存在明確限制 → 指出,由你判斷 03 取得方式 是否需要登入、繞過驗證或存取控制 需要繞過 → 直接拒絕,無例外 04 使用目的 資料拿去做什麼,是否屬於明確不承接的用途 騷擾、偽造評價、操縱排名 → 不做 四項全部通過 → 進入小規模可行性測試
四個維度依順序判斷,任何一道不通過都不會進入下一步。第三道沒有例外。

一、資料類型:是不是個人資訊

機構類資訊,例如公司名稱、營業地址、公開的對外聯絡電話、商品價格、公開的評分數量,風險相對可控。

一旦涉及自然人,判斷標準就要收緊。特別是三種情況:把分散在不同地方的資訊拼接起來指向具體的人;對個人做側寫、評級或行為推斷;把已經匿名化的資料重新關聯回真實身分。這三類我們不做。

二、平台規則:目標網站自己怎麼規定

每個平台的使用條款不同,對自動化存取的態度也不同。我們會在評估階段查看目標站點的公開條款和存取規則,如果存在明確限制,會在報告裡指出來。

這裡需要說清楚一個事實:平台條款約束的是使用方的行為,不是我們單方面能承擔的責任。我們的做法是把已知情況告訴你,由你結合用途和風險承受度決定是否繼續。

緊閉的玻璃門與門禁讀卡機特寫

三、取得方式:有沒有繞過存取控制

這是我們唯一沒有商量餘地的一條。

需要登入才能看到的內容、需要通過驗證機制才能瀏覽的頁面、被平台明確設為私密或受限的範圍,我們都不承接。任何以「幫忙想想辦法」形式提出的繞過需求,評估階段會直接拒絕。

我們只處理無需身分憑證即可公開瀏覽的頁面。

四、使用目的:資料拿去做什麼

同一份資料,用於內部市場研究和用於大量騷擾性接觸,是兩件事。

我們會問用途,不是流程需要,而是因為用途直接決定了這個專案能不能做。以下用途明確不承接:大量騷擾、垃圾訊息群發、偽造評價、操縱平台排名、對特定個人進行追蹤或人肉搜索,以及任何以規避平台風控為目的的資料需求。

空曠倉庫地面的照片,上方懸浮著一個立體空心圓環

明確不承接的範圍

  • 需要登入、付費會員或通過存取控制才能查看的內容
  • 繞過驗證機制、存取限制或帳號封鎖的任何方式
  • 個人身分識別、跨平台身分關聯、使用者側寫與再識別
  • 私訊、聊天記錄及其他非公開可見的通訊內容
  • 用於騷擾、垃圾訊息群發、偽造評價或操縱排名的資料
  • 受著作權保護內容的大量複製與再散布

木桌上一疊列印文件與迴紋針的特寫

交付時你會拿到什麼

為了讓資料在後續使用中經得起追問,每一份交付都包含三樣東西:

  • 來源連結:每一列資料都能回溯到具體的原始頁面,可以逐筆複核。
  • 擷取時間:說明這是哪一時刻的快照。互動數、價格、庫存這類欄位本身會變化,沒有時間戳記的資料無法解釋差異。
  • 欄位說明與已知限制:哪些欄位可能為空、缺失率大概是多少、哪些內容因為平台機制無法完整取得。

可追溯性是這類資料最基本的要求。一份沒有來源連結和擷取時間的表格,出現爭議時無法自證。

辦公桌一角的照片,上方懸浮著兩個大小不同的立體方塊

自有資料與競品資料是兩回事

上面四個維度講的是擷取公開頁面時的判斷標準。但有一類需求不該走擷取這條路:要分析的資料本來就屬於你自己

自己帳號的內容表現、自己主頁的互動、自己投放的廣告資料——多數平台為帳號所有者提供官方 API,走那條路拿到的是平台自己的口徑,資料更完整,也完全不涉及存取控制。這比任何擷取方式都乾淨,只是各平台的資格門檻和費用差別很大,需要逐個核實。

競品側的資料則通常拿不到官方授權,只能看公開頁面能提供多少。這兩者的邊界不同,處理方式也不同,提需求時先說清楚是哪一種,能省掉很多來回。

登入牆嚴格的平台還有哪些路可走、哪一條明確不要走,寫在受限平台的資料怎麼辦

需要你自己確認的事項

我們能說明的是擷取範圍、取得方式和已知的平台限制。以下幾件事需要由使用方判斷:

  • 所在司法管轄區的具體要求。不同國家和地區對資料處理的規定差異很大,你的公司註冊地、資料存放地和業務開展地可能適用不同規則。
  • 最終用途的合規性。資料交付後如何使用、是否對外發布、是否與其他資料來源合併,這些環節的判斷在使用方。
  • 內部留存與刪除政策。資料保存多久、誰有權限存取、何時刪除,屬於你的內部管理範疇。

書架上一排精裝書背的特寫

一點必要的說明

這一頁寫的是我們的服務邊界和已知風險點,不是法律意見,也不構成對任何具體專案合規性的保證。資料合規涉及具體司法管轄區、具體資料類型和具體用途,情況差異很大。如果你的專案涉及大規模個人資訊處理、跨境資料傳輸,或者資料將用於對外發布,建議就具體方案諮詢專業法律人士。

我們能做的是把邊界劃清楚:不該做的不做,能做的說明白限制在哪裡。