網頁爬取 · 爬蟲
Web Crawling / Scraping
什麼是網頁爬取?
- 自動巡迴網路蒐集資料
- 用於資料蒐集與監控
- 過度爬取會造成負擔,並帶來法律風險
爬蟲與資料蒐集真正改變的,是「多久能看到一次資料」。若負責人逐一打開網站、用眼睛確認後再填入 Excel,一天一次就已是極限;但接上自動蒐集後,同樣的工作一小時一次都做得到。如此一來,價格、庫存與口碑會從「調查結果」變成「即時指標」。原本一季才收到一次市場調查報告的組織,將能看到今天上午發生的變化,並在下午就做出回應。
實務上要分清三種情況。第一,若對方提供官方 API,一律優先使用,即使畫面改版也不會壞掉,也不會有服務條款的爭議。第二,若沒有 API,而資料直接嵌在HTML中,單純的爬蟲就足夠。第三,若資料是由 JavaScript 稍後才繪製的畫面,就需要實際開啟瀏覽器的工具,速度也會慢上數十倍。此外還要考量robots.txt 的允許範圍與請求間隔。一般會間隔 1~2 秒,而需要登入才看得到的會員專屬資料,原則上不應碰觸。
真正費力的不是蒐集本身,而是持續維護。頁面結構會無預警改變,只要某個平台調整版面,當天起資料就進不來。因此從一開始就要同時建立機制,記錄蒐集成功率,失敗時立即通知。這與自動操作企業內部系統畫面的RPA性質不同——RPA 是代替已獲授權的內部系統進行點擊,而爬取則是向他人的伺服器發送請求,因此必須把對方的狀況也納入考量。
最常見的誤解是「公開的畫面,拿來用就好」。公開與可自由使用並不相同。在韓國,也曾發生大量抓取競爭網站資料、被視為侵害資料庫製作者權利的爭議案例。若每秒對他人伺服器發出數十次請求而拖慢對方系統,可能演變為妨害業務問題。若資料中混有姓名、聯絡方式等可辨識個人的值,就會進入個人資料保護法的範圍。還有一種更不易察覺的風險:網頁結構改變後,腳本會在沒有任何錯誤訊息的情況下回傳空值或 0,而儀表板會照樣把這個數字畫出來,甚至有人根據錯誤的數字降價。
起源於搜尋引擎為建立網頁索引而自動蒐集頁面的爬蟲程式,隨著資料應用需求增加,逐步發展出各式各樣的爬蟲技術。
以下以假設案例說明。A 公司製造並銷售生活用品,員工 180 人,年營收約 KRW 90,000,000,000 (≈ US$67,362,200),其中四成來自開放式電商平台。300 個 SKU 分布在四個電商平台上,電商團隊的三位 MD 每天早上花兩小時,用肉眼逐一確認競爭對手的價格,再手動填入 Excel。價格被超越最低價的事實,往往要過了半天才發現,這樣的情況不斷重演。
- 電商團隊的金組長認為「每天早上花兩小時抄寫」是浪費,因此提議自動化。四個平台中,有開放官方 API 的兩家改用 API 串接,只有其餘兩家以爬蟲蒐集。
- 法務負責人 Lee 課長查閱各網站的使用條款與 robots.txt,只把公開的商品頁面列為對象。需要登入才看得到的評論與買家資訊,從一開始就排除在蒐集清單之外。
- 數位轉型(DX)負責人朴副理以 Python 撰寫腳本,每天上午 9 點、下午 2 點、下午 6 點各執行一次,涵蓋 300 個 SKU。請求間隔設為 2 秒,讓每次蒐集在 15 分鐘內完成。
- 第二週,某個電商平台改版後,價格全部以 KRW 0 (≈ US$1) 進入系統。朴副理追加了規則:蒐集失敗率超過 5% 時,即透過公司內部通訊軟體發出通知。
- 三個月後,早上的作業時間從兩小時縮短為 10 分鐘,發現價格跌破最低價的時間也從平均 6 小時縮短為 40 分鐘。主力 15 個 SKU 的價格應對速度加快後,該品項月營收成長了 12%。
Ja-ryong Gu
金鍾赫