知識 · IT・資料・DX

網頁爬取 · 爬蟲

Web Crawling / Scraping

📂IT·數據·DX⏱閱讀 2 分鐘📊實務🔗相關 4

什麼是網頁爬取?

一句話定義
自動瀏覽網頁(爬取)並蒐集所需資料(爬蟲)的技術。用於資料蒐集與監控。
想把這個主題做成企業內訓?📚 相關課程💬 內訓洽詢
⚡ 3 行重點摘要
  • 自動巡迴網路蒐集資料
  • 用於資料蒐集與監控
  • 過度爬取會造成負擔,並帶來法律風險

爬蟲與資料蒐集真正改變的,是「多久能看到一次資料」。若負責人逐一打開網站、用眼睛確認後再填入 Excel,一天一次就已是極限;但接上自動蒐集後,同樣的工作一小時一次都做得到。如此一來,價格、庫存與口碑會從「調查結果」變成「即時指標」。原本一季才收到一次市場調查報告的組織,將能看到今天上午發生的變化,並在下午就做出回應。

實務上要分清三種情況。第一,若對方提供官方 API,一律優先使用,即使畫面改版也不會壞掉,也不會有服務條款的爭議。第二,若沒有 API,而資料直接嵌在HTML中,單純的爬蟲就足夠。第三,若資料是由 JavaScript 稍後才繪製的畫面,就需要實際開啟瀏覽器的工具,速度也會慢上數十倍。此外還要考量robots.txt 的允許範圍與請求間隔。一般會間隔 1~2 秒,而需要登入才看得到的會員專屬資料,原則上不應碰觸。

真正費力的不是蒐集本身,而是持續維護。頁面結構會無預警改變,只要某個平台調整版面,當天起資料就進不來。因此從一開始就要同時建立機制,記錄蒐集成功率,失敗時立即通知。這與自動操作企業內部系統畫面的RPA性質不同——RPA 是代替已獲授權的內部系統進行點擊,而爬取則是向他人的伺服器發送請求,因此必須把對方的狀況也納入考量。

最常見的誤解是「公開的畫面,拿來用就好」。公開與可自由使用並不相同。在韓國,也曾發生大量抓取競爭網站資料、被視為侵害資料庫製作者權利的爭議案例。若每秒對他人伺服器發出數十次請求而拖慢對方系統,可能演變為妨害業務問題。若資料中混有姓名、聯絡方式等可辨識個人的值,就會進入個人資料保護法的範圍。還有一種更不易察覺的風險:網頁結構改變後,腳本會在沒有任何錯誤訊息的情況下回傳空值或 0,而儀表板會照樣把這個數字畫出來,甚至有人根據錯誤的數字降價。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
自動巡迴網路書店並記錄價格——蒐集散落在網路上的資料。
為什麼在實務上很重要
能自動彙整散落各處的網路資料,供分析使用。但務必清楚了解法律與倫理的界線。
由來與出處

起源於搜尋引擎為建立網頁索引而自動蒐集頁面的爬蟲程式,隨著資料應用需求增加,逐步發展出各式各樣的爬蟲技術。

透過案例理解

以下以假設案例說明。A 公司製造並銷售生活用品,員工 180 人,年營收約 KRW 90,000,000,000 (≈ US$67,362,200),其中四成來自開放式電商平台。300 個 SKU 分布在四個電商平台上,電商團隊的三位 MD 每天早上花兩小時,用肉眼逐一確認競爭對手的價格,再手動填入 Excel。價格被超越最低價的事實,往往要過了半天才發現,這樣的情況不斷重演。

  1. 電商團隊的金組長認為「每天早上花兩小時抄寫」是浪費,因此提議自動化。四個平台中,有開放官方 API 的兩家改用 API 串接,只有其餘兩家以爬蟲蒐集。
  2. 法務負責人 Lee 課長查閱各網站的使用條款與 robots.txt,只把公開的商品頁面列為對象。需要登入才看得到的評論與買家資訊,從一開始就排除在蒐集清單之外。
  3. 數位轉型(DX)負責人朴副理以 Python 撰寫腳本,每天上午 9 點、下午 2 點、下午 6 點各執行一次,涵蓋 300 個 SKU。請求間隔設為 2 秒,讓每次蒐集在 15 分鐘內完成。
  4. 第二週,某個電商平台改版後,價格全部以 KRW 0 (≈ US$1) 進入系統。朴副理追加了規則:蒐集失敗率超過 5% 時,即透過公司內部通訊軟體發出通知。
  5. 三個月後,早上的作業時間從兩小時縮短為 10 分鐘,發現價格跌破最低價的時間也從平均 6 小時縮短為 40 分鐘。主力 15 個 SKU 的價格應對速度加快後,該品項月營收成長了 12%。
相關術語
與此術語相關的課程
📚數位轉型Nanum 經營顧問 企業內訓 · 面授/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

不行。必須遵守服務條款、著作權、個人資料與 robots.txt,違反時可能構成法律問題。
有官方 API 時,使用 API 最為安全穩定。爬蟲是沒有 API 時的替代方案。
不行。使用條款、著作權、個人資料與過度負載,都會構成法律與倫理上的問題。
若有官方 API,使用 API 較為穩定且合法。爬蟲是最後手段。