ウェブクローリング・スクレイピング
Web Crawling / Scraping
ウェブクローリングとは?
- ウェブを巡回してデータを自動収集
- データ収集・モニタリングに活用
- 過度なクロールは負担・法的リスクに注意
クローリングとスクレイピングが実際に変えるのは'データをどれだけ頻繁に見るか'です。担当者がサイトを一つずつ開いて目で確認し、エクセルに移すなら1日1回が限界ですが、自動収集を付ければ同じ作業を1時間に1回でもできます。すると価格・在庫・評判が「調査結果」ではなく「リアルタイムの指標」に変わります。四半期に一度市場調査報告書を受け取っていた組織が、今朝起きた変化を見て午後に対応する体制へ移るということです。
実務では3つの流れを区別する必要があります。第一に、相手が公式APIを提供していれば、必ずそちらが先です。画面が変わっても壊れず、規約上の問題も起きにくいです。第二に、APIがなく値がHTMLにそのまま入っているなら、単純なスクレイピングで十分です。第三に、値がJavaScriptで後から描画される画面なら、ブラウザを実際に立ち上げるツールが必要で、速度は数十倍遅くなります。ここにrobots.txtの許可範囲とリクエスト間隔という条件が付きます。通常は1〜2秒の間隔を空け、ログインしないと見えない会員専用データには手を付けないことが原則です。
収集そのものより、維持管理こそが仕事です。ページの構造は予告なく変わり、マーケットの1つがレイアウトを手直ししたら、その日から値が入ってこなくなります。そのため最初から収集の成功率を記録し、失敗したら知らせる仕組みも一緒に作る必要があります。社内画面を自動操作するRPAとも性格が違います。RPAは権限を与えられた社内システムを代わりにクリックする仕事で、クローリングは相手のサーバーにリクエストを送る仕事なので、相手側の事情まで計算に入れる必要があります。
最もよくある誤解は、「公開された画面だから持ってきて使ってもよい」という考えです。公開と自由な利用は別物です。韓国でも競合サイトのデータを大量に持ち去った行為がデータベース制作者の権利侵害として争われた例があり、1秒に数十件ものリクエストを浴びせて相手のサーバーを遅くすれば業務妨害の問題に発展しかねません。名前や連絡先など個人を特定できる値が混ざると個人情報保護法の領域に入ります。もっと静かな事故もあります。構造が変わったページでは、スクリプトはエラーを出さずに空の値や0を取り込み、ダッシュボードがその数字をそのまま描いてしまい、誤った数字を根拠に価格を下げることまで起こります。
検索エンジンがウェブをインデックス化するためにページを自動収集していたクローラーに始まり、データ活用の需要とともに多様なスクレイピング技術へ発展しました。
仮の事例で見てみましょう。生活用品を製造・販売するA社は、役職員180名、年間売上900億ウォン(約1,076,310万円)規模で、そのうち4割がオープンマーケットから生まれています。300SKUがマーケット4か所に並んでおり、Eコマースチームの MD 3名が毎朝2時間ずつ競合の価格を目で確認し、エクセルに書き写していました。最安値から外れた事実を半日たってから知ることが繰り返されていたのです。
- Eコマースチームのキム・チーム長が'2時間かけて書き写すのは無駄'だと自動化を持ち出し、4社のうち公式APIを公開している2社はAPIで、残り2社だけをスクレイピングで取得するよう分けることにしました。
- 法務担当のイ課長が各サイトの利用規約とrobots.txtを確認し、公開された商品ページだけを対象にしました。ログインしないと見られないレビューや購入者情報は、最初から収集対象から外しました。
- DX担当のパク代理がPythonスクリプトを書き、300SKUを午前9時・午後2時・午後6時の1日3回回し、リクエスト間隔を2秒に設定して1回の収集が15分で終わるように合わせました。
- 2週目に、あるマーケットがページを改編したところ、価格がすべて0ウォンで入ってきました。パク代理は、収集失敗率が5%を超えたら社内メッセンジャーに通知が届くルールを追加しました。
- 3か月後の朝の作業は2時間から10分に減り、最安値からの逸脱に気づくまでの時間も平均6時間から40分に短縮されました。主力15SKUの価格対応が速くなり、該当品目の月間売上は12%上がりました。
ク・ジャリョン
金鍾赫