Rastreo web · Scraping
Web Crawling / Scraping
¿Qué es el rastreo web?
- Recopilación automática de datos recorriendo la web
- Uso para la recopilación y el monitoreo de datos
- El rastreo excesivo genera carga y riesgos legales
Lo que realmente cambian el rastreo y el scraping es la frecuencia con la que se ven los datos. Si el responsable abre los sitios uno por uno, los revisa a mano y pasa los datos a Excel, el límite es una vez al día; con recopilación automática, la misma tarea puede hacerse una vez por hora. Así los precios, el inventario y la reputación pasan de ser «resultados de una investigación» a «indicadores en tiempo real». La organización que recibía un informe de investigación de mercado cada trimestre pasa a responder por la tarde a los cambios ocurridos esa misma mañana.
En la práctica hay que distinguir tres caminos. Primero, si el sitio ofrece una API oficial, esa vía siempre va primero: no se rompe aunque cambie la pantalla y no hay disputas por los términos de uso. Segundo, si no hay API y los valores están directamente en el HTML, basta con un scraping sencillo. Tercero, si los valores se dibujan después con JavaScript, se necesita una herramienta que abra el navegador real, y la velocidad baja decenas de veces. A esto se suma una condición: el alcance permitido por robots.txt y el intervalo entre solicitudes. Normalmente se deja una pausa de 1 a 2 segundos, y los datos exclusivos de miembros que solo se ven al iniciar sesión se dejan intactos como principio.
Lo difícil no es recopilar, sino mantenerlo. La estructura de las páginas cambia sin aviso, y basta con que un marketplace rediseñe su diseño para que los valores dejen de llegar ese mismo día. Por eso, desde el principio hay que registrar la tasa de éxito de la recopilación y crear un mecanismo que avise cuando falle. También se diferencia del RPA, que automatiza la manipulación de pantallas internas: el RPA hace clics en sistemas internos para los que se tiene autorización, mientras que el rastreo envía solicitudes al servidor de otro, por lo que hay que tener en cuenta también la situación de la otra parte.
El malentendido más común es pensar que «si la pantalla es pública, se puede usar». Público y de uso libre no son lo mismo. En Corea ha habido disputas en las que la extracción masiva de datos de sitios de la competencia se trató como una infracción de los derechos del creador de una base de datos, y enviar decenas de solicitudes por segundo para ralentizar el servidor ajeno puede derivar en un problema de obstrucción de negocios. Si se mezclan valores que identifican a una persona, como nombre o teléfono, el caso entra en el ámbito de la Ley de Protección de Información Personal de Corea (PIPA). También hay un riesgo más silencioso: en una página cuya estructura cambió, el script trae valores vacíos o ceros sin dar error, el tablero dibuja esas cifras tal cual, y hasta se llega a bajar precios con base en números erróneos.
Jaryong KooDoctor en marketing y referente en análisis de datos con IA y en marca personal
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum ConsultoríaSurgió de los rastreadores que los motores de búsqueda usaban para recoger páginas automáticamente y indexar la web, y evolucionó hacia distintas técnicas de scraping a medida que creció la demanda de aprovechar datos.
Veamos un caso hipotético. La empresa A fabrica y vende artículos de uso cotidiano; tiene 180 colaboradores y ventas anuales de KRW 90,000,000,000, (≈ US$67,362,200) de las cuales el 40 % proviene de marketplaces abiertos. Sus 300 SKU están publicados en cuatro marketplaces, y tres MD del equipo de e-commerce revisaban a mano, cada mañana durante dos horas, los precios de la competencia y los pasaban a Excel. Se repetía el caso de enterarse de que habían perdido el precio más bajo medio día después.
- El jefe de equipo Kim, de comercio electrónico, dijo que «dedicar dos horas por la mañana a transcribir datos es un desperdicio» y propuso la automatización. De las cuatro fuentes, decidieron usar API en las dos que abren una API oficial y scraping solo en las otras dos.
- Lee, jefe de sección de Asuntos Legales, revisó los términos de uso de cada sitio y robots.txt, y solo tomó como objetivo las páginas de productos públicas; las reseñas y los datos de compradores que requieren iniciar sesión se excluyeron desde el principio de la lista de recopilación.
- El asistente de gerencia Park, de DX, escribió un script en Python para 300 SKU y lo ejecutó tres veces al día, a las 9:00, las 14:00 y las 18:00, con un intervalo de 2 segundos entre solicitudes para que cada recopilación terminara en 15 minutos.
- En la segunda semana, un marketplace rediseñó sus páginas y todos los precios llegaron como 0 won. Park (asistente de gerencia) agregó una regla para que si la tasa de fallos de recopilación supera el 5 %, se envíe una alerta por la mensajería interna de la empresa.
- Tres meses después, la tarea matutina pasó de dos horas a 10 minutos, y el tiempo para detectar una caída de precio mínimo bajó de 6 horas en promedio a 40 minutos. Al responder más rápido a los precios de 15 SKU clave, las ventas mensuales de esos productos subieron un 12%.