Yahoo! anunció el lanzamiento de su nueva herramienta de crawling, llamada Yahoo! Slurp 3.0.

La misma será aplicada progresivamente durante las proximas semanas e incluirá algunas actualizaciones de infraestructura, según indicó la empresa. Atrás quedará la versión 2.0 de Slurp.

Slurp 3.0 contendrá las mismas directivas para user-agent y robots.txt. Pero habrá dos cambios:

- Los nuevos crawlers devolverán un nuevo user agent, llamado Yahoo! Slurp/3.0. Si un webmaster configuró las directivas para “Slurp” o “Yahoo! Slurp”, seguirán funcionando, pero si la directivas están configuradas para “Slurp/2.0″ se podrían generar conflictos. El user-agent recomendado por Yahoo! en robots.txt es “Slurp“.

- Los crawlers estarán en una nueva set de direcciones IP. Si el webmaster está utilizando reglas basadas en IP, tendrá que agregar el nuevo set de direcciones IP en la base de datos.

Puedes leer más información en Search Engine Land.

Compártelo