perl-WWW-RobotRules

Este módulo analiza archivos _/robots.txt_ según se especifica en https://www.robotstxt.org/robotstxt.html. Los webmasters pueden usar el archivo _/robots.txt_ para prohibir a los robots conformes el acceso a partes de su sitio web. Los archivos analizados se mantienen en un objeto 'WWW::RobotRules', y este objeto proporciona métodos para comprobar si el acceso a una URL dada está prohibido. El mismo objeto 'WWW::RobotRules' puede usarse para uno o más archivos _/robots.txt_ analizados en cualquier número de hosts. Se proporcionan los siguientes métodos: * $rules = WWW::RobotRules->new($robot_name) Este es el constructor de objetos WWW::RobotRules. El primer argumento dado a new() es el nombre del robot. * $rules->parse($robot_txt_url, $content, $fresh_until) El método parse() toma como argumentos la URL que se usó para recuperar el archivo _/robots.txt_, y el contenido del archivo. * $rules->allowed($uri) Devuelve TRUE si este robot tiene permitido recuperar esta URL. * $rules->agent([$name]) Obtener/establecer el nombre del agente. NOTA: Cambiar el nombre del agente borrará las reglas de _robots.txt_ y los tiempos de caducidad de la caché.