User-Agent: * Disallow: /cgi-bin Disallow: /wp-admin/ Disallow: /downloads/ Disallow: /wp-content/plugins/ Disallow: /plesk-stat/ Allow: /feed/$ Disallow: /page/*/?attachment_id Disallow: /feed/?attachment_id=* Disallow: /?attachment_id Disallow: /?attachment_id=* Disallow: /*/attachment/*/ # Evita bloqueos de CSS y JS. Allow: /*.js$ Allow: /*.css$ Allow: / # Lista de bots que deberías permitir. User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / # Lista de bots que generan consultas abusivas aunque siguen las pautas del archivo robots.txt User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # Slurp (Yahoo!), Noxtrum y el bot de MSN que suelen generar excesivas consultas. User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10