####### ##Consejos de Reglas de Robots.txt desde https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt ##Probador de robots en: https://www.google.com/webmasters/tools/robots-testing-tool ####### # Crawler User-agent: * Allow: * Sitemap: http://www.aulafacil.com/sitemap.xml ############## Issue #50 ###################### #Deshabilitar las urls con parámetros. Issue #50 Disallow: /*?* #Pero permitir indexar los ficheros .js|.css aunque estos tengan parámetros Allow: /*.js Allow: /*.css ############################################### # No indexar acción de revelar información de curso de webpush Disallow: /revelaInfoCurso # No indexar la acción de marcado de testimonios del boletín Disallow: /site/marcaTestimonioPublicadoBoletin # No indexar las previsualizaciones (que son públicas). No es necesario indicar /prev-* porque google ignora el * del final Disallow: /prev- #No indexar traductor Disallow: /traductor$ #No indexar duplicidad de página de contacto de profesores expertos Disallow: /profesores-expertos #prueba de conexión remota. Disallow: /conexionremota.php$ #Links de redirección. #JLM. 8.10.18 Se comenta la linea de abajo ya que deberá permitirse el acceso por robots para capturar el header X-Robots-Tag: noindex, al existir previamente dichos enlaces en el índice de google. De esta forma con la cabecera ya se sabe que no se deberá indexar #Disallow: /linkto # Disallow: /memcached/ Disallow: /munin/ Disallow: /backend/ Disallow: /scripts/ Disallow: /assets/ Disallow: /lost+found/ #Usada para redirigir todo el contenido del que no se confía Disallow: /redirurl/ #No indexar los CVs de los profesores Disallow: /profesores/descargar-cv- #23-5 Desactivar indexación de imagenes User-agent: Googlebot-Image Disallow: / #Internet archive User-Agent: ia_archiver Disallow: /