El archivo robots.txt es una utilidad fundamental para la administración de tu página web . Brinda a los rastreadores de buscadores , como Googlebot, instrucciones sobre qué secciones deben rastrear y cuáles es mejor ignorar. Establecer correctamente este fichero es importante para mejorar el rastreo de tu web y solucionar problemas de crawling

La presente política define las condiciones bajo las cuales usted puede utilizar a nuestro portal web y sus recursos. Es prohibido, de forma absoluta, cualquier proceso de alterar la arquitectura del sitio, así como la extracción masiva de información sin aprobación expresa. El violation de esta norma puede conllevar en la suspensión de su pe