El archivo robots.txt es el recurso esencial para toda página web que pretende ser bien vista por los rastreadores como Google . Sirve como una instructivo para los rastreadores , indicándoles qué áreas de tu sitio pueden están crawleadas y cuáles no . La óptima configuración de este fichero ayuda a prevenir problemas de indexación , mejor