El documento robots.txt es un instrumento esencial para controlar cómo los rastreadores web exploran tu portal. Permite a los arañas indicaciones sobre qué páginas de tu dominio pueden indexadas y cuáles no deben ser ignoradas . Una implementación del robots.txt puede aumentar tu visibilidad en los rankings y solucionar problemas de indexaci�