Análisis de SEO. Número de paginas indexadas y eliminadas

Hay que tener cuidado cuando ya tienes tu página indexada y al crear una nueva aplicacion, dejas que el robot de Google indexe muchas urls de golpe esto es considerado como SPAM para los spiders.

Esto es la idea básica, claro, pero siempre hay parámetros que considerar.
Lo que yo se y he experimentado es que si tienes una web que ya tiene indexada 10.000 urls y al lanzar un especial, o una nueva aplicación en la web, o si insertas nuevos posts (si es un blog) de tal manera que creas 3.000 nuevas urls, es obvio spam. Esto se ve muy claro, pero por lo general no se tiene en cuenta cuando se pone en producción un nuevo desarrollo, aplicación, o lo que sea.
La lógica de los robots y los spiders, es que ningún humano puede crear tantas nuevas páginas.

Éstos datos son un ejemplo, realmente no se el porcentaje que consideran los robots, pero se que es un punto importante a tener en cuenta cuando ponéis en producción aplicaciones en vuestro site.

La solución más fácil que se puede llevar a cabo y no afectar a las fechas de lanzamiento de las aplicaciones y que los usuarios puedan visualizar y usar las nuevas aplicaciones o herramientas es deshabilitaras desde el robots.txt, impidiendo el acceso y la indexación de estas nuevas aplicaciones, y posteriormente ir poco a poco habilitándolas.

User-agent: *
Disallow: /mi_nueva_aplicacion
Disallow: /otra_aplicacion
Disallow: /nueva_galeria_fotos

También ocurre al contrario, cuando elimináis muchas urls.
Esto me ha pasado en mexame. He tenido que eliminar 3 usuarios que habían posteado unas 1000 urls con noticias spam. Al borrar los usuarios y eliminar todas sus noticias y comentarios los robots me han penalizado bastante, tanto que el porcentaje de visitas ha caído mas del 40% (es posible que también por otros factores), pero un desastre.

Tags de búsquedas:

numero de paginas web 2010, numero de paginas web en el mundo, cantidad de paginas web en el mundo, cantidad de paginas en el mundo, pagina indexada

Posts Relacionados:

• Mejoras SEO para ofrecer un contenido en multi-idioma etiqueta hreflang Desde el blog de webmaster, Google nos propone una mejora para optimizar los sites que ofrecen el mismo contenido en diferentes idiomas. Con lo que podremos mejorar la gestión del...
• plugin cache en wordpress. Mejora la velocidad de tu blog… y el SEO Desde hace unas semanas que he empezado a usar un plugin de cache en wordpress, se llama Quick Cache. Es conocido que la velocidad de descarga de tu site o...
• Crear y usar plantillas para páginas de WordPress Las plantillas de página son muy útiles: Permiten crear páginas personalizadas, por ejemplo la creación de una página de archivo que muestra todos tus posts, o una página para mostrar...
• Mostrar el número de lineas en vi Los que usamos vi como editor de texto en linux, sabemos que es muy potente, aunque a veces da un poco dolor de cabeza, y hay que aprender todos los...
• Enviar un correo via telnet desde consola linux Muy muy interesante. Una practica que he tenido que hacer, enviar un correo vía telnet desde la consola linux, no pensé que podría hacer esto desde telnet, pero vamos que...