Manual SEO para novatos. Sitemaps y robots.txt

Una vez que  hemos optimizado nuestra web a nivel interno, títulos, textos, etiquetas y reescritura debemos decirle a Google lo que nos interesa posicionar, que al fin y al cabo debería de coincidir con lo que le interesa al futuro usuario de nuestro sitio. Google es como un niño chico, sus bots, (programas que buscan páginas) son muy torpes, se lían siguiendo enlaces y se suelen dejar más de la mitad en el camino.

Para ello, tenemos los sitemap, que es  una especie de resumen de todas las páginas que componen nuestro sitio, y que por lo general, Google agradece mucho ya que se lo damos todo hecho.

Podemos hacerlas a mano o ayudandonos de multitud de páginas que ofrecen gratuítamente dicho servicio, y como esto es un manual para novatos, usaremos las fáciles. Sólo tendremos que poner nuestra url y se nos ofrecerá la posibilidad de descargarnos un archivo llamado “sitemap.xml” que subiremos a nuestro directorio raíz, por lo general. Si la web estuviera alojada en otra carpeta pues a esa carpeta.

Vale, ya tenemos el famoso sitemap, ¿Y ahora qué? Pues ahora sólo debemos de irnos a las “herramientas para wemasters de Google“, validar nuestra página mediante una meta etiqueta que ponemos en la misma y que no se ve, así Google sabe que esa url es tuya. Nos vamos a sitemap y pulsamos en “añadir sitemap”, escribimos la dirección del sitemap y ya está. Ya estamos diciéndole a Google las páginas que tenemos y dónde están, mejorando así nuestra indexabilidad.

Mejorada la indexabilidad vamos a mejorar un poco el posicionamiento, que al fin y al cabo es lo que queremos. Con el archivo robots.txt podemos decirle a Google lo que queremos que tenga en cuenta a la hora mostrar resultados e indexar y lo que no. Podemos decirle que una carpeta que se llama app no queremos que se muestre, ni que nadie sepa que exista, al igual que una con borradores y que nos puede afectar por el tema del contenido duplicado.

Para ello sólo hay que indicarle el tipo de “bot” al que nos dirigimos y lo que queremos que haga con esa carpeta. Por ejemplo…

User-agent:*

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /search
Disallow: /?s=
Disallow: /feed
Disallow: /comments/feed
Allow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /foros

Sitemap: http://www.antoniovelo.com/sitemap.xml

“Le decimos a Google que tanto los feeds, como las búsquedas, los trackbacks y los comentarios no los tenga en cuenta a la hora del posicionamiento y de mostrar resultados de búsqueda ya que nos pueden joder por contenido duplicado“. Eso se hace con Disallow: /Nombre de la carpeta.

Con sitemap: http://wwww. tudominio.com/sitemap.xml le decimos donde está nuestro sitemap, dándoselo más fácil aún.

Bueno ya tenemos el robots.txt. ¿Y ahora qué?, pues lo subimos a la carpeta raiz de la página y aparecerá automáticamente en las herramientas para webmasters. Todo listo para empezar con los factores externos del posicionamiento web.

Un saludo y espero que os haya servido!!

Si te gusta este post puedes subscribirte al feed de consultor seo & sem!