Comentarios en: El archivo robots.txt de cara al SEO (en pocas palabras)

Por: Nando

Nando — Wed, 13 Oct 2010 13:20:34 +0000

Merci por la info!!!

Por: Tanguitor

Tanguitor — Sun, 07 Mar 2010 16:16:18 +0000

Excelente página,

tengo que tunear el robots.txt y veo que lo mejor es preguntar antes de meter la pata:

Instale un script del que quiero bloquear unas url’s que genera:
mipunto.com/?cbg=yniraytghhrhhs;
Como hago, asi?
Disallow: /?cbg=*
o
Disallow: /?cbg
o
Disallow: /?*

Otra pregunta:
para evitar que indexe paginas duplicadas x ejemplo:
mipunto.com/cat/cat1/page/2/
seria, disallow: /*/*/page/*

esa es la menera de utilizar los comodines?.

Desde ya muchas gracias.

Por: zapatillas nike

zapatillas nike — Tue, 25 Nov 2008 23:29:54 +0000

la verdad es que también va bien cuando redireccionas alguna página, para que el buscador desindexe algunas páginas que sino lo podría coger como contenido duplicado

Por: Charlie

Charlie — Fri, 10 Oct 2008 20:48:29 +0000

@Skate: con esto de la búsqueda universal de Google, vale la pena también tener optimizadas las imágenes y así aparecer en búsquedas relacionadas… pero eso depende solamente de tí

Por: Skate

Skate — Fri, 10 Oct 2008 08:38:52 +0000

yo tengo el archivos robots.txt para algunas carpetas que no quiero que indexe. Tambien tengo las imagenes. ¿Recomendais que Google indexe todas las imagenes de mi web?Saludos

Por: Charlie

Charlie — Tue, 05 Aug 2008 16:44:09 +0000

@Wilmer: estamos igual entonces

@Spanish SEO: en un inicio se dijo que podriamos utilizar el archivo como inclusión mediante el uso del comodín “*” en la línea del “User-agent” dejando en blanco el “Disallow”…

Pero igual, creo que se hizo más popular por la función de exclusión que otra cosa… y que existen algunas formas para hacer el trabajo de manera más “efectiva” digamos…

Por: Spanish SEO

Spanish SEO — Mon, 04 Aug 2008 23:11:55 +0000

Robots.txt es para exclusion de informacion mas no para inclusion. El problema con robots commands es que los bad bots tienden a ignorarlos, e incluso MSN, Yahoo y Google algunas veces lo hace. De todos ellos el peor es MSN:

A bad robot hit /bot-trap/index.php 2008-08-03 (Sun) 21:39:01 address is 65.55.209.207, hostname is msnbot-65-55-209-207.search.msn.com, agent is msnbot/1.1 (+http://search.msn.com/msnbot.htm)

Ademas robots.txt puede hacer un cloaking para ocultarlo y/o hacerlo selectivo en base a User-Agent.

Si quieres blockquear paginas, etc, etc, hay formas mas efectivas.

Por: SearchCap: la semana en search 28 julio - 3 agosto | Search Engine Land en Español

Mon, 04 Aug 2008 14:59:02 +0000

[...] El archivo robots.txt de cara al SEO (en pocas palabras) en SEOCharlie [...]

Por: Blog Oficial de Mercadeo en Línea » Sobre el Archivo robots.txt de cara con el SEO

Fri, 01 Aug 2008 23:53:38 +0000

[...] Vea más aquí en: http://www.seocharlie.com [...]

Por: Wilmer Miguel Aquino Fernandez

Wilmer Miguel Aquino Fernandez — Fri, 01 Aug 2008 19:30:22 +0000

Personalmente yo casi nunca utilizo este “robots.txt” algunas raras veces pero con el propósito de excluir archivos.