Los mejores Cursos Posicionamiento Web

 

Cuando se piensa en obtener información sobre SEO a través de los mejores Cursos Posicionamiento Web, siempre se espera poder aprender sobre diferentes herramientas que permitan manejar los datos de posicionamiento en Internet, es por eso que algunas herramientas que se enseñan en estos cursos pueden ofrecer información importante, y que así mismo poco a poco las herramientas que permiten generar algunos ficheros estén por desaparecer. Puedes elegir crear un fichero robots.txt de forma manual o quizás quieras utilizar alguna de las herramientas conocidas para generar registros robots.txt de la red, así como también es importante lo que se aprende sobre estrategias de Posicionamiento Web Marbella.

Los registros o ficheros robots.txt prohíben el ingreso a un sitio cuando los robots o motores de búsqueda rastrean en la Web. Tales robots funcionan de forma automática y, para ingresar a las páginas de un sitio, confirman si existe un fichero robots.txt que les prohíba acceder determinadas webs. Aunque puede decirse que todos los motores de búsqueda acreditados respetan las normas del fichero robots.txt, algunos pudieran interpretarlas diferente. Aun así, el fichero robots.txt no es necesario y algunos mensajeros de spam y otros mal-intencionados pueden ignorarlo. Por tal circunstancia, se recomienda proteger toda la información privada con contraseñas.

Para saber sobre las URL que aun Google no ha logrado rastrear, ingresa a la página URL que se encuentran bloqueadas en la sección de estado, Herramientas para los webmasters de Google.

El fichero robots.txt solo es imprescindible si tu sitio contiene archivos o información que no deseas  que los motores de búsqueda puedan indexar. Si permitirás la indexación de tu sitio completamente, el fichero robots.txt no va ser necesario (tampoco uno vacío).

Si bien es cierto, Google no buscará ni indexará los contenidos de las páginas que se encuentran bloqueadas por el fichero robots.txt, pero si indexará aquellas URL que pueda encontrar en otras páginas de la Web que así mismo encuentre respaldo en los mejores Cursos Posicionamiento Web del mercado. Por consiguiente, la URL de la web y algunos datos que se encuentren disponibles al público, como textos de anclaje en vínculos que re-direccionan al sitio o que pertenezca a Open Directory Project, estos pueden visualizarse en los resultados de una búsqueda en el posicionamiento web de Google.

Para usar un fichero robots.txt, es necesario acceder al directorio raíz del dominio (puedes consultar con el proveedor del hosting). Si no posible acceder al directorio raíz del dominio, al menos puedas limitar el acceso al mismo usando una metaetiqueta “robots”.

Para que no aparezca cualquier contenido de páginas en los índices de páginas web en el intento de seguir algunos Cursos Posicionamiento Web en Google, inclusive si se encuentra vinculado a otros sitios, puedes utilizar: metaetiqueta “noindex” o también: x-robots-tag. Toda vez que Googlebot realice búsquedas de la página, notará la metaetiqueta “noindex” y por lo tanto no contendrá esa web en el índice. La cabecera HTTP “X-Robots-Tag” es considerablemente útil para minimizar indexar información que no es HTML, como gráficos y otro tipo de documentos o archivos.

 

 

Cómo crear un fichero robots.txt

El fichero robots.txt más sencillo usa sólo dos reglas:

  • User-Agent: el cual es el robot que se aplica la regla
  • Disallow: URL la cual se desea bloquear

Esas líneas son consideradas una entrada en el registro. Es posible fijar todas las entradas que desees, del mismo modo muchas líneas Disallow y algunos user-agents para una entrada igual.

Cada elemento del fichero robots.txt es único y no es posible generarla partiendo de otras secciones, ejemplo:

 

User-Agent: Googlebot

Disallow: /carpeta2/

 

User-agent: *

Disallow: /carpeta1/

Como se puede ver, las URL que no pueden ser rastreadas por Googlebot son las que se encuentran en  /carpeta2/.

User-agents & robots

User-agent: un robot determinado en el motor de búsqueda. En las bases de datos de robot en el posicionamiento web se encuentran numerosos robots que son comunes. Podrás establecer un acceso que podrá ser aplicado a un robot en específico (usando su nombre) también para que pueda ser aplicado a cada robot (por medio de un asterisco). El esquema que se aplica a los robots es entonces:

User-agent: *

Google continuamente utiliza muchos robots (user-agents). El robot que usamos para una búsqueda en la web es Googlebot. Los restantes, como Googlebot-Image y Googlebot-Mobile, comparten las reglas que se encuentran configuradas en Googlebot, sin embargo también pueden establecerse  reglas determinadas para ellos.

Bloquear user-agents

La línea Disallow señala las páginas que deseas bloquear. Ingresa un patrón específico o una URL. Es necesario que la entrada comience así: (/).con una barra inclinada.

  • En caso de bloquear el sitio por completo, ten en cuenta utilizar la barra inclinada.

Disallow: /

  • En caso de denegar el acceso a directorio y además todo su contenido, ingresa una barra acostada (/) posterior al nombre.

Disallow: /directorio-sintítulo/

  • En caso de denegar el acceso a una página: insertar luego en la línea Disallow.

Disallow: /archivo_privado.html

  • En caso de eliminar una o varias imágenes de Google-Imágenes, insertar:
  • User-agent: Googlebot-Image

Disallow: /imágenes/perros.jpg

  • En caso de eliminar todas imágenes de Google-Imágenes: insertar:
  • User-agent: Googlebot-Image

Disallow: /

  • En caso de bloquear información o archivos de un determinado tipo (ejemplo, .jpg), insertar:
  • User-agent: Googlebot

Disallow: /*.gif$

  • Para impedir que se puedan rastrear algunas páginas en tu sitio, sin limitar que puedan mostrarse anuncios de AdSense en esas webs, deshabilita el ingreso los robots que no pertenezcan a Mediapartners-Google. Esto impedirá que las webs lleguen a los resultados de búsqueda, pero por otro lado permite a Googlebot-Mediapartners realice un análisis que determine los anuncios que serán publicados. El robot Googlebot-Mediapartners no proporciona páginas al resto de user-agents en Google. ejemplo:

 

  • User-agent: *
  • Disallow: /
  • User-agent: Mediapartners-Google

Allow: /

Es necesario tener en buena cuenta que en las normas se diferencian distingue entre mayúsculas y minúsculas. Ejemplo: Disallow: /archivo_privado.asp  permitirá bloquear  http://www.ejemplo.com/archivo_sintitulo.asp, y a la vez permitiría http://www.ejemplo.com/archivo_sintitulo.asp. Googlebot desconoce los espacios que se encuentran en blanco (en líneas vacías concretas) como también las normas desconocidas del fichero robots.txt.

Googlebot permite realizar envios de archivos en un sitemaps por medio del fichero robots.txt.

Relación por medio de patrones

Googlebot tiene muy presente las relaciones por medio de patrones, pero los motores de búsqueda no siempre.

  • Para empezar; es útil utilizar asterisco (*) con el fin de que la relación se construya con una orden de caracteres. Ejemplo, en caso de bloquear el ingreso a los subdirectorios que comiencen por  “privado”:
  • User-agent: Googlebot

Disallow: /privado*/

  • Si buscas denegar el acceso a las URL que contengan un signo de interrogación (?) (más exactamente, cualquiera URL que comience por el nombre de dominio que usas, seguidamente de una cadena, un signo de pregunta y también una cadena), debes añadir lo siguiente:
  • User-agent: Googlebot

Disallow: /*?

  • En caso de querer especificar la relación con el final de la URL: utilizar $. Ejemplo, para denegar el acceso a una URL que finalice en .xls:
  • User-agent: Googlebot

Disallow: /*.xls$

También es posible utilizar esta relación por medio de patrones combinando la directiva Allow. Una forma es; si el signo de Interrogación dice la ID de alguna sesión, puedes prescindir de aquellas URL que lo tengan para asegurar que Googlebot no realice búsquedas de páginas repetidas. No obstante, las URL que terminen en dicho símbolo pueden llegar a ser la versión web que deseas incluir. De ser así, debes configurar el fichero  robots.txt de la siguiente manera:

User-agent: *

Allow: /*?$

Disallow: /*?

La orientación Disallow: / *? Denegará acceder a cualquiera URL que contenga el símbolo de interrogación (?). Más exactamente, denegará el acceso a todas las URL que inicien con el nombre del tu dominio que usas, seguidamente de alguna cadena.

La orientación Allow: /*?$ dejará que cualquiera URL que termine con el símbolo de interrogación (?). Exactamente, permitirá toda URL que inicie por el nombre del dominio que usas, seguido de alguna cadena y el símbolo de interrogación (?), sin caracteres al final de este.

Guarda el fichero robots.txt almacenándolo o haciendo una copia del su contenido en un fichero tipo texto y almacénalo con el nombre de robots.txt. Ten guardado el archivo donde se encuentra el nivel superior en tu sitio. El fichero robots.txt debe estar ubicado en su raíz del dominio llamarse “robots.txt”. Si lo ubicas en algún subdirectorio, no será validado, esto se debe a que los robots buscan en la raíz de los dominios. Ejemplo, http://www.ejemplo.com/robots.txt será válido, mientras que http://www.ejemplo.com/misitio/robots.txt no lo será.

Cómo probar un fichero robots.txt

La utilidad de prueba de ficheros robots.txt te demostrará si el fichero robots.txt está denegando accidentalmente que Googlebot realcice una búsqueda de un fichero o un directorio del sitio que usas o si por otro lado está dejando que Googlebot busque archivos que no deberían rastrearse en la Web. Al tener el texto de un fichero robots.txt puesto, la utilidad lo leerá de la misma manera  que Googlebot y mostrará los efectos del fichero y aquellas fallas que se hayan podido detectar.

Para probar un fichero robots.txt del sitio, sigue estas recomendaciones:

  1. En la web principal de las Utilidades para webmasters en Google, da un clic en el sitio que consideres.
  2. En las opciones de estado, haz clic: URL denegadas o bloqueadas.
  3. Si todavía no se ha seleccionado, en la pestaña: Probar robots.txt. da un clic.
  4. Copiar los contenidos del fichero robots.txt y adhiérelos en el cuadro inicial.
  5. Señala el sitio donde quieres probar el fichero, .En el cuadro “URL”.
  6. Haz una selección de los user-agents que deseas en: lista User-agents,

De esta forma, no se guardan cambios en esta utilidad. Si deseas guardar cambios, es necesario que copiar su contenido y adherirlo al fichero robots.txt.

Esta utilidad arroja resultados sólo para user-agents en Google, Ejemplo: Googlebot. Quizás otros robots no interpreten el fichero robots.txt de la misma manera. Ejemplo, Googlebot es una definición amplia del protocolo de robots.txt patrón. Comprende las orientaciones Allow: y también las relaciones por medio de patrones. De esta manera, aunque la utilidad permita visualizar líneas que contengan estas extensiones como entendidas, recuerda que esto afecta sólo a Googlebot, no a todos los robots que rastreen tus sitios webs.

Sobre el autor

adminsVer todas las entradas de admins

Copyright 2019 | CursodePosicionamientoweb.org | Powered by CANIS-MAJORIS.NET