¿Qué es el Crawl Budget?

¿Qué es el Crawl Budget y cómo mejorarlo en tu Web?


¿Qué es el Crawl Budget?

¿Cuántas veces y con qué frecuencia el Crawler de Google visita nuestra Web? En SEO, a esa periodicidad de visitas, es en parte a lo que se le llama Crawl Budget. Este es un factor que, al hablar de temas relacionados con el rastreo y la indexación, debemos tener muy en cuenta.

Por ello, mi objetivo de hoy es el de intentar resolver todas tus dudas respecto a qué es el Crawl Budget, cuáles son los factores que influyen en él y cómo puedo mejorar este presupuesto de rastreo. Pero, primero, quiero contarte la definición de Crawler, término indispensable para entender mejor este tema. ¿Me acompañas?

Menú temático del contenido

¿Qué es un crawler?


Un crawler (robot o araña, como también se lo suele llamar), es un Software que se ocupa de rastrear y explorar todos los sitios Web y sus diferentes URLs de una forma automática y constante.

Todos los motores de búsqueda (o buscadores de Internet) cuentan con estos rastreadores. Ellos van navegando por la red y analizando los diferentes sitios que encuentran a su paso, para crear una base de datos que contenga la mayor cantidad de información recolectada sobre los mismos.

¿Y el Crawl Budget? Todos los que trabajamos en Internet, y sobre todo los que nos relacionamos con el mundo del SEO, seguro que ya hemos oído o leído más de una vez algunas frases en las que se nombraba este término. Pero, ¿realmente sabemos qué significa?

¿Qué es el Crawl Budget?


La definición de Crawl Budget, hace referencia a lo que denominamos “presupuesto de rastreo”. Y, el presupuesto de rastreo, es la frecuencia y el periodo de tiempo que asigna Google a una Web para ocuparse del rastreo de sus ULRs y del contenido existente en las mismas.

A su vez, esto en SEO significa que, en base a ese presupuesto, Google Bot pasará más o menos tiempo rastreando e indexando las diferentes URLs de nuestra Web. Factores como la autoridad, la velocidad de carga, la frecuencia de publicaciones y la antigüedad del sitio, entre otros, tienen una influencia importante para dicho Budget.

Pero, quizás ahora, te estés preguntando: ¿es esto realmente importante para mi?

Aunque, en un principio pensemos que no es tan relevante que ese Crawl Budget sea mayor o menor en nuestro sitio, deberíamos saber que esto es algo de vital importancia cuando hablamos de cualquier proyecto que más o menos comienza a tener una mayor envergadura.

Y ahora veremos el por qué.

¿Por qué debes tener un buen presupuesto de rastreo?


Partamos del ejemplo de una Web que tiene X presupuesto de tiempo asignado por Google para su rastreo. El Bot pasará por la misma, empezará a rastrearla, a navegar por sus URLs, etc. y, una vez acabado el tiempo estimado por este Crawl Budget, dicho Bot saldrá de esa Web.

Pero, he aquí el quid de la cuestión: si el lapso de tiempo que tienes asignado es pequeño, es muy posible que Google Bot salga de ese sitio antes de haberse ocupado de todo el contenido (antiguo o nuevo) que se haya introducido en esa Web.

¿Qué problemas podemos tener en caso de que sea bajo?

Tu Crawl Budget definirá que contenido de tu sitio Web será rastreado y cual no

¿Y qué significa esto? Que muchos de los contenidos que tenga tu sitio no serán indexados y, por lo tanto, tu Web se enfrentará a varios problemas, como por ejemplo:

  • 1º Que ese contenido no llegue a posicionarse, ya que ni siquiera Google sabrá que existe.
  • 2º Que se siga generando contenido que no esté indexado, pero que si aumente el tamaño del proyecto, haciendo esto, que sea más difícil aún para Google encontrarlo. Lo que significa que, el tener un presupuesto de rastreo bajo, se irá sumando una mayor distancia hacia algunas zonas de la Web que pasarán a ser invisibles para el buscador.
  • 3º Si Google tarda mucho tiempo en rastrear y reconocer tu contenido, cuando algún competidor lo copie y lo indexe antes que tu, el mismo Google determine que el suyo es el original. Y esto, hará que te asigne a ti el duplicado o copia y la potencial penalización que eso puede acarrear.
  • 4º Otro gran problema que podemos tener, es que Google tarde mucho tiempo en coger cualquier tipo de cambio que hagamos a nivel de SEO on page, algo que a su vez retrasa el tiempo en que se ven plasmados los resultados de cada uno de esos cambio que hagamos en nuestra Web.

Con estos ejemplos se pueden ver claramente algunas de las desventajas a las que nos enfrentamos cuando contamos con un presupuesto o Crawl Budget bajo.

¿Cuál es la importancia de aprovechar tu Crawl Budget?

No solo es importante conseguir tener un buen Crawl Budget, sino también saber aprovecharlo lo mejor posible.

Y es que, por mucho tiempo de rastreo que nos asigne Google, si no lo aprovechamos, no nos servirá de casi nada.

¿Qué quiero decir con esto?

Que, primero que nada, deberíamos tener muy bien optimizada nuestra Web para aprovechar el 100% de nuestro presupuesto, y para que el Bot no se pierda en el camino del rastreo de nuestros contenidos.

Y sobre el cómo aprovechar y mejorar este Crawl Budget, es algo de lo que nos hablará un poco más adelante, mi amigo David Ayal.

Ahora, y para completar esta guía, te dejo con David. Él nos va ha contar todos los detalles acerca de cómo podemos mejorar el Crawl Budget en nuestra Web o eCommerce.

¿Puedo mejorar el Crawl Budget para potenciar mi posicionamiento?


¿Cómo mejorar el Crawl Budget?

Una mejora sustancial en el Crawl Budget va a repercutir de forma casi directa en la velocidad de indexación de tus páginas y contenidos.

Ahora bien, para ello, necesitas conocer mejor el comportamiento de Google Bot.

Por otro lado, a veces, no por el solo hecho de tener una mayor frecuencia de rastreo por parte del buscador vas a indexar más rápido y/o posicionar tu sitio Web mejor. Pero, antes de seguir hablando de esto, necesitamos entender mejor cómo se está comportando el Bot de Google en nuestro sitio.

¿Cómo se comporta Google en nuestra web?


Algo muy importante para poder comprender a qué zonas le está dando más importancia y cómo se comporta Google en nuestra web, es echar un ojo a los logs.

Los logs están almacenados en nuestro propio servidor, y podemos acceder directamente a ellos para ver cómo son los accesos que está efectuando Google Bot y qué zonas visita en cada momento.

Eso sí: hay que reconocer que hacer esta comprobación puede resultar un poco tedioso, pero por suerte existen programas como Screaming Frog Log File Analyser que nos pueden facilitar mucho el proceso.

Screaming Frog Log Analyser - Crawl Budget

Gracias a Screaming Frog podemos, por ejemplo, comprobar exactamente:

  • Por dónde navega Google
  • La frecuencia con que lo hace
  • Las zonas que más frecuenta
  • Las que producen una redirección
  • Además de un gran número de datos que nos ayudarán a comprender mejor cómo se comporta Google en nuestra web

SEMrush es otra herramienta que ha lanzado una opción para poder analizar Logs.

SEMrush Log File Analyser

SEMrush Log File Analyser - Crawl Budget

Llegados a este punto, ya tenemos toda la información necesaria como para poder empezar a trabajar en nuestra web y poder así optimizar y aumentar nuestro Crawl Budget.

¿Cómo optimizar nuestro Crawl Budget?


En primer lugar, lo que nos interesa es optimizar lo que ya tenemos, es decir, sacar el máximo provecho al presupuesto de rastreo que tenemos actualmente asignado.

Para conseguirlo, te prestar atención a las siguientes recomendaciones.

«Optimiza tu Crawl Budget con estas recomendaciones»

► Seguir la filosofía del “Menos es más”

Cuando digo menos es más me refiero a que no por tener 100.000 páginas indexadas de tu web en Google vas a conseguir más visitas que teniendo tan solo 1.000.

Esto puede transformarse en un problema, ya que muchas personas tienden a generar mucho contenido que realmente no sirve de nada o que no va a posicionar en la vida porque piensan que el contenido en grandes cantidades posiciona, cuando realmente puede hacer el efecto totalmente contrario.

Si haces que Google Bot pierda el tiempo por muchas URLs que no te interesan, no tendrá tiempo para poder rastrear las que de verdad quieres posicionar, y por lo tanto estarás desaprovechando tu Crawl Budget en páginas sin sentido.

Por ello, lo mejor es que si tienes una web de tamaño mediano/grande, te preguntes primero qué contenido merece la pena conservar y cuál deberías eliminar.

Del mismo modo, otros tipos de contenidos como los generados por paginaciones, parámetros etc., son contenidos que solo le harán perder tiempo a Google Bot.

Elimina los contenidos que sean innecesarios en  y, con los que no puedas eliminar, simplemente utiliza las etiquetas robots noindex nofollow y bloquéalas con el archivo robots.txt.

Lo mismo ocurre con los contenidos susceptibles a canibalización, es decir, aquellos que compiten por las mismas keywords dentro de tu propia web.

En raras ocasiones se puede posicionar un conjunto de los propios contenidos en los primeros puestos para términos similares, convirtiéndose en un gasto innecesario de rastreo.

En este caso, en vez de eliminar los contenidos que compitan entre sí, elige sólo la versión que esté mejor posicionada y a las otras hazles una redirección 301.

► Optimiza la velocidad de carga

Optimiza la velocidad de carga - Crawl Budget

Si tu web tarda mucho en cargar, Google Bot va a tener menos tiempo para poder rastrear páginas internas de tu web y, por lo tanto, va a perder más tiempo esperando que rastreando.

Por eso, es muy importante que consigas que tu web sea lo más rápida posible en todos los aspectos.

Para ello, optimiza el código fuente de tu web para no insertar códigos innecesarios, javascripts que no se usen, CSS antiguos que no se estén usando, imágenes demasiado pesadas, etc.

» También te puede interesar: ¿Qué es el WPO?

Del mismo modo, un buen servidor te puede ayudar a mejorar la velocidad de carga de manera considerable, además de optimizarlo usando sistemas de caché tanto a nivel de servidor como a nivel de CMS.

► Vigila enlaces y redirecciones problemáticos

Lo mismo ocurre con las redirecciones innecesarias, ya que cada una por la que pasa Google Bot, es un tiempo que se pierde de nuestro presupuesto de rastreo.

Para evitarlo, debemos intentar utilizar las mínimas redirecciones posibles, y sobre todo no enlazar a URLs redireccionadas.

Enlazar a páginas que den error 404 es sin duda otro inconveniente, ya que haremos que Google pierda tiempo en visitar URLs que ya no existen o que dan error, perdiendo con ello aún más presupuesto de rastreo.

Con Screaming Frog (y también con SEMrush, Ahrefs, SERanking o DinoRANK) podemos comprobar las URLs que tengamos redireccionadas y las páginas que nos den error 404, para luego corregirlo.

Vigila enlaces y redirecciones problemáticos

Otro gran problema es enlazar a páginas que realmente no nos interesan en cuanto a SEO, como por ejemplo:

  • Los avisos legales
  • Las políticas de cookies
  • Las páginas de contacto

A este tipo de enlaces los colocamos, sin casi darnos cuenta, en prácticamente todas nuestras URLs, y eso hace que Google Bot las visite en reiteradas ocasiones y pierda mucho tiempo en el proceso.

Una solución para este tipo de páginas es utilizar el atributo rel nofollow, aunque no es del todo recomendable porque perderemos parte de link juice al usarlo.

Lo ideal es hacerlo accesible, pero sin un link. Pero ¿Cómo? Muy fácil: mediante javascript o jquery.

► Diseña una estrategia de enlazado interno

Como bien sabemos, mientras más URLs enlacemos desde nuestros menús y desde las zonas comunes de nuestra web, más tiempo le haremos perder a Google Bot rastreándolas.

Por ello, no es aconsejable abusar de las zonas de menú que se comparten en las URLs de nuestra web. A estos espacios los reservaremos para dedicárselos a las zonas que queramos reforzar de cara al SEO.

Ya vimos anteriormente cómo saber cuáles son las URLs que Google Bot visita con más frecuencia en nuestra web, esas zonas más calientes.

El próximo paso es aprovechar esas zonas para enlazarlas a otras que queramos darle más énfasis y para que el Bot no pierda tanto tiempo en otras sin tanta importancia.

¿Cómo aumentar nuestro presupuesto de rastreo?


Ahora que ya hemos conseguido aprovechar el 100% nuestro presupuesto existente de rastreo, veremos qué podemos hacer para aumentarlo.

Y esto, contrariamente a lo que estarás pensando, es algo bastante complicado de hacer.

Google puede tener tu web encasillada en cuanto al tiempo de rastreo que mereces. Esto es, nada más y nada menos, que una asignación pura y dura (y a veces arbitraria).

Sin embargo, aumentar ese presupuesto no es tarea imposible y con trabajo se puede conseguir.

Ahora bien: ¿cómo podemos hacerlo? Básicamente, hay dos caminos a seguir.

► Aumentar la autoridad de la URL

Si queremos aumentar la frecuencia de rastreo de nuestra web tenemos que aumentar la autoridad de la misma para que así Google determine que esa web tiene una mayor importancia, y para “obligarlo” a que pase con mayor frecuencia.

Ejemplo con SEMrush:

Aumenta tu autoridad gracias al Linkbuilding - SEMrush

Una forma de conseguir esto es a base de linkbuilding de calidad.

Si conseguimos enlaces de calidad hacia nuestras URLs, estaremos pasando un gran Link Juice hacia nuestro sitio Web, lo que aumentará la autoridad de nuestra web, hará que se posicione mejor y, como si esto no fuese poco, hará que Google le dé más relevancia.

Ejemplo con Ahrefs:

Aumenta tu autoridad gracias al Linkbuilding - Ahrefs

► Actualizar los contenidos

Si nuestra web es estática y siempre tiene los mismos contenidos, es normal que Google Bot determine un presupuesto de rastreo bajo, ya que no va a encontrar nada nuevo cuando vuelva a acceder, y por lo tanto no desaprovechará sus valiosos recursos.

Es por ello que es importante actualizar los contenidos de nuestra web, ya sea de forma estática y dinámica.

Si tenemos una web tipo blog, podremos actualizarla regularmente sin problemas con contenido nuevo y rastreable por Google.

Si, en cambio, nuestra web es más bien estática, con un mismo número de URLs, la cosa puede complicarse, aunque también aquí contamos con una solución: la de actualizar los textos del contenido estático con regularidad.

Esto último es algo que también funciona muy bien cuando no se generan URLs nuevas.

¡Descarga mi eBook sobre análisis de Palabras Clave!

Conclusión

Este no es un factor que te haga mejorar el SEO de una Web directamente. Pero, si hay algo que debemos reconocer, cuando el Crawl Budget mejora, nuestro posicionamiento también suele hacerlo.

¿A qué se debe esto? A que cuando este aumenta, el rastreo e indexación de las páginas también lo hace con él, posicionando más fácilmente las nuevas URLs y cogiendo más rápido los cambios a nivel On Page que vayamos realizando.

Para ir finalizando, y como vimos a lo largo de esta guía, son muchos los beneficios directos e indirectos que pueden ayudarte a mejorar el SEO de tu Web.

Imágenes: (búsqueda) Freepik

Por eso me gustaría despedirme con un par de preguntas:

¿Tienes claro cuál es tu Crawl Budget?

Y en caso afirmativo: ¿estás seguro de estar sacándole el máximo provecho?

¡Hasta la próxima, amigos!



Fuente