Crawl Budget: Cos’ e come aumentarlo

crawl budget come aumentarlo

Il Crawl Budget di un sitoweb, verificabile nella nuova Search Console messa a disposizione gratuitamente da Google ai webmaster, è un valore attraverso il quale si può monitorare quante risorse impiega Google nella scansione del nostro sito. Grazie a questa assegnazione di risorse, Googlebot riesce a scansionare correttamente ogni pagina web presente online e a limitare o aumentare il budget in base a diverse condizioni e parametri. Sul blog ufficiale di Google, Gary Illyes ha pubblicato recentemente un articolo che fa chiarezza sul Crawl Budget di Google, affermando che il monitoraggio di questo parametro per chi ha un sitoweb di piccole dimensioni non è indispensabile, visto che Googlebot riesce a gestire efficacemente le risorse da assegnare.

Limite di scansione

Grazie al crawl budget, Google riesce ad assegnare un limite massimo di scansione a qualunque sito presente online evitando di sprecare risorse per impiegarle laddove sono presenti contenuti e file che possono essere più importanti per migliorare l’esperienza degli utenti del web.

Con il crawl budget Google stabilisce oltre al limite delle risorse da scansionare anche il modo in cui la scansione deve avvenire, ovvero questo indicatore stabilisce anche quante scansioni simultanee possono avvenire nel sito e quanto tempo deve trascorrere tra una scansione ed un’altra.

A determinare spesso la variazione in aumento o in peggioramento del numero di scansioni giornaliere effettuate dallo spider di Google, è lo stato di salute del server sul quale è ospitato il sitoweb.  Ad esempio, se un server risponde con molti errori ed in modo lento, si potrà notare a lungo andare un abbassamento del limite di scansione da parte di Google. Alcuni webmaster cercano di aumentare il limite di scansione giostrando con i parametri all’interno della Search console. Queste pratiche in molti casi non fanno si che si verifichi un aumento del crawl budget in quanto Google lo aumenta o lo diminuisce soprattutto in base a due parametri:

  • La popolarità di una risorsa
  • La freschezza e l’aggiornamento di una risorsa web

Si è notato che il crawl budget diminuisce in base a determinati fattori come la presenza di contenuti duplicati, la presenza di errori soft 404, di pagine hakerate e di contenuti dalla bassa qualità come testo spam e con key stuffing. Avere sul proprio sito errori del genere e pagine web spam, hakerate e di bassa qualità, può oltre che diminuire il crawl budget anche essere la causa di una cattiva scansione anche di tutte quelle risorse che invece sono utili, popolari ed aggiornate.

I file che vengono conteggiati attraverso il crawl budget sono di ogni genere html, javascript, css, pdf e flash. Ogni giorno in base alle sue indicazioni, googlebot scansiona queste risorse ed i webmaster possono verificare attraverso la Search Console quanti kilobyte vengono scaricati e quanto tempo impiega il server del sito a restituire tali risorse.

Per aumentare il crawl budget assegnato, bisogna tenere in considerazione alcuni parametri qualitativi come ad esempio la velocità con la quale il server restituisce le risorse agli spider ed ai browser. Aumentare la velocità del sito non sempre porta ad un miglioramento del posizionamento organico su Google, anche se in molti casi ciò avviene, ma è importantissimo per aumentare il crawl budget visto che Google tiene in considerazione positiva o negativa la velocità con la quale può scansionare e scaricare le risorse, in base alla presenza o meno di errori http o di timeout continui del server.

Un falso mito sul crawl budget, è quello che vede i webmaster convinti che grazie all’utilizzo della direttiva crawl-delay nel file robots.txt, si possa cambiare la velocità ed il numero di risorse scansionate da Google. In effetti, Googlebot non tiene in considerazione questa direttiva, in quanto come precedentemente detto agisce in base a parametri ben precisi.

Un altro falso mito è il tentativo di alcuni webmaster di indirizzare lo spider di Google verso la non scansione di determinate pagine web utilizzando l’attributo nofollow. Ciò potrebbe riuscire se ogni pagina e file che riporta a questa determinata pagina web, contenga l’attributo nofollow, ma anche in presenza di un unico link follow la scansione dello spider avrebbe luogo.

Come aumentare il crawl budget

Gli spider di Google hanno bisogno di scansionare costantemente il web alla ricerca di contenuti freschi e popolari, di aggiornamenti utili agli utenti per ridisegnare con cadenza quasi regolare gli indici delle proprie serp con risorse sempre più affini all’intenzione di ricerca degli utenti stessi. osservando il meccanismo del crawl budget partendo da quanto appena scritto, è facile capire come non convenga a Google in termini economici, scansionare ogni risorsa web allo stesso modo senza fare una differenza tra le pagine web migliori e quelle peggiori. Si dice che il crawl budget non sia un fattore di ranking, ma a mio avviso è un importante arma a disposizione di Google per scremare le risorse che non sono utili da quelle utili agli utenti. Come detto in precedenza, se si ha un sitoweb di piccole e medie dimensioni, monitorare questo parametro non ha un elevata importanza, ma anche per sitiweb piccoli, è bene tenere in considerazione alcune cose importantissime per aumentare il crawl budget. Per aumentare questo parametro si può lavorare in ottica seo per migliorare le seguenti cose:

  • Limitare i timeout e gli errori http del server
  • Aumentare la velocità del sito
  • Evitare contenuti duplicati
  • Evitare pagine duplicate a causa di parametri settati erroneamente
  • Aggiornare in modo onesto le pagine web ed i contenuti di tutto il sito
  • Limitare la scansione con noindex di pagine inutili
  • Minimizzare a sufficienza file css, javascript e immagini
  • Utilizzare il rel canonical
  • Impostare il defer parsing di risorse che rallentano l’apertura della pagina
  • Evitare doppie ed inutili categorizzazioni identiche con tassonomie come tag e categorie

Queste appena elencate sono solo alcune delle cose che possono aiutare ad aumentare il crawl budget assegnato, ne esistono diverse ma in linea di massima per fare in modo che il budget assegnato sia sempre ottimale e che ogni pagina venga scansionata con regolarità, bisogna lavorare sulla qualità per aumentare la popolarità delle risorse.

Aumentare la frequenza di scansione

Una volta capito che per aumentare il crawl budget di un sitoweb c’è bisogno di aggiornare costantemente i contenuti, qualche webmaster potrebbe credere che aggiornare semplicemente facendo una ripubblicazione delle pagine basti ad aumentare la frequenza di scansione. In effetti, ciò può avvenire la prima volta, magari aggiornando tutti i contenuti del proprio sito, ma questo farà si che Google ritornando più frequentemente a scansionare, NON trovi effettivi aggiornamenti in termini di contenuti o comunque variazioni tali da considerare quell’aggiornamento positivo ed utile. Dopo aver appurato che la risorsa aggiornata in realtà è solo stata ripubblicata, Google abbassa la frequenza di scansione, ovvero allunga il tempo con il quale rivisiterà quella risorsa, ed il webmaster sprovveduto avrà ottenuto l’effetto contrario.

Al contrario dunque, aggiornando i contenuti realmente, si potrà notare un aumento della frequenza di scansione da parte dello spider di Google, ovvero una riduzione nel tempo che intercorre tra una scansione ed un’altra. Ogni volta che lo spider visita quella determinata risorsa web, abbasserà sempre più la frequenza di scansione, se troverà ogni volta contenuti realmente aggiornati. Un esempio sono le differenze di scansione che esistono tra differenti portaliweb. In effetti, si nota come alcuni siti abbiano il vantaggio di veder indicizzati nel giro di poche ore nuovi contenuti. Tale vantaggio è dato dall’alta considerazione che ha Google di questi sitiweb grazie all’assegnazione di un crawl budget elevato frutto di una gestione oculata dei contenuti pubblicati e aggiornati in modo reale costantemente.

 

 

HotLead
Connettiti

HotLead

HotLead è il marchio della lead generation. Siamo specializzati nel creare sistemi professionali di lead generation per aziende, per generare contatti e vendite.
HotLead
Connettiti

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Pin It on Pinterest