Il crawl budget, o budget di scansione, indica il numero complessivo di pagine e risorse che i robot dei motori di ricerca, come Googlebot, decidono di scansionare su un determinato sito web all’interno di un arco temporale definito. Non si tratta di una quota fissa stabilita arbitrariamente, ma del punto di incontro tra le risorse computazionali che il motore mette a disposizione per il tuo dominio e la capacità del tuo server di sostenere tali visite senza rallentare.
Google calcola il crawl budget bilanciando due componenti fondamentali: il limite di velocità di scansione (crawl rate limit) e la domanda di scansione (crawl demand). Il limite di velocità serve a preservare la stabilità del tuo hosting: se il server risponde lentamente o restituisce errori, Google ridurrà il ritmo delle visite per non danneggiare gli utenti reali. La domanda di scansione dipende invece dalla notorietà del portale, dall’autorevolezza dei link esterni e dalla frequenza con cui pubblichi nuovi contenuti o aggiorni quelli esistenti.
Considera un grande blog WordPress o un e-commerce che gestisce decine di migliaia di articoli con molteplici filtri di ricerca e categorie sovrapposte. Se il sito genera automaticamente innumerevoli URL secondari per ogni combinazione di parametri (come ordine di prezzo, colore o paginazioni inutili), Googlebot potrebbe consumare tutto il budget a sua disposizione scansionando pagine duplicate o vuote, ritardando di giorni o settimane l’indicizzazione dei nuovi articoli o dei prodotti appena lanciati. Ottimizzare il file robots.txt e l’alberatura dei link interni garantisce che il bot visiti solo le pagine di reale valore.
L’equivoco più frequente è credere che il crawl budget rappresenti una preoccupazione quotidiana per chi possiede un normale sito web o un blog personale con qualche centinaio di articoli. Per siti di scala medio-piccola, Google dispone di risorse più che abbondanti per scansionare ogni pagina senza particolari accorgimenti. L’errore reale consiste piuttosto nell’accumulare collegamenti interrotti che generano errori 404 o lunghe catene di reindirizzamenti 301, che fanno sprecare inutilmente richieste al crawler senza apportare benefici SEO.
Monitorare e razionalizzare il crawl budget è indispensabile per grandi testate editoriali, portali di annunci ed e-commerce con cataloghi estesi e frequenti cambi di disponibilità. Se il tuo sito ha dimensioni contenute, ti basterà ospitarlo su un hosting performante, mantenere una sitemap XML aggiornata e strutturare menu chiari per consentire ai motori di esplorare ogni contenuto in modo fluido e costante.
Fonte: developers.google.com