Crawl budget o semplice numero di pagine? Quando la scala diventa un problema SEO
18 Settembre 2026 · SEO
Che cos’è Crawl budget
È la combinazione tra capacità di scansione e domanda di scansione. Descrive quanto Googlebot può e vuole visitare un sito in un periodo, soprattutto nei siti grandi o con molti URL dinamici.
Il crawl budget è utile come lente diagnostica quando statistiche di scansione, log server e tempi di aggiornamento mostrano che Googlebot dedica risorse a URL secondari mentre quelli importanti vengono visitati tardi. Senza questi segnali, richiamarlo rischia di attribuire alla scansione problemi che appartengono invece a contenuti, linking o indicizzazione.
Che cos’è Numero di pagine o URL
È una misura inventariale. Un sito può avere molte pagine pulite e stabili oppure poche pagine moltiplicate da parametri e faccette. Il numero da solo non descrive comportamento del crawler né qualità.
Il conteggio degli URL è adatto a censire l’inventario, stimare l’ampiezza di una migrazione e individuare famiglie generate dal CMS. Non può però stabilire quanta scansione venga sprecata: per farlo occorre distinguere URL dichiarati, raggiungibili, richiesti da Googlebot e realmente destinati all’indice.
La differenza decisiva
La scala conta quando interagisce con velocità, cambi, duplicazioni e architettura. Non esiste una soglia universale di pagine oltre la quale il crawl budget diventa automaticamente un problema.
La decisione deve partire da problema, pubblico, dati, capacità organizzativa e rischio. Il nome dello strumento viene dopo.
Confronto operativo
| Criterio | Crawl budget | Numero di pagine o URL | Decisione |
|---|---|---|---|
| Natura | Comportamento del crawler | Dimensione dell’inventario | Non dedurre il primo dal secondo |
| Fattori | Server, qualità, freschezza, duplicati | URL generati o dichiarati | Analizzare pattern |
| Evidenza | Log, statistiche crawl, scoperta | Crawler, CMS, sitemap | Incrociare fonti |
| Problema | URL importanti aggiornati tardi | Molte pagine | Verificare effetto reale |
| Intervento | Ridurre sprechi e migliorare segnali | Tagliare pagine indiscriminatamente | Conservare contenuti utili |
Quando scegliere Crawl budget
- Il sito ha cataloghi, faccette o milioni di URL potenziali.
- Nuovi o aggiornati URL importanti vengono scoperti lentamente.
- I log mostrano richieste concentrate su duplicati, errori o parametri.
- Il server limita la scansione o restituisce errori.
Quando scegliere Numero di pagine o URL
- Serve un inventario per migrazione o content audit.
- Si valutano costi di manutenzione e qualità.
- Il sito è piccolo e non mostra ritardi di scansione.
- Il problema riguarda contenuti sottili o cannibalizzazione, non il crawl.
Quando integrarli
Il numero di URL è un input dell’analisi, non la diagnosi. Va segmentato per template, status, canonical, aggiornamento e valore.
Un content audit può ridurre pagine senza valore; un audit di crawl può ridurre spazi infiniti. Sono attività differenti che possono convergere sulla stessa architettura.
Sequenza di implementazione
1. Inventariare pattern URL e template.. La fase va chiusa con un’evidenza accessibile e una decisione approvata; le eccezioni devono essere registrate.
2. Analizzare log e statistiche di scansione.. La fase va chiusa con un’evidenza accessibile e una decisione approvata; le eccezioni devono essere registrate.
3. Identificare URL prioritari e ritardi reali.. La fase va chiusa con un’evidenza accessibile e una decisione approvata; le eccezioni devono essere registrate.
4. Correggere faccette, link, status e sitemap.. La fase va chiusa con un’evidenza accessibile e una decisione approvata; le eccezioni devono essere registrate.
5. Monitorare distribuzione del crawl e aggiornamento.. La fase va chiusa con un’evidenza accessibile e una decisione approvata; le eccezioni devono essere registrate.
Indicatori da osservare
- Quota di crawl su URL desiderati.
- Richieste a parametri, redirect ed errori.
- Tempo di scoperta e aggiornamento degli URL prioritari.
- Errori e latenza del server per Googlebot.
- Rapporto tra sitemap pulite e URL effettivi.
Gli indicatori vanno interpretati insieme agli esiti commerciali, alla qualità dei dati e ai limiti del campione.
Esempio ragionato
Due siti hanno 100.000 URL. Il primo contiene prodotti unici e linkabili; il secondo genera combinazioni di filtri. Il numero è uguale, ma nel secondo i log mostrano milioni di richieste ripetute.
L’intervento non consiste nel ridurre arbitrariamente l’inventario, ma nel governare faccette, parametri, linking e canonical.
Errori da evitare
- Definire il problema dalla sola dimensione del sito.
- Eliminare contenuti utili per ridurre il numero.
- Usare robots come unica soluzione.
- Ignorare server e log.
- Promettere ranking grazie al solo risparmio di crawl.
Domande frequenti
Quante pagine sono troppe?
Non esiste una soglia valida per tutti. Contano URL potenziali, cambi, qualità e comportamento del crawler.
Un sito piccolo può avere crawl waste?
Sì, ma raramente è il principale limite. Va valutato l’impatto reale.
La sitemap risolve il crawl budget?
Aiuta a indicare URL importanti, ma non corregge duplicati, faccette o server problematici.
Approfondisci il servizio: SEO tecnica.