Budget di scansione di Google per SEO, SMETTI di indovinare! (Informazioni reali qui)

Pubblicato: 2021-07-13

Se vuoi che le pagine del tuo sito web vengano indicizzate rapidamente, devi capire il significato del crawl budget per la SEO.

Influisce davvero su tutti i siti grandi e piccoli. Ma spesso, i siti di grandi dimensioni, i siti con errori tecnici o i siti con funzionalità di generazione di URL univoche devono davvero prestare attenzione qui.

Ma aspetta!

Sto superando me stesso. Iniziamo un po' più lentamente.

Tutto quello che devi sapere su un budget di scansione per SEO

Tutto quello che devi sapere su un budget di scansione per SEO

Il concetto di un budget di ricerca per indicizzazione una volta era un po' un gioco di ipotesi tra i SEO. Tuttavia, grazie a un recente post di Gary Illyes di Google, ora siamo tutti molto più informati.

In questo articolo tratteremo tutto ciò che è necessario sapere su un budget di scansione e offriremo alcuni suggerimenti per l'ottimizzazione.

Che cos'è un budget di scansione?

Prima di poter comprendere il concetto di crawl budget per la SEO, devi prima familiarizzare con un altro termine: Googlebot.

Googlebot è il nome dato all'agente automatico che esegue la scansione del tuo sito alla ricerca di pagine da aggiungere al suo indice. Puoi pensarlo come un navigatore web digitale.

Poiché ci sono miliardi e miliardi di pagine sul Web, non sarebbe pratico per Googlebot eseguirne la scansione ogni secondo di ogni giorno. Ciò consumerebbe preziosa larghezza di banda online, con conseguente rallentamento delle prestazioni dei siti Web.

Quindi Google alloca un budget di scansione per ogni sito web. Tale budget determina la frequenza con cui Googlebot esegue la scansione del sito alla ricerca di pagine da indicizzare.

Google definisce la missione del budget di scansione come segue: "Dare priorità a cosa scansionare, quando e quante risorse il server che ospita il sito Web può allocare alla scansione è più importante per i siti Web più grandi o quelli che generano automaticamente pagine in base ai parametri URL , per esempio."

Perché l'ottimizzazione del budget di scansione è importante per la SEO?

La risposta a questo è fondamentale e semplice. Migliore è un crawl budget ottimizzato per indicizzare una pagina, più alto sarà il ranking su Google.

È fondamentale assicurarsi che se si dispone di un sito di grandi dimensioni, in particolare di un eCommerce, o si sono aggiunte molte pagine o si dispone di molte pagine reindirizzate, si disponga della capacità di crawl budget per gestirlo.

Questo non dovrebbe essere una grande preoccupazione, tuttavia, poiché Google esegue la scansione delle pagine indicizzate in modo efficiente, ma è certamente qualcosa di cui essere consapevoli.

Limite velocità di scansione

Il limite della velocità di scansione è leggermente diverso dal budget di scansione. Definisce quante connessioni simultanee utilizza Googlebot per eseguire la scansione di un sito e il tempo che attende prima di recuperare un'altra pagina.

Ricorda, Google è tutto incentrato sull'esperienza dell'utente. Il motivo per cui il suo bot utilizza un limite di velocità di scansione è impedire che un sito venga superato da agenti automatici a tal punto che gli utenti umani hanno problemi a caricare il sito sui propri browser.

cambia velocità di scansione

Di seguito sono riportati un paio di fattori che influiscono sulla velocità di scansione:

  • Velocità del sito Web : se un sito risponde rapidamente a Googlebot, Google aumenterà la velocità del limite di scansione. D'altra parte, Google ridurrà la velocità di scansione per i siti Web lenti.
  • Impostazione in Search Console : i webmaster possono anche impostare il limite di scansione in Search Console. Sebbene non possano aumentare la velocità di scansione, possono ridurla se ritengono che Google stia eseguendo troppa scansione sul loro server.

Tieni presente che, mentre una velocità di scansione sana potrebbe far indicizzate le pagine più velocemente, una velocità di scansione più elevata non è un fattore di ranking.

impostazioni della velocità di scansione

Domanda di scansione: budget di scansione per SEO

Anche se il limite di scansione non viene raggiunto, Google potrebbe ridurre il numero di pagine sottoposte a scansione dal bot. La riduzione dell'attività del bot viene definita riduzione della domanda di scansione.

Cosa influenza la domanda di scansione? Ci sono un paio di cose:

  • Popolarità : le pagine più popolari (ovvero, sono molto condivise sui social media e ricevono collegamenti da altri siti Web) tendono a essere sottoposte a scansione più spesso.
  • Staleness : Google tenta di impedire che gli URL diventino obsoleti nel suo indice.

Inoltre, gli eventi a livello di sito (come lo spostamento del sito) potrebbero comportare un aumento della domanda di scansione. Questo perché Google deve reindicizzare il contenuto con i nuovi URL.

Cosa influenza il budget di scansione? – Budget di scansione per SEO

Fondamentalmente, il budget di scansione è una combinazione della velocità di scansione e della domanda di scansione. Secondo Illyes, il budget di scansione è il numero di URL che Googlebot può e vuole scansionare.

Fortunatamente, Google ha identificato esattamente quali fattori influenzano il budget di scansione. Eccone un elenco, ordinato in ordine di importanza:

  • Parametri URL : capita spesso che un URL di base (ad esempio, "http://mysite.com") aggiunto con parametri (ad esempio, "http://mysite.com?id=3") restituisca esattamente lo stesso pagina. Questo tipo di configurazione potrebbe comportare il conteggio di numerosi URL univoci per il budget di scansione anche se tutti questi URL restituiscono la stessa pagina.
  • Contenuti duplicati : in alcuni casi, gli URL possono essere totalmente univoci senza parametri di richiesta e restituire comunque lo stesso contenuto. Ciò influirà negativamente anche sul budget di scansione.
  • Pagine di errore soft: anche le pagine di errore soft 404 influiscono sul budget di scansione. Fortunatamente, vengono segnalati anche nella Search Console.
  • Pagine compromesse : i siti che sono stati vittime di hacker possono vedere il loro budget di scansione limitato.
  • Spazi infiniti : i siti che hanno collegamenti illimitati (come i calendari in cui gli utenti possono fare clic su un giorno, un mese o un anno) scopriranno che Googlebot spreca il suo budget di scansione su collegamenti che potrebbero non essere importanti.
  • Contenuti di bassa qualità : se il sito è di scarsa qualità, è probabile che Google limiti il ​​budget di scansione.

Come ottimizzare il budget di scansione

Ora che hai familiarità con il concetto di crawl budget per la SEO, è il momento di ottimizzare il tuo sito di conseguenza. Ecco diversi modi per farlo.

1. Usa strumenti gratuiti

– Sia Google Search Console che Bing Webmaster Tools forniscono numerose informazioni sui problemi che potrebbero influire negativamente sul budget di scansione. Assicurati di usarli e configurarli per tutti i siti che stai monitorando.

Quindi, controlla di tanto in tanto con questi strumenti per vedere se i tuoi siti stanno riscontrando problemi. Ad esempio, se Search Console segnala che uno dei tuoi siti presenta alcuni errori soft 404, assicurati di risolvere immediatamente il problema.

Ricorda, sia Google che Microsoft vogliono che tu abbia successo online. Ecco perché forniscono questi strumenti gratuitamente.

2. Assicurati che le tue pagine siano scansionabili

– Si è tentati di sfruttare le meraviglie della tecnologia moderna a tal punto da rendere difficile per Googlebot la scansione del tuo sito. Resisti a quella tentazione.

Ad esempio, la tecnologia come AJAX (Asynchronous JavaScript and XML) carica il contenuto in modo che gli utenti non debbano aggiornare la pagina. Tuttavia, il contenuto caricato da AJAX potrebbe non essere accessibile da Googlebot. Questo è un argomento importante che va oltre i budget di scansione SEO, quindi lo salveremo per un altro post. Ma fondamentalmente, devi avere una base HTML.

Inoltre, utilizza una mappa del sito e assicurati che sia sempre aggiornata. Fortunatamente, i sistemi di gestione dei contenuti come WordPress lo rendono facile.

3. Limita i reindirizzamenti

– Ogni volta che una delle pagine del tuo sito reindirizza a un'altra pagina (con un reindirizzamento 301 o 302), utilizza una piccola parte del tuo budget di scansione. Ciò significa che se hai molti reindirizzamenti, il tuo budget di scansione potrebbe esaurirsi prima che Googlebot esegua la scansione della pagina che desideri indicizzare.

4. Elimina i collegamenti interrotti

– Se hai molti link interrotti sul tuo sito, dovrai ripulirli se vuoi massimizzare il tuo budget di scansione.

Fortunatamente, è facile trovare collegamenti interrotti con uno strumento come Screaming Frog. Inoltre, assicurati di controllare di tanto in tanto con Google Search Console e Bing Webmaster Tools.

5. Evitare di utilizzare i parametri URL URL

– Come abbiamo visto, puoi consumare una parte significativa del tuo budget di scansione con parametri URL diversi che rimandano alla stessa pagina. Puoi eliminare questo problema, ovviamente, eliminando completamente i parametri URL.

Ad esempio, se stai gestendo un sito di e-commerce, potresti utilizzare il seguente URL per visualizzare un prodotto specifico: http://mysite.com/shop?productId=5. Invece, cambia quell'URL in http://mysite.com/shop/productId5, quindi qualcosa del genere. In tal modo, eliminerai almeno un parametro di richiesta.

Se devi utilizzare i parametri di richiesta, assicurati di dire a Google come gestire tali parametri nella Search Console. Basta fare clic su "Scansione" nella barra laterale di sinistra e selezionare "Parametri URL" dal menu che appare. In quella pagina, puoi modificare i tuoi suggerimenti e aggiungere nuovi parametri in modo che Google non indicizzi le pagine duplicate. Questo cambierà il tuo budget di scansione per la SEO. Ma fai molta attenzione qui, il parametro sbagliato può distruggere il tuo sito web.

6. Usa il collegamento interno

– È probabilmente il caso che uno degli aspetti più trascurati della SEO oggi sia il collegamento interno. Tieni presente, tuttavia, che in genere è meglio collegare internamente alle tue pagine più redditizie. In questo modo, Googlebot vedrà quelle pagine più frequentemente.

7. Usa collegamenti esterni

– Uno studio recente mostra che esiste una correlazione tra i link esterni e il numero di volte in cui Googlebot esegue la scansione di un sito. Ecco perché è importante ottenere collegamenti esterni che puntano al tuo sito.

Esaminare tutti i modi in cui è possibile creare collegamenti esterni va oltre lo scopo di questo articolo. Visualizza questo elenco completo di strategie di backlinking per maggiori informazioni.

8. Migliora la velocità del tuo server

– È importante fare alcune ricerche pre-vendita prima di selezionare un provider di hosting. Questo perché vuoi un host che risponda molto rapidamente alle richieste del server.

Più velocemente il tuo server risponde a una richiesta di pagina, più pagine verranno scansionate da Googlebot.

9. Metti nella cache le tue pagine

– A proposito di velocità, è davvero un'ottima idea memorizzare nella cache le tue pagine web. Si caricheranno più velocemente non solo per gli utenti, ma anche per Googlebot, aumentando il limite della velocità di scansione del tuo sito.

Fortunatamente, è facile memorizzare nella cache le pagine su una piattaforma WordPress con il plug-in W3 Total Cache o il plug-in Super Cache.

10. Ottimizza la velocità di caricamento della pagina

– Una volta che hai messo il tuo sito su un server veloce e hai memorizzato nella cache le tue pagine, potresti non aver ancora finito con l'ottimizzazione della velocità. Vai allo strumento PageSpeed ​​Insights e scopri cosa pensa Google della velocità della tua pagina.

Potresti scoprire che ci sono ancora alcuni problemi sul tuo sito che impediscono il caricamento delle tue pagine il più rapidamente possibile. Ad esempio, potresti avere JavaScript o CSS che bloccano la visualizzazione sulle tue pagine.

test di velocità del sito

Fortunatamente, Google non solo ti dice cosa c'è che non va nel tuo sito, ma anche come risolvere i problemi che ha identificato.

Avvolgere il budget di scansione per la SEO

Ora sai qualcosa in più sui budget di scansione, sull'ottimizzazione per i motori di ricerca e su come influisce sul tuo sito.

Perché non dedicare del tempo oggi a mettere in atto un piano d'azione per ottimizzare il budget di scansione? Questo può essere davvero utile per i siti Web di grandi dimensioni e spesso porta a risolvere molti altri problemi al di fuori della scansione.