Come risolvere "Scoperta - Attualmente non indicizzata" in Google Search Console

La documentazione di Google definisce lo stato Scoperto - attualmente non indicizzato nel rapporto Copertura dell'indice di Google come:

La pagina è stata trovata da Google, ma non è stata ancora scansionata. In genere, Google voleva eseguire la scansione dell'URL, ma ci si aspettava che ciò sovraccaricasse il sito; pertanto Google ha riprogrammato la scansione. Questo è il motivo per cui la data dell'ultima scansione è vuota nel rapporto.

fonte: rapporto sulla copertura dell'indice di Google

Tomek Rudzki ha ricercato i problemi di indicizzazione più comuni mostrati in Google Search Console e ha scoperto che Scoperto - attualmente non indicizzato è uno di questi, proprio accanto a:

• contenuto duplicato,
• Scansionato: attualmente non indicizzato,
• Soft 404, e
• Problemi di scansione.

Affrontare il problema scoperto - attualmente non indicizzato dovrebbe essere una priorità in quanto può interessare molte pagine e indica che alcune delle tue pagine non sono state scansionate e successivamente indicizzate.

Questo problema può essere causato da molti fattori che, se non risolti, possono portare alcune pagine a non trovare mai la loro strada nell'indice di Google. E se questo è il caso, non ti porteranno traffico organico e non genereranno conversioni.

Questo articolo è un'analisi approfondita della sezione Scoperto - attualmente non indicizzato del rapporto Copertura dell'indice di Search Console, incentrato sull'analisi del motivo per cui le tue pagine vengono visualizzate e su come risolvere eventuali problemi che potrebbero causarlo.

Dove trovare lo stato Scoperto – attualmente non indicizzato

Scoperto: attualmente non indicizzato è uno dei tipi di problemi nel rapporto sulla copertura dell'indice in Google Search Console. Il rapporto mostra gli stati di scansione e indicizzazione delle pagine del tuo sito web.

Scoperto: attualmente non indicizzato appare nella categoria Esclusi , che include gli URL che Google non ha indicizzato ma, dal punto di vista di Google, questa situazione non è il risultato di un errore.

Quando utilizzi Google Search Console, puoi fare clic sul tipo di problema per visualizzare un elenco di URL interessati.

Potresti scoprire che intendevi mantenere alcuni degli URL segnalati fuori dall'indice, e va bene. Ma dovresti monitorare le tue pagine preziose : se qualcuna di esse non è stata indicizzata, controlla quali problemi ha riscontrato Google.

Scoperta, scansione e indicizzazione

Prima di passare alle caratteristiche di Discovered – attualmente non indicizzato e di affrontare questo problema, chiariamo cosa serve per classificare un URL su Google:

• Google deve trovare un URL prima che possa essere scansionato. Gli URL vengono più comunemente scoperti seguendo collegamenti interni o esterni o mappe del sito XML, che dovrebbero contenere tutte le pagine che dovrebbero essere indicizzate.
• Con pagine striscianti, Google visite loro e controlla il loro contenuto. Google non ha le risorse per eseguire la scansione di tutte le pagine che trova e questo fatto è alla base di molti problemi di scansione riscontrati dai siti.
• Durante l' indicizzazione , Google estrae il contenuto delle pagine e ne valuta la qualità. Essere indicizzati è necessario per apparire nei risultati di ricerca e ottenere traffico organico da Google. Le pagine indicizzate vengono valutate in base a numerosi fattori di ranking , determinando il modo in cui vengono classificate in risposta alle query di ricerca immesse dagli utenti in Google.

Essere indicizzati da Google è difficile a causa della capacità limitata delle sue risorse, del Web in continua crescita e perché Google si aspetta un certo livello di qualità dalle pagine che indicizza.

Molti fattori tecnici e relativi ai contenuti possono avere un ruolo nel fatto che le tue pagine non vengano scansionate o indicizzate.

Esistono soluzioni per aumentare le possibilità di essere indicizzati. Questi includono:

• Avere una strategia di scansione che dia priorità alla scansione di parti preziose del tuo sito web,
• Implementazione del collegamento interno,
• Creazione di una mappa del sito accurata contenente tutti gli URL che dovrebbero essere indicizzabili e
• Scrivere contenuti di valore e di alta qualità.

Assicurati di consultare la documentazione di Google: c'è una sezione sulle linee guida da seguire per rendere più facile per Google la scansione e l'indicizzazione delle tue pagine.  

Come utilizzare la sezione del rapporto Scoperto - attualmente non indicizzato

Lo stato Discovered - attualmente non indicizzato è il posto dove andare per tenersi aggiornati su eventuali problemi di scansione.

Dopo aver trovato gli URL in questa sezione, verifica in primo luogo se devono essere scansionati.  

In tal caso, prova a individuare un pattern in quali URL vengono visualizzati nel rapporto . Questo ti aiuterà a identificare quali aspetti di questi URL potrebbero causare il problema.

Ad esempio, il problema potrebbe riguardare gli URL in una specifica categoria di prodotti, pagine con parametri o con una struttura specifica, facendoli considerare tutti contenuti scarsi.

Quando la sezione Scoperto - attualmente non indicizzato richiede un'azione

URL in Discovered: attualmente non indicizzati non sempre richiedono di apportare modifiche al tuo sito web.

Vale a dire, non devi fare nulla se:

• Il numero di URL interessati è basso e rimane stabile nel tempo, oppure
• Il rapporto contiene URL che non devono essere sottoposti a scansione o indicizzazione, ad esempio quelli con tag canonici o "noindex" o quelli a cui è stata impedita la scansione nel file robots.txt.

Ma è comunque fondamentale avere sotto controllo la sezione di questo rapporto.

Gli URL richiedono la tua attenzione se il loro numero aumenta o sono costituiti da URL preziosi che ti aspetti di classificare e portarti un traffico organico significativo.

L'impatto di Discovered: attualmente non indicizzato su siti Web piccoli o grandi

L'impatto della sezione Discovered - attualmente non indicizzata può variare a seconda delle dimensioni di un sito web.

Se hai un sito web più piccolo, che di solito non supera i 10.000 URL, e le tue pagine hanno contenuti unici e di buona qualità, lo stato Scoperto, attualmente non indicizzato, spesso si risolverà da solo. Google potrebbe non riscontrare problemi ma semplicemente non ha ancora eseguito la scansione degli URL elencati.

I siti di piccole dimensioni in genere non si occupano di problemi di crawl budget e può emergere un aumento delle pagine segnalate a causa di problemi di qualità dei contenuti o di una struttura di collegamento interna scadente.

Lo stato Scoperto - attualmente non indicizzato può essere particolarmente grave per siti di grandi dimensioni (oltre 10.000 URL) e applicarsi a migliaia o addirittura milioni di URL.

In Onely, abbiamo riscontrato che i siti Web contenenti più di 100.000 URL in genere soffrono di problemi di scansione , spesso causati da budget di scansione sprecato.

Questi problemi si verificano in genere sui siti Web di e-commerce . Spesso hanno contenuti duplicati o scarsi o contengono prodotti esauriti o scaduti. Tali pagine di solito non hanno la qualità necessaria per entrare nella coda di indicizzazione di Google, per non parlare della scansione.

Quando si avvia un sito di grandi dimensioni

Se stai solo avviando un sito Web di grandi dimensioni, puoi semplificare il lavoro di Googlebot sin dall'inizio.

Se vuoi avviare un sito di grandi dimensioni, non dovresti avviare immediatamente l'intera struttura se contiene molte pagine vuote o non terminate che verranno aggiornate solo in seguito. Googlebot si imbatterà in queste pagine e le riterrà di bassa qualità, il che comporta il rischio di avere un crawl budget basso fin dall'inizio. E questa situazione potrebbe richiedere anche anni per essere risolta.

È molto meglio aggiungere contenuti man mano che li pubblichi regolarmente. In questo modo, Googlebot ottiene un'impressione positiva della tua qualità fin dall'inizio.

Prima del lancio, dovresti sempre disporre di una strategia di indicizzazione e scansione e sapere quali pagine dovrebbero essere visitate da Google.

Cause dello stato scoperto: stato attualmente non indicizzato e come risolverli

In genere, gli URL vengono classificati come scoperti, al momento non indicizzati a causa di problemi di qualità dei contenuti, collegamenti interni o budget di scansione.

Consideriamo il motivo per cui potresti visualizzare le tue pagine con questo stato e come risolverlo.

Problemi di qualità dei contenuti

Google ha soglie di qualità che desidera che le pagine soddisfino poiché non può eseguire la scansione e indicizzare tutto sul Web.

Google potrebbe visualizzare alcune pagine del tuo dominio come se non valesse la pena scansionarle e saltarle, dando la priorità ad altri contenuti più preziosi. Di conseguenza, questi URL possono essere contrassegnati come scoperti, al momento non indicizzati.

Per iniziare a risolvere questo problema, esamina l'elenco degli URL interessati e assicurati che ogni pagina contenga contenuti univoci. Il contenuto dovrebbe soddisfare l'intento di ricerca dell'utente e risolvere un problema specifico.

Ti consiglio di consultare le Linee guida per la valutazione della qualità che Google segue durante la valutazione dei siti Web: ti aiuteranno a capire cosa sta cercando Google nei contenuti trovati sul Web.

Allo stesso tempo, non dimenticare che non dovresti avere tutte le tue pagine indicizzate.  

Alcune pagine di bassa qualità non dovrebbero essere indicizzabili , ad esempio:

• Contenuti obsoleti (come vecchi articoli di notizie),
• Pagine generate da una casella di ricerca all'interno di un sito Web,
• Pagine generate applicando filtri,
• contenuto duplicato,
• Contenuti generati automaticamente,
• Contenuto generato dall'utente.

È meglio impedire che tali sezioni vengano scansionate e indicizzate nel file robots.txt.  

Durante l' orario di ufficio SEO del 31 dicembre 2021, John Mueller ha discusso di apportare modifiche alla qualità di un sito Web come modo per affrontare Discovered, attualmente non indicizzato:

[…] Apportare modifiche di qualità maggiori su un sito Web richiede un po' di tempo prima che i sistemi di Google lo rilevino. […] Questo è qualcosa di più sulla falsariga di diversi mesi e non di diversi giorni. […] Poiché ci vuole così tanto tempo per ottenere le modifiche alla qualità, la mia raccomandazione sarebbe di non apportare piccole modifiche e aspettare e vedere se è abbastanza buono, ma piuttosto assicurarsi davvero che, se stai apportando modifiche significative alla qualità, […] è davvero un buon cambio di qualità […]. Non vuoi aspettare qualche mese e poi decidere: "Oh, sì, in realtà ho bisogno di cambiare anche altre pagine".

fonte: John Mueller

Problemi di collegamento interno

Googlebot segue i link interni al tuo sito per scoprire altre pagine e capire le connessioni tra di esse. Pertanto, assicurati che le tue pagine più importanti siano frequentemente collegate internamente.

Martin Splitt ha parlato del motivo per cui strutture di collegamento errate potrebbero essere problematiche nel webinar Rendering SEO :

[…] Se abbiamo un migliaio di URL da te, che sono tutti solo nella mappa del sito e non li abbiamo visti in nessuna delle altre pagine che abbiamo scansionato, potremmo essere tipo "Non sappiamo quanto sia importante questo è davvero ' […]. Invece di averlo solo nella mappa del sito, collegalo da altri punti del tuo sito Web in modo che quando eseguiamo la scansione di queste pagine, vediamo 'Aha! Quindi questa pagina, e questa pagina e questa pagina puntano tutte a questa pagina di prodotto, quindi forse è un po' più importante di quest'altro prodotto che vive solo nella mappa del sito' […].

fonte: Martin Splitt

Un corretto collegamento interno ruota attorno al collegamento delle tue pagine per creare una struttura logica che aiuti i motori di ricerca e gli utenti a seguire la gerarchia del tuo sito. Il collegamento interno è anche associato al modo in cui è strutturata l'architettura del tuo sito.

Aiutare i motori di ricerca a trovare e assegnare un'importanza adeguata alle tue pagine include:

• Decidere quali sono i tuoi contenuti fondamentali e assicurarti che siano collegati da altre pagine,
• Aggiunta di collegamenti contestuali ai tuoi contenuti,
• Collegare le pagine in base alla loro gerarchia, ad esempio collegando le pagine principali alle pagine secondarie e viceversa, o includendo collegamenti nella navigazione del sito,
• Evitare di inserire collegamenti in modo spam e ottimizzare eccessivamente il testo di ancoraggio,
• Incorporando collegamenti a prodotti o post correlati.

Puoi anche leggere questo articolo sul miglioramento della struttura dei link interni.  

Budget di scansione

Il budget di scansione è il numero di pagine che Googlebot può e vuole sottoporre a scansione su un sito web.

Il budget di scansione di un sito è determinato da:

• Limite della velocità di scansione: quanti URL può eseguire la scansione di Google, che è adattato alle capacità del tuo sito web,
• Domanda di scansione: quanti URL desidera scansionare Google, in base all'importanza che considera gli URL, alla loro popolarità e alla frequenza con cui vengono aggiornati.

Sprecare il crawl budget può portare a una scansione inefficiente del tuo sito web da parte dei motori di ricerca . Di conseguenza, alcune parti fondamentali del tuo sito Web potrebbero essere saltate.

Molti fattori possono causare problemi di crawl budget, tra cui:

• Contenuti di bassa qualità,
• Scarsa struttura di collegamento interna,
• Errori nell'implementazione dei reindirizzamenti,
• Server sovraccaricati,
• Siti web pesanti.

Prima di ottimizzare il budget di scansione, dovresti esaminare esattamente come Googlebot esegue la scansione del tuo sito.  

Puoi farlo accedendo a un altro strumento utile in Search Console: il rapporto sulle statistiche di scansione. Inoltre, controlla i log del tuo server per informazioni dettagliate su quali risorse ha scansionato Googlebot e cosa ha saltato.

Di seguito sono riportati 5 aspetti che dovresti esaminare per ottimizzare il tuo budget di scansione e fare in modo che Google esegua la scansione di alcune delle pagine scoperte - attualmente non indicizzate sul tuo sito:

Contenuti di bassa qualità

Se Googlebot può eseguire liberamente la scansione di pagine di bassa qualità, potrebbe non avere le risorse per accedere alle cose di valore del tuo sito web.

Per impedire ai crawler dei motori di ricerca di eseguire la scansione di determinate pagine, applica le direttive corrette nel file robots.txt.

Dovresti anche assicurarti che il tuo sito web disponga di una mappa del sito correttamente ottimizzata che aiuti Googlebot a scoprire pagine uniche e indicizzabili del tuo sito e a notare le modifiche su di esse.

La mappa del sito dovrebbe contenere:

• URL che rispondono con 200 codici di stato,
• URL senza meta tag robot che ne impediscano l'indicizzazione e
• Solo le versioni canoniche delle tue pagine.

Scarsa struttura di collegamento interna

Se Google non trova abbastanza link che arrivano a un URL, potrebbe saltare la scansione a causa di segnali insufficienti che ne indicano l'importanza.

Segui le mie linee guida delineate nel sottocapitolo "Problemi di collegamento interni".

Errori nell'implementazione dei reindirizzamenti

L'implementazione dei reindirizzamenti può essere vantaggiosa per il tuo sito, ma solo se eseguita correttamente. Ogni volta che Googlebot incontra un URL reindirizzato, deve inviare una richiesta aggiuntiva per raggiungere l'URL di destinazione, che richiede più risorse.

Assicurati di attenerti alle migliori pratiche per l'implementazione dei reindirizzamenti. Puoi reindirizzare utenti e bot da 404 pagine di errore che sono state collegate da fonti esterne a pagine di lavoro, il che ti aiuterà a preservare i segnali di ranking.

Assicurati di non creare collegamenti a pagine reindirizzate , tuttavia, aggiornale in modo che puntino alle pagine corrette. È inoltre necessario evitare loop e catene di reindirizzamento.

Problemi con il server

Google potrebbe riscontrare problemi di scansione perché il tuo sito sembrava essere sovraccarico. Ciò si verifica perché la velocità di scansione, che incide sul budget di scansione, viene adattata alle capacità del server.

In un webinar su Rendering SEO , Martin Splitt ha discusso i problemi del server relativi alla scansione delle pagine di Google:

[…] Una cosa che vedo accadere abbastanza spesso è che i server danno errori intermittenti - in particolare, 500 qualcosa - e qualsiasi cosa a cui il tuo server risponde con un 500, 501, 502, 504, qualunque cosa, significa che il tuo server dice "Aspetta , ho un problema qui' […], e potrebbe cadere da un momento all'altro, quindi stiamo facendo marcia indietro. Ogni volta che stiamo facendo marcia indietro e il tuo server risponde positivamente, di solito stiamo aumentando di nuovo lentamente. Immagina di avere una risposta di 500 qualcosa ogni giorno.

Lo stiamo vedendo, ci stiamo tirando un po' indietro, ci stiamo riprendendo – lo stiamo vedendo di nuovo […]. Dovresti esaminare se il tuo server risponde negativamente.

fonte: Martin Splitt

Verifica con il tuo provider di hosting se ci sono problemi con il server sul tuo sito.

I problemi del server possono anche essere causati da scarse prestazioni web: scopri di più leggendo il nostro articolo sulle prestazioni web e il crawl budget.  

Siti web pesanti

I problemi di scansione possono essere causati da alcune pagine troppo pesanti. Google potrebbe semplicemente non disporre di risorse sufficienti per eseguire la scansione e il rendering.

Ogni risorsa che Googlebot deve recuperare per visualizzare la tua pagina viene conteggiata nel tuo budget di scansione. In questo caso, Google vede una pagina ma la spinge ulteriormente nella coda di priorità.

Dovresti ottimizzare i file JavaScript e CSS del tuo sito per ridurre l'impatto negativo del tuo codice.

John Mueller sull'indirizzamento di Discovered - attualmente non indicizzato

Durante l'orario di ufficio SEO, a John Mueller è stato chiesto di risolvere il problema di circa il 99% degli URL su un sito Web bloccato nella sezione del rapporto Scoperto - attualmente non indicizzato.

Le raccomandazioni di John ruotavano attorno a tre passaggi principali:

[…] Prima di tutto forse guarderei […] che non stai generando accidentalmente URL con pattern URL diversi, […] cose come i parametri che hai nel tuo URL, maiuscolo minuscolo, tutte queste cose possono portare per duplicare essenzialmente il contenuto . E se abbiamo scoperto molti di questi URL duplicati, potremmo pensare di non aver effettivamente bisogno di eseguire la scansione di tutti questi duplicati perché sono già presenti alcune variazioni di questa pagina […]. Assicurati che dal collegamento interno sia tutto a posto. Che potremmo eseguire la scansione di tutte queste pagine del tuo sito Web e arrivare alla fine. Puoi testarlo approssimativamente usando uno strumento crawler o qualcosa come Screaming Frog o Deep Crawl . […] Ti diranno essenzialmente se sono in grado di eseguire la scansione del tuo sito Web e mostrarti gli URL trovati durante la scansione. Se la scansione funziona, mi concentrerei fortemente sulla qualità di queste pagine . Se parli di 20 milioni di pagine e il 99% di esse non viene indicizzato, stiamo indicizzando solo una piccola parte del tuo sito web. […] Forse ha senso dire: 'E se ridussi il numero di pagine della metà o forse anche […] al 10% del conteggio corrente'. […] Generalmente puoi migliorare un po' la qualità del contenuto lì, avendo contenuti più completi su queste pagine. E per i nostri sistemi, è un po' più facile guardare queste pagine e dire: 'Beh, queste pagine […] sembrano davvero molto buone. Dovremmo andare a strisciare e indicizzare molto di più'.

fonte: John Mueller

Scoperto - attualmente non indicizzato rispetto a scansionato - attualmente non indicizzato

Questi due stati comunemente si confondono e, sebbene siano collegati, significano cose diverse.

In entrambi i casi, gli URL non sono stati indicizzati ma, con Scansionato, al momento non indicizzato, Google ha già visitato la pagina . Con Discovered – attualmente non indicizzato, la pagina è stata trovata da Google ma non è stata scansionata.

Scansionato: l'indicizzazione corrente è spesso causata da un ritardo nell'indicizzazione, problemi di qualità del contenuto, problemi di architettura del sito o una pagina potrebbe essere stata deindicizzata.

Abbiamo anche un articolo dettagliato che spiega come correggere Scansionato, al momento non indicizzato.

Avvolgendo

Scoperto: attualmente non indicizzato tende a essere causato da problemi di qualità della pagina e budget di scansione.

Risolvere questi problemi e aiutare Google a scansionare le tue pagine in modo efficiente e accurato in futuro potrebbe richiedere che tu esamini molti aspetti delle tue pagine e le ottimizzi.

Ecco alcune cose principali che possono aiutare a evitare problemi con le pagine scoperte - attualmente non indicizzate:

• Utilizza robots.txt per impedire a Googlebot di eseguire la scansione di pagine di bassa qualità, concentrandosi su contenuti duplicati, ad esempio pagine generate da filtri o caselle di ricerca sul tuo sito.
• Prenditi del tempo per creare una mappa del sito adeguata che Google possa utilizzare per scoprire le tue pagine.

• Mantieni intatta l'architettura del tuo sito e assicurati che le tue pagine cruciali siano collegate internamente.
• Avere una strategia di indicizzazione in atto per dare la priorità alle pagine che sono più preziose per te.
• Ottimizza tenendo presente il crawl budget.