Rete non raggiungibile: robots.txt non raggiungibile. Google non riesce più a leggere la sitemap ed indicizzare le pagine del sito, risultato: crollo delle visite. Cronaca di un incubo da webmaster. Individuazione e analisi delle cause del problema e (probabile) soluzione.
Il Problema
Negli ultimi giorni ho subito un “tracollo” di visite al presente sito, qualcosa che non avevo mai sperimentato prima. Una riduzione di visite pari a 3/4 del totale è una esperienza a dir poco distruttiva moralmente, soprattutto per chi, come me, dedica molto tempo alla cura del blog. Ovviamente questo si tramuta istantaneamente ad un calo di introiti derivanti da Adsense. Non che siano cifre eclatanti ma, vederle enormemente ridotte risulta comunque uno shock 🙂
In pratica sono venute a mancare la stragrande maggioranza di visite da Google mentre sono rimaste pressoché invariate quelle da altre fonti, informazione acquisita facilmente controllando le statistiche del sito mediante Google Analytics. Ok, c’è un problema. Da cosa dipende?
La Causa
In determinate situazioni non è facile risalire alla natura del problema. Si è quasi nel panico e dal momento che è la prima volta che accade una cosa del genere non avevo la minima idea della strada da intraprendere. Si fanno varie ipotesi e partono le disperate ricerche sul web per trovare altre persone nella stessa situazione e sperando nel contempo di arrivare ad una soluzione immediata.
Forse una penalizzazione da parte di Google? Esame di coscienza riguardante il sito… non ho links a pagamento, non ho contenuti illegali o pornografici e non ho link verso siti considerati “pericolosi”. Ho solo alcuni banner di un circuito alternativo ad Adsense ma questo non dovrebbe rappresentare un problema. Insomma sono sempre stato un webmaster onesto! Ok, sono a posto. Non dovrebbe trattarsi di una penalizzazione, dopotutto non vedo alcuna ragione valida per un tale atto.
Altre ricerche ed altre ipotesi.
Un attacco di hacker alla mia installazione WordPress volto a inserire links e contenuti di dubbia legalità nel mio spazio? Parte il controllo su decine di articoli e sullo spazio web. Nulla, non trovo niente. Dovrei essere pulito.
Qualcuno su altri siti e blogs parla della fantomatica Google Dance, un periodo in cui vengono aggiornati gli indici dei vari server Google con il risultato di veder rimosse temporaneamente le proprie pagine dagli indici del noto motore di ricerca. L’unico consiglio in tal caso è quello di aspettare, 4-5 giorni e si risolve tutto automaticamente. Ma come posso aspettare senza far nulla? E se non dipende da questo?
Mi viene in mente che il giorno 13 aprile (e poi dicono che il 13 non porta sfiga 🙂 ) ho subito un down del sito, risolto grazie ai tecnici dell’assistena del provider solo la mattina del 14. Controllo i report di Analytics e verifico che l’enorme calo di visite parte proprio dal 14. Uhm… strano, cosa è successo? Va a vedere che Google ha fatto un controllo sul mio sito proprio durante il down e non riuscendo ad accedere…
Apro gli Strumenti per Webmasters di Google e… ma porc! CaXXo! Errori nella lettura della sitemap ed una infinità di errori relativi all’indicizzazione delle singole URL. In pratica Google non è riuscito ad accedere in data 13/04 alle mie pagine e le ha prontamente penalizzate nel suo indice.
Peccato non averci pensato prima, penso comunque di aver risolto, gli indico di caricare di nuovo la sitemap ed attendo il responso. Risultato: ancora errori. Google non riesce a leggere il file sitemap.xml sul mio spazio e mi restituisce il seguente messaggio d’errore:
Rete non raggiungibile: robots.txt non raggiungibile
Non siamo stati in grado di effettuare la scansione della tua Sitemap a causa della presenza di un file robots.txt al livello della directory principale del tuo sito che non siamo stati in grado di scaricare. Verifica che sia accessibile o rimuovilo completamente.
Strano, io riesco a vederli perfettamente. Ovviamente qui son partite una infinità di prove, generazione di nuova sitemap (magari è rovinata quella presente sul sito), reinstallazione del plugin di wordpress specifico per questo scopo (magari si è rovinato per qualche strano motivo), caricamento di una vecchia sitemap da una copia di backup dell’intero sito. Il risultato non varia.
Parte un’altra ricerca, in fondo i problemi con internet spesso si risolvono proprio grazie ad Internet. Eh si, non sono solo, la situazione non è comunissima ma è comunque stata manifestata da diverse persone. In particolare sul forum del centro di assistenza di Google ho letto di utenti con casi simili (altre info sono reperibili qui).
Cosa è successo? In pratica c’è stato una sorta di allineamento negativo degli astri 😛 in un momento di elevato carico del server che ospita il mio sito si sono verificati eventi che hanno portato al blocco dello stesso sito e al filtraggio da parte del firewall degli IP responsabili di questo eccessivo traffico, o molto più probabilmente tutti gli IP (tra cui quelli di Google) da cui sono arrivate richieste di connessione.
Così dal giorno 13/04 BigG non riusciva più ad accedere ai miei contenuti ne a caricare la sitemap. Risultato: pagine fortemente penalizzate e conseguente calo di visite (quasi annullate a dire il vero).
Soluzione – Individuato il problema mi rendo conto che la soluzione allo stesso è di competenza del mio provider. Espongo il tutto in un ticket al servizio di aiuto ed assistenza del mio hosting, gli riferisco che probabilmente c’è un blocco sugli IP di Google e indico anche una lista in cui sono elencati questi IP.
Risultato. Ora la Sitemap viene caricata regolarmente e non mi rimane che attendere la corretta indicizzazione delle mie pagine (cosa che probabilmente avverrà entro alcuni giorni).
Quindi devo solo aspettare, sperando che questo “scherzetto” non influisca negativamente sulla “importanza” delle suddette pagine, in fondo dal punto di vista di Google sono rimaste completamente inaccessibili per una settimana circa.
Non mancherò di aggiornare il presente articolo con i tempi della “risoluzione della crisi” e con gli eventuali “danni” in termini di calo di visite.
Aggiornamento: A poco meno di 10 giorni dalla soluzione del problema (rimozione degli IP di Google dalla blacklist del firewall) ho recuperato circa il 50% delle visite. Non è il massimo ma spero che questa tendenza continui ed in un prossimo aggiornamento possa finalmente dire di aver ripristinato completamente le visite al sito.
Conclusioni e Consigli
Problemi del genere purtroppo possono capitare. Il consiglio è quello di controllare con una certa frequenza che tutto ciò che riguarda il sito funzioni come deve. In particolare è bene usare periodicamente gli strumenti per webmasters di Google e, al primo problema, porsi subito delle domande e cercare in rete soluzioni o casi analoghi. Una preziosa fonte di informazioni a riguardo è il centro di assistenza Google di cui ho già parlato poco sopra.
Con questo mio resoconto spero di essere stato utile a qualcuno. Mi sono dilungato forse un po troppo in alcuni punti ma, in determinate situazioni, trovare informazioni più precise e dettagliate possibile può rappresentare una vera ancora di salvezza.
be guarda quella della google dance non è un sciocchezza comuqnue, una volta trovai online un tool che controllava la presenza sui vari server google quindi un qualcosa cè..poi bah…. i misteri di google
A suo tempo feci delle ricerche e, se non erro, trovai alcune informazioni su masternewmedia.org (il blog di robingood).
Comunque vedrai che si risolverà… ti capisco appieno, io quando è successo ci son rimasto malissimo, poi non sapevo cosa fare, da che dipendeva, vedevo crollare il lavoro di un anno e non trovavo soluzione. Giornate infernali…
Il forum di assistenza per i webmaster lo trovi qui: http://www.google.com/support/forum/p/webmasters?hl=it
Troverai altri utenti con casi simili e molte risposte utili, anche da persone “ufficiali” di Google.
Ciao! 🙂
Beh, spero davvero che si tratti di questo. Tu per caso hai letto altre informazioni di casi simili al mio in rete?
Anche perchè, come te, anche io ho giocato pulito pulito. E non c’è cosa più brutta che vedersi penalizzati quando sai che non hai fatto niente di male!
Comunque attenderò con fiducia, e casomai proverò a scrivere nel forum che mi hai segnalato.
Prendo l’occasioni per ringraziarti, e ricambiare i complimenti per il blog.
Fa sempre piacere riceverli, e trovare qualcuno con cui dividere questa fantastica esperienza.
A risentirci presto.
Il problema di indicizzazione in molti casi è temporaneo, scompaiono le pagine da Google per alcuni gg salvo poi ritrovarle nelle stesse posizioni poco dopo. Da quanto ho letto dipende da operazioni interne per la sincronizzazione delle informazioni tra i vari server Google. Purtroppo in questo caso non si può far altro che aspettare.
Nel mio caso sono rimasto per una settimana circa inaccessibile dallo spider di Google. Incredibile calo di visite protratto nel tempo. C’è voluto più di un mese per recuperarne circa l’80%. Attualmente sono oltre i livelli di “prima della crisi” ma probabilmente dipende dai nuovi contenuti.
Puoi comunque provare a scrivere nella sezione forum/aiuto degli strumenti per webmaster di Google, troverai sicuramente qualcuno in grado di spiegare meglio il fenomeno. Utilissimo per capire se c’è davvero un problema, da cosa dipende ed eventualmente come risolverlo.
P.S. complimenti per il blog, molto interessante!
A me sei stato utilissimo, anche se non ho risolto, purtroppo.
Oggi mi sono accorto di un calo vistoso di visite.
Anche se la tendenza in leggero calo l’ho notata nelle ultime settimane, è proprio con stamattina che ho visto davvero tracollare le visite (almeno il 50%). Molti dei miei post, infatti, non sono indicizzati su Google.
E, dal pannello degli strumenti per Webmaster, ho notato lo stesso responso negativo.
Ora, il mio problema è proprio questo.
Essendo il mio blog ospitato su blogger (ovvero la piattaforma di Google), non posso assolutamente mettere mano alle correzioni. O almeno, dovrei scrivere a Google, no?
Inoltre, su blogger/blogspot non vi è neanche la possibilità di spostare il file robot; in altre parole, non so cosa devo fare.
Mi puoi aiutare?