Analiza log files de server: diagnosticare SEO avansată pentru site-ul dvs.

Log files-urile de server conțin informații brute despre fiecare cerere HTTP primită de serverul dvs., inclusiv fiecare acces al Googlebot. Analiza lor oferă o perspectivă unică, directă și fidelă despre comportamentul real al crawlerului Google pe site-ul dvs., fără sampling sau estimări. Este una dintre tehnicile de SEO tehnic cel mai puțin utilizate, dar cu potențial ridicat de a descoperi probleme invizibile cu alte instrumente.

Dacă ați citit ghidul nostru despre elementele esențiale de SEO tehnic, analiza log files este nivelul următor, esențial pentru site-urile cu probleme inexplicabile de indexare sau cu volume mari de pagini.

Analiza log files de server: diagnosticare SEO avansată

Un log file de server înregistrează pentru fiecare cerere HTTP: data și ora, IP-ul clientului, URL-ul accesat, codul de răspuns HTTP, dimensiunea răspunsului și user agent-ul. Googlebot se identifică prin user agent-ul „Googlebot” sau „Google-InspectionTool”, permițând filtrarea exactă a comportamentului crawlerului față de traficul uman.

Accesarea log files-urilor din cPanel

Log-urile de acces sunt disponibile în cPanel în secțiunea Raw Access sau Awstats, de obicei comprimate în format .gz:

# Decompresimare fișier log comprimat
gunzip access_log.gz

# Filtrare exclusivă a cererilor Googlebot
grep -i "googlebot" access_log > googlebot_log.txt

# Top 50 URL-uri accesate de Googlebot (sortate după frecvență)
grep -i "googlebot" access_log   | awk '{print $7}'   | sort | uniq -c | sort -rn   | head -50

# Distribuția codurilor de răspuns HTTP pentru Googlebot
grep -i "googlebot" access_log   | awk '{print $9}'   | sort | uniq -c | sort -rn

# Crawl-ul Googlebot pe ore (identificarea pattern-urilor)
grep -i "googlebot" access_log   | awk -F'[' '{print $2}'   | awk '{print $1}'   | awk -F: '{print $2}'   | sort | uniq -c

Ce să analizați în log-urile Googlebot

Distribuția codurilor de răspuns HTTP

Aceasta este prima verificare și cel mai rapid diagnostic general:

• 200 (OK): pagini crawlate cu succes. Ideal: 85-95% din toate cererile Googlebot
• 301/302 (Redirectări): consumă crawl budget suplimentar. Dacă procentul este ridicat, consolidați redirecționările
• 404 (Not Found): pagini lipsă care primesc linkuri interne sau externe vechi. Remediați sau redirecționați
• 500/503 (Server Errors): erori de server. Googlebot poate reduce crawl rate-ul ca răspuns la erori frecvente, afectând indexarea

Pagini importante absente din log-uri

Dacă aveți pagini importante care nu apar deloc în log-urile Googlebot pe o perioadă de 30 de zile, există o problemă de crawlabilitate. Cauze frecvente de investigat:

• Blocate accidental în robots.txt (verificați explicit)
• Fără linkuri interne care să pointeze spre ele (pagini orfane)
• Noindex aplicat incorect pe pagini care ar trebui indexate
• Izolate în structura site-ului la mai mult de 3-4 clicuri de la homepage

Distribuția crawl-ului pe tipuri de pagini

Analizați ce tipuri de pagini consumă cel mai mult din crawl budget-ul alocat. Dacă Googlebot petrece 60% din timp pe pagini de paginare sau pe pagini de tag-uri cu valoare SEO scăzută, există o problemă majoră de alocare a crawl budget-ului care afectează indexarea paginilor valoroase.

Instrumente pentru analiza log files la scară

• Screaming Frog Log File Analyser: instrument dedicat cu interfață grafică, ideal pentru site-uri de dimensiuni medii. Permite filtrarea vizuală și exportul rapid
• JetOctopus: platformă web cu vizualizări avansate, potrivit pentru site-uri cu milioane de pagini
• Botify: soluție enterprise pentru site-uri cu zeci sau sute de milioane de pagini și echipe SEO mari
• ELK Stack: soluție open-source pentru volume foarte mari, necesită resurse tehnice semnificative

Frecvența optimă de analiză în funcție de dimensiunea site-ului

• Site-uri mici (sub 500 pagini): analiza trimestrială este suficientă, mai des la lansare sau după schimbări majore
• Site-uri medii (500-10.000 pagini): lunar, sau la orice schimbare semnificativă de structură sau conținut
• Site-uri mari (10.000+ pagini): săptămânal sau cu monitoring continuu prin instrumente automate

Concluzie

Analiza log files este o tehnică de diagnostic SEO de nivel avansat care dezvăluie realitatea crawl-ului Google, dincolo de estimările din Search Console sau din instrumentele SEO terțe. Este esențială pentru site-urile cu probleme de indexare inexplicabile și pentru optimizarea eficientă a crawl budget-ului pe site-urile cu volume mari de pagini.

Completați cu ghidul nostru despre elementele esențiale de SEO tehnic.