SEO İçin log analizi nasıl yapılır çok sık aldığım sorulardan birisi. Çeşitli eğitim kurumları ve üniversite kapsamında Dijital Pazarlama, SEO, İleri SEO, Marka Yönetimi gibi konularda eğitim ve yine tüm bu alanlarda danışmanlık hizmeti verdiğim için sektörün gidişatını ve genel ihtiyaç yönelimini görmek adına çok fazla doneye temas etme imkanım oluyor. Bilhassa SEO, gerek hizmet talebi olarak gerekse de temas ettiğim öğrencilerin yönelimi açısından özel bir çalışma alanı olarak öne çıkıyor. Ne var ki, doğası gereği “hibrit bir meslek” olan Dijital Pazarlama kapsamında SEO, o hibrit yapının en doruklarda hissedildiği başlıklardan birisi olarak, kendi içinde derin katmanlar içeriyor.

SEO eğitimi, robots.txt dosyası, site haritası, anahtar kelime analizi, canonical tag’ler, cannibalization derken giderek derinleşiyor; crawler budget (tarama bütçesi), iki dalgalı JavaScript indeksleme, Google algoritma güncellemeleri, Semantic Entity, derken eninde sonunda sitenin Log Analizine değin uzanıyor.

İleri seviye bir SEO uzmanı olmak, benim kişisel görüşüme göre bir “SEO uzmanı” olmak kolay bir süreç değil. Öğrencilerimde ve/veya hizmet verdiğim markaların yöneticilerinde gözlemlediğim ilk yaklaşımlardan birisi Dijital Pazarlamayı basit bir iş olarak ön görmeleri ve derin bir ön kabul ve hatta ön yargı ile yaklaşmaları oluyor. Yani, Google Ads’te Arama Ağı reklamı çıkmak dediğin, yeni bir kampanya açıp, gerekli alanları doldurarak “next” butonuna tıklayarak 10 dakikada gerçekleştirdiğin bir süreç zannedenler sektörün %95’ini oluşturuyor.

Kötü haber; durum hiç sandığınız gibi değil. “First Price Auction” açık arttırma yöntemi kullanılan Google Arama Ağı kampanyalarında reklam eşiklerinden, kalite puanı gerçeklerine, eşleme türlerinden, bütçe ve kampanya optimizasyon süreçlerine, web sitenin landing page’i ile kampanya metinleri arasındaki mutlak ilişkiye, CTR faktörüne kadar o denli derin bir matematiksel sürece tabi ki yönelim, en net tabirle “basit” olmaktan çok uzak ve gerçek bir uzmanlık gerektiriyor.

Öte yandan, iyi haber; hayatta bir şeyi öğrenmek ve kendinizi bir alanda geliştirmek istediğinizde, ne denli komplike bir derinliğe sahip olursa olsun, o yapı tüm gizemini size illaki adım adım ve kararlılıkla sunuyor.

Dönelim SEO sürecine, SEO için log analizi nasıl yapılır sorusuna cevaben, SEO çalışmaları süresince, özellikle trafiği yüksek ve çok fazla sayfası olan örneğin bir e-ticaret sitesi ya da haber sitesinin Arama Motoru Optimizasyonu sürecini yönetiyorsanız muhakkak düzenli aralıklarla “Log Analizi” yapmanız gerekiyor.

SEO İçin Log Analizi Nasıl Yapılır? Nelere Dikkat Etmeliyim?

SEO için log analizi nasıl yapılır sorusuna gelin isterseniz bir örnek üzerinden ilerleyerek yanıt arayalım.

34.145.76.89 [21/Feb/2021:21:45:01+05 00] “GET” /hizmetler/seo-danismanlik-hizmeti HTTP/1.1” 200 “Mozilla/7.1 (compatible; Googlebot/2.1; +http://www.google.com/bot.html/”

Yukarıda gördüğünüz tipik bir log satırıdır. Bizim için çok önemli mesajlar veren bir veri kümesinin tek bir parçasıdır bir log satırı. Gelin önce yukarıdaki log’umuzda yer alan satırı parçalarına ayırıp, ne nedir inceleyelim.

34.145.76.89 | Client IP: İlk başta bizi, sunucumuza isteği gönderen istemcinin IP adresi karşılıyor.

[21/Feb/2021:21:45:01+05 00] | Zaman Damgası (Time Stamp): Zaman Damgası (Time Stamp) bize istemcinin (Client) sitemizin yer aldığı sunucuya ne zaman istekte bulunduğu bilgisini veriyor.

“GET” | Metod (Method): Örneğimizdeki log satırında “GET” metodunu görüyoruz ki zaten log analizi süresince ya “GET” ya da “HEAD” metodlarını göreceksiniz ağırlıklı olarak.

Tam da bu noktada bir ara verip, karşılaşabileceğiniz muhtemel metodları inceleyelim

Log Analizinde Karşılaşabileceğiniz Metodlar Nelerdir?

METODANLAM
GETSunucudan sadece veri ister.
HEADGET isteği ile bütünüyle aynıdır, tek farkı gövdesi olmayan bir yanıt istemesidir.
PUTSunucudaki kaynağın temsillerinin yerine istek yükünü (Request Payload) koyar.
POSTSunucudaki sitemize bir varlık (entity) göndermek için kullanılır.
DELETEBelirtilen kaynağı silmek için kullanılır.
CONNECTSunucuya bir tünel oluşturmaya yarar.
OPTIONSSunucudaki kaynağın iletişim seçeneklerini tanımlamaya yarar.
TRACESunucudaki kaynağa giden yol boyunca mesaj loop-back testi gerçekleştirmeye yarar.

Şimdi yukarıdaki log satırımızın çözümlemesini yapmaya devam edebiliriz;

/hizmetler/seo-danismanlik-hizmeti HTTP/1.1 | İstek Detayları (Request URI): Sunucu tarafına gerçekleştirilmiş olan isteğin detayları hakkında bilgi verir.

200 (OK) Durum Kodu (Status Code): Gönderilen isteğe, sunucu tarafından verilen yanıtı gösterir. 200 yani OK durum kodu bize sunucunun sorunsuz bir şekilde isteği karşıladığını anlatmaktadır.

User-Agent: İsteği gönderen, ilgili log satırı içerisinde kimliğini belli etmek zorunda. Burası kısıtlı bir bilgi de olsa, isteği gönderen hakkında bilgi sahibi olmamızı sağlayan bir alandır. Örneğin, isteği gönderen istemci Chrome kullanıyorsa, Chrome kullandığına dair bir User-Agent bilgisi ya da mobil bir cihaz kullanıyorsa, o mobil cihaza dair bir User-Agent bilgisi log’unuzda gözükecektir.

Yukarıdaki bu örnek Log satırında olan şeyi yorumlamak gerekirse, olan şudur;

34.145.76.89 nolu IP, bizim sitemizden (sunucumuzdan) Get metodu ile bir veri istiyor. Burada da, hizmetler klasörünün alt klasörü olan seo-danismanlik-hizmeti klasörünün içinden HTTP/1.1 protokolü ile bir istekte bulunuyor. Sonuç itibariyle sunucumuz da bu isteğe sorunsuz bir şekilde 200 Status Code’u ile yanıt (response) dönüyor. Bu isteği yapan IP adresinin ise Googlebot‘a (Google’ın Tarama ve Indekslemeden sorumlu olan örümcekleri) ait olduğunu görüyoruz.

Ayrıca, bilmeliyiz ki sunucumuzu konfigüre ederek bir log satırının içerisine Host Adı, Byte Değerleri, Sonuç Dönmesi Zaman Aralığı gibi verileri de dahil edebiliriz.

Data (Veri) Sağlayıcı Tipleri ve Log Analizi

Seo için log analizi nasıl yapılır sorusuna çözüm ararken kullanabileceğimiz iki tip veri sağlayıcı mevcuttur. Biri, sizin web sitenizin içinde bulunduğu sunucu verisi, diğeri ise “log balancer” adı verilen, (log balancer: bir sunucuya istek gönderildiğinde donanımsal ya da yazılımsal olarak arkasındaki sunucuların duruma göre yanıt veren) mekanizmadır. Bilinen bir gerçektir ki yüksek trafiği olan siteler genelde log balancer verilerini vermeyi tercih ederler. Tabi ki gelen o verileri işleyip, kullanabileceğimiz hale getirmek bu noktada biz SEO uzmanlarına düşmektedir.

SEO İÇİN LOG ANALİZİ YAPARKEN KULLANDIĞIMIZ METRİKLER

SEO çalışmaları için log analizi yaparken sıklıkla kullanacağımız 5 metrik aşağıdaki gibidir.

  1. Hata Kodları: Sunucumuza yapılan bir isteğin (request), hangi durum kodu (status code) ile sonuçlandığını öğrenmemizi sağlar.
  2. Botların Toplam Tarama Alanı: Web sitenizin diyelim ki 100.000 adet sayfası mevcut. Buna mukabil Googlebot sitenizin gerçekten 100.000 sayfasını da tarıyor ve indeksliyor mu? Tam da bu noktada “Crawler Budget”ınızı (Tarama Bütçesi) anlamak konusunda çok önemli “öngörüler” elde edebilmenizi sağlayan bu metrik, log analizi sürecinin önemli bir parçasıdır.
  3. Botların Tarama Öncelikleri: Googlebot, sizin için önemli olan Landing Page’lerinizde zaman geçiriyor mu? Siz yeni bir ürün ya da içerik girdidiğinizde Googlebot’un sitenize gelip, yeni içeriğinizi keşfetmesi ve ona vakit ayırması ne kadar sürüyor? Dolayısıyla bu aradaki zaman boşluğu “gap” Googlebot’un tarama önceliklerini anlayabilmenizi ve bu açıdan strateji geliştirebilmenizi sağlayan önemli bir metrik olarak öne çıkmaktadır.
  4. Son Crawl Tarihi: Siz bilhassa, sizin açınızdan önemli olan bazı sayfalarınızı güncel tutmaya çabalıyor olabilirsiniz. Lakin, Googlebot bu güncellemeri göremediği ve yeni istekle ziyaret etmediği sürece bu “güncel kalma” çabasının SEO açısından pek bir önemi olmayacaktır. O nedenle bot’ların son tarama tarihi metriği de incelemeye ve analiz etmeye değer önemli bir metrik olarak dikkate alınmalıdır.

Gelin isterseniz bir sonraki aşamaya geçmeden bu noktada kısa bir ara verip, yukarıda konusu geçen en bilindik Durum Kodlarını (Status Codes) hatırlayalım.

Durum Kodu (Status Code)Anlamı
200Başarılı (OK) – Sorunsuz Çalışıyor
301Kalıcı Olarak Yönlendirildi
302Geçici Olarak Yönlendirildi
403Erişim İzni Sorunu
404Sayfa Bulunamıyor (Client Side (İstemci Taraflı) Bir Hatadır)
410Sayfa Kalıcı Olarak Bulunamıyor
500Sunucu Hatası (Server Side (Sunucu Taraflı) Bir Hatadır)
503Sunucu Kullanılamıyor – Sunucu Taraflı Bir Hatadır

Log Analizi Süreciyle alakalı olarak Brighton SEO’dan Daniel Butler’in çok değerli bir yazısında da sorduğu, SEO log analizi yaparken sormamız gereken başlıca soruları da incelemekte fayda olacaktır.

SEO İçin Log Analizi Yaparken Sormamız Gereken Sorular

  • Sitem İçin Tarama Sıklığı Nedir? Google ve diğer arama motoru bot’larının hangi sayfalarınızda sıklıkla zaman geçirdiğini görmek belki de sitenizdeki “iç linkleme” yapınızda ciddi problemler olduğu sonucuna ulaşmamıza ve bu açıdan yeni stratejiler oluşturmamıza neden olacaktır.
  • Google’ın Her Ay Taradığı Sayfaların Oranı Nedir? – Googlebot, sitenin %50’sini mi tarıyor? Yoksa sitenin %80’ine yakınını düzenli olarak tarıyor mu? Örneğin, Googlebot, sitenizin yükününü 3-4 ayda bir tarıyorsa, bu durum hem sitenizin iç link yapılanmasında ve hem de site dışı SEO yapınızda problemler olduğu anlamına gelebilir. Yine, şunu da çok iyi bilmelisiniz ki, siz sitenize ara ara girdiğinizde hiçbir hata kodu dönmeyen server’ınız Googlebot’un yaptığı kısa sürede 200-300 eş zamanlı isteklerden (request) dolayı sunucunuz yoruluyor ve siz hiç fark etmiyor olsanız bile bazen 404, bazen 500 durum kodları ile yanıt veriyor olabilir. O halde, sunucu iyileştirmesi yapmanızın zamanı gelmiş demektir. Bu da Google’ın size ayıracağı “Crawler Budget”ı derinden etkileyen önemli bir faktördür.  
  • Hedef Kelime Önceliklerimle Crawl Alışkanlığı Arasında Bir Örtüşme/ya da/Ayrılık Var Mı? Sizin için önemli olan anahtar kelimeler içerisinde iyi bir listeleme yakalayabiliyor musunuz bunu düzenli olarak analiz etmeniz gerekecektir.
  • User-Agent Davranışları Ne Durumda?: Googlebot’un tarama sıklığıyla, diğer arama motoru örümceklerinin tarama sıklığı arasında bir farklılık var mı gözlemlemek gerekmektedir. Bir yandan da, Googlebot’un ilerleme yolunu (Path) analiz etmekte de büyük fayda olacaktır. Yani, Googlebot, ilk isteği göndererek sisteme girdiği Landing Page’ten sonra hangi yolu izlemektedir… ki tam bu noktada örneğin, bir Landing Page’ten diğerine atlarken yaşanan yavaşlamalar Googlebot’un tarama davranışlarını etkiliyor mu analiz etmemiz de sitemizin gerekli sayfa ve alanlarında iyileştirmeler yaparak Crawler Budget (Tarama Bütçesi)’ı optimize etmemizi sağlayacaktır.

SEO İçin Log Analizi Yapmak İçin Loglarımızı Nerede Bulabiliriz?

SEO için log analizi yapmak için şüphesiz ki iki önemli elemana ihtiyacınız olacak. Bunlardan birisi log analizini yapacağınız bir araç ki o konuya az sonra geleceğiz. Bir de tabi ki analizinizin yapılacağı log’lar.

Log’larınızı eğer CPanel kullanıyorsanız, CPanel’de Metrikler başlığı altında Raw Data (Ham Veriler) içerisinde bulabilirsiniz.

Bu alandan indirdiğiniz .zip dosyasını bir Log Analiz aracında açarak gerekli analizleri ve incelemeleri gerçekleştirebilirsiniz.

SEO İçin Log Analizi Nasıl Yapılır ve Kullanabileceğiniz Başlıca Log Analizi Araçları

  • Screaming Frog Log File Analyzer: Yıllık 99 Pound gibi bir ücreti olan bu aracı, bir log projesi ve sınırlı sayıda sorgu için ücretsiz olarak da kullanabilirsiniz. Ancak, lisanslı versiyonunu büyük trafiğe sahip, yüksek sayfa sayılı web siteleri için kullanabilirsiniz.
  • Oncrawl Log Analyzer: Open Source (açık kaynak) bir analiz aracı olan Oncrawl bir süredir ücretli olsa da ücretsiz olarak 14 günlük deneme sürümü sunmaktadır.
  • Logz.io: Diğerlerinden farklı olarak gerçek zamanlı (real-time) log analizi yapmanızı sağlayan bu araç biraz tuzlu olsa da ciddi projeleriniz için kullanmanızı öneriyorum.
  • Botify Log Analyzer: Bot hareketlerinin yollarını (Path’lerini) çıkarabilmesi, problemleri listeleyebilmesi açısından, gerçek zamanlı (real time) log analizi hizmeti sunmasa da oldukça gelişmiş ve kaliteli bir log analiz aracıdır.
  • Semrush Log Analyzer: Semrush Log Analyzer, diğer araçlar kadar detaylı ve gelişmiş bir araç olmasa da, Semrush’a üye olmanız karşılığında ücretsiz olarak kullanabileceğiniz bir araç olarak dikkat çekmektedir.
  • Excel ve Google Dokümanlar (E-Tablolar): Seçenekler arasında ama analiz esnasında, ama raporu oluştururken muhakkak başvuracağınız bu aracı aranızda bilmeyen yoktur. Ancak, ifade etmeliyim ki, sorgu satırları milyonlarla ifade edilmeye başladığında hem Excel tarafı, hem de E-Tablolar tarafı su koyuvermeye başlıyor. O nedenle öncül tercih olarak tavsiye etmiyorum.

Sonuç İtibariyle Log Analizi

Sonuç itibariyle, SEO için log analizi nasıl yapılır sorusuna yanıt olarak belirtmeliyim ki, log analizi ileri SEO sürecinin önemli katmanlarından birisidir ve tabi ki yukarıda anlattığım işlemleri gerçekleştirebilmek için “terminal” kullanımı bilginizin yanı sıra verileri parçalayabilecek, bir grap kodu yazabilecek bilginizin de olması gerekmektedir. Yine, Python kodlama ile scraper (kazıyıcı kodlar) yaratıp, tüm veri içerisinden kullanmak istediğiniz alanları scrape (kazıma) edebilme yeterliliğinizin olması da işinizin kolaylaşmasına neden olacaktır.

Markanızın web sitesi için derin analizler ışığında, doğru bir strateji kurgulamak orta, uzun vadede kalıcı başarının ortaya çıkması ve “marketing tripod” dediğimiz, pazarlamanın en önemli 3 ayağından “kazanılan trafik” başlığını güçlü kılmanız açısından çok mühim bir adım olacaktır. Bu anlamda, SEO Danışmanlık hizmeti almak isterseniz, SEO Danışmanlık Hizmeti sayfamı inceleyebilir ve benimle iletişime geçebilirsiniz.