Herkese merhabalar, Zeo takipçileri. Bugünkü videomuzda size birazcık daha teknik bir konudan bahsedeceğim; bugünkü konumuz log analizi. Biliyorsunuz, Google tarafında teknik SEO en önemli metriklerden birisi bizim için. Özellikle büyük ölçekli sitelerin bütün crawl bütçelerini, yani Google'ın sizin sitenizde gezmek için ayırdığı zamanı ve krediyi çok etkili bir şekilde değerlendirmeleri gerekiyor. Bunun için kullanabileceğimiz birkaç yöntem var; bunlardan ilki crawl analizi. Zaten bununla ilgili videolar çekiyoruz birçok kez. Ancak log analizi birazcık daha ileri seviye ve bizi zorlayabilecek bir analiz türü; ancak işin içine girdiğimizde o kadar da zor olmadığını göreceğiz.
Temelde şu şekilde çalışıyor: Aslında baktığınızda bir sunucu ve bir bilgisayar var, ikisi birbiri arasında iletişim kuruyor. Biz burada sunucunun içerisinde bilgisayarlardan, kullanıcılardan, istemcilerden gelen bütün istekleri, aslında SEO amaçlı olmasa da Apache içerisinde ya da Load Balancer içerisinde bunları loglamak, yani kayıt altına almak zorundayız. Bunu web hosting şirketiniz ya da IT müdürünüz mutlaka ve mutlaka biliyor ve problemleri gözlemleyebilmek için bu veriyi kullanıyorlar ağırlıklı olarak. Biz burada şöyle bir yol izleyeceğiz: Bu veriden SEO manasında nasıl bir çıkarım yapabiliriz, bunu anlamaya çalışacağız. Öncelikle bu verinin nasıl oluştuğunu anlamaya çalışalım. Burada tipik bir Apache log'u görüyorsunuz; yani web sunucunuzdan gelen loglardan sadece bir satır. İlki, sunucunun IP'si. Daha doğrusu size istek yapan client'ın IP'si, yani size bu isteği gönderen kişi hangi IP'ye sahip.
İlk olarak bunu görebiliyorsunuz. İkinci tarafta zaman damgası, yani timestamp var. Bu kişi veya herhangi bir şekilde Google botu ne zaman bu sayfa içerisine gelmiş, bunu net bir şekilde buradaki timestamp üzerinden görebiliyoruz. Hemen ardından gelen bölüm, GET. Yani bu nasıl bir istek? Bu bir veri isteği mi, yoksa bana bir veri mi gönderiyor? Genellikle zaten gördüğümüz %90 GET ve HEAD metotlarıdır. Burada bizim sitemizden bir veri istiyor, şurada gördüğünüz IP. Ve bu istediği veri, isteğin detayları, yani request'in URI'ında şunu görüyorum: videolar ve log analizi klasörlerinin içerisinden HTTP protokolüyle bir istekte bulunuyor.
Yani diyor ki, bana o sayfanın içerisindeki içeriği getirir misin diyor. Browser aracılığıyla bu isteği gönderiyor sunucuya. Hemen ardından sunucu buraya 200 diye dönmüş. Yani OK demiş, bende bu sayfa var, ben bu karşılığı buldum, sunucumda herhangi bir problem yok, sana OK yanıtı veriyorum demiş. Genellikle görmek istediğimiz şey 200 kodu oluyor burada. Hemen ardından da bu kullanıcı kimliğini doğrudan doğruya sunucuya belirtmek zorunda. Ama kimlikten kastım, net bir detaylı olarak bilgisayarınıza ait bir detay değil. Örneğin Google Chrome kullanıyorsanız, Google Chrome kullandığınıza dair bir user agent.
Veya bir cihaz kullanıyorsanız, mobil cihaz kullanıyorsanız, buna dair bir user agent'tan bahsediyorum. Burada görüyorsunuz, Mozilla 5.0 Compatible Googlebot 2.1 HTTP/google.com/bot/html adresini işaret eden bir user agent var. Bu şu anlama geliyor: Ben Google'ın örümceğiyim, şu IP'den geldim, senden şu sayfayı 200 olarak, GET olarak request ediyorum, sen de bana 200 cevabı vermişsin. Ve aslında gerçekleşen oturumun bütün detayları burada gördüğünüz log analizinde. Bunlar büyük siteler için milyonlarca sayfa uzunluğunda olabilir. Çünkü sitede yaptığınız her hareket bir satırlık log analizine işlemiş oluyor. Çok büyük web siteleri için, çok büyük e-ticaret siteleri için, milyonlarca trafiği bir araya getiren siteler için bunun ne kadar kalabalık bir log dosyası olduğunu tahmin edebilirsiniz.
Genellikle bu dosyaları aylık olarak işlemeyi biz tercih ediyoruz, SEO danışmanları olarak. Bununla beraber işte yüklenen byte'ların toplam sayısı, host'un adı ve istek gönderen IP'nin detayları ve ne kadar zaman içerisinde buna cevap verildiği gibi verileri de sunucunuzu konfigüre ederek bu log dosyasının içerisine dahil edebilmeniz mümkün. Bu verilerin tamamı nereden datayı sağladığınıza göre değişebiliyor. Burada iki tip genellikle data sağlayıcı var. İlki, sunucunuzdan doğrudan gelen data. İkincisi de load balancer. Yani bir sunucuya istek geldiğinde, arkasındaki birkaç sunucunun müsaitlik durumuna göre yönlendirme yapan bir cihazdan bahsediyoruz aslında.
Bu tamamen bir donanım olabilir ya da bir yazılımla yönetilen bir bilgisayar olabilir. Genellikle markalar ve büyük markalar size load balancer'ın loglarını vermeyi tercih edebiliyorlar. Bu durumda sizin bu logları alıp burada kullanacağımız araçlara uygun bir hale çevirebilmeniz gerekiyor. Bununla ilgili BuildVisible'ın Log Analysis adlı inanılmaz bir rehberi var. Google'ı aradığınızda zaten göreceksiniz. Size bu konuda çok net bilgiler veriyor. Excel ile bu veriyi nasıl manipüle edebilirsiniz diye. Tabii bazen bir milyonun üzerindeki request'lerde Excel'i kullanmanız da mümkün olmayabiliyor. Burada kullanacağımız beş temel metrik var. İlki, hata kodları. Google bot sunucuma geldiği zaman hangi request koduyla cevaplandı? Yani burada ben öncelikle bütün verilerimi Google bot üzerinden gelen veriler olarak değerlendirmek istedim ve şunu görüyorum: Google bot'a ben bazen 404 cevabı vermişim, bazen 500 hatası vermişim.
Bunlar ne anlama geliyor? 404 bildiğiniz üzere not found, bulunamadı. 500, sunucu hatasıyla alakalı genellikle kullandığımız bir örnek. Ve bunların tamamı aslında bizim için bu sunucu loglarının arkasında. Ve burada problemli sayfalarımızı tespit ederek çözüm planları üretebiliriz. İkincisi, botun toplam tarama alanı. Yani siz sayfanız içerisinde, siteniz içerisinde bir buçuk milyon sayfanız var. Ama Google bot gerçekten bunun bir buçuk milyonunu tarıyor mu? 150 bin, 200 binlik bir alanı tarıyor olabilir ve bu botun tarama alanını net olarak anlayabilmek sizin için çok büyük insight'lar getirebiliyor.
Yani gerçekten sizin için önemli olan alanı Google bot taramıyor olabilir. Bunu log analizini yaptıktan sonra çok daha net göreceksiniz. Üçüncüsü, botun tarama öncelikleri. Sizin için gerçekten önemli landing page'ler, güncellenen sayfalarınızda Google bot zaman geçiriyor mu? Bir haber sitesiyseniz, siz bir haberi girdikten sonra Google botun bu sayfaya gelme süresi ne zaman? Bu aradaki fark sizin için çok önemli. Çünkü acil gelişmeleri en son dakikada siz iletmek istiyor olabilirsiniz ve bu aradaki farklılık, bu aradaki gap sizin için en önemli metriklerden birisi olacak. Dolayısıyla botun tarama önceliklerini çok iyi bir şekilde anlayabilmeniz gerekiyor. Tabii buna sadece arkada gördüğünüz bu bir satır ve bunun milyonlarcasından gelen çıkarımı insan gözüyle yapabilmemiz mümkün değil. Bazı araçlar kullanacağız ve bunları bunun sayesinde sağlayabiliyoruz.
Dördüncü tarafta da crawl bütçesinin yanlış yorumlanması. Yani bizim aslında istemediğimiz sayfa gruplarına Google botun çok fazla zaman geçiriyor olması. Bir e-ticaret sitesi düşünelim. Filtreleriniz var, kategorileriniz var. Çok alakasız filtrelerinizde Google zaman geçiriyor, Google bot. Ve siz burada bu filtrelere Google'ın girmesini istemiyorsunuz. Ya da bir haber siteniz var, yazıcı için gösterme sayfanıza Google bot ziyaret gönderiyor ve bu yazıcı için gösterme sayfası ana haber sayfasıyla birebir aynı. Ve burada bir değer içeren içerik olmadığı için bunu kullanmak istemeyebilirsiniz. Dolayısıyla bu bölümü de çok iyi bir şekilde okuyabilmek gerekiyor. Ve son olarak, son crawl tarihleri. En önemli konulardan birisi. Siz bazı sayfanızın içeriklerini güncel tutmaya gayret ediyor olabilirsiniz ama Google bot buradaki güncelliği görmediği ve ziyaret etmediği sürece bu bir anlam ifade etmeyecek.
O yüzden burada son crawl tarihlerini de çok iyi bir şekilde koklayabilmeniz ve analiz edebilmeniz gerekiyor. Bununla alakalı olarak Brighton SEO'da Botify'ın şu andaki büyümeden sorumlu direktörü Mark Thomas'ın çok güzel bir sunumu vardı. Burada beş farklı soruya değinmişti Mark. Benim gerçekten çok hoşuma gitti soruların tamamı ve bunlardan bazılarını bu programa dahil etmek istedim. Öncelikle Mark şunu soruyor: "Benim tarama sıklığım nedir? Gerçekten bütün sayfalarımı taradıktan sonra hangi sayfa grubu üzerinde Google bot veya diğer arama motoru örümcekleri yoğunlaşıyor?" Bunları net bir şekilde tespit edebildikten sonra şunu görmeye başlıyorsunuz: Sizin belki de içerideki linkleme yapınızda gerçekten ciddi problemler var ve bu ciddi problemlere bağlı olarak da Google yanlış bölgeleri indeksliyor. Ve bu gerçekten büyük bir risk sizin için.
Özellikle büyük siteler için tarama sıklığını net olarak anlayabilmeniz gerekiyor. Google bot güncel sayfalarınıza ne sıklıkla geliyor? Bu cevaplamanız gereken en önemli sorulardan birisi. İkincisi, Google'ın taradığı sayfaların oranı. Yani Google sitenin %30'unu mu tarıyor, %70'ini gerçekten sık sık taramıyor mu? Aylık olarak bu verilere baktığınızda belki de sitenizin %70'ini Google üç ayda bir tekrar tarıyor. Bu hem link yapınızda hem de site dışı SEO'nuzda bazı temel problemler olduğunu size gösterebilir ya da sunucu tarafında bilmediğiniz bazı problemlere ışık tutabilir. Belki de temelde Google'ın site yapınızın tamamına ulaşmasına yönelik bazı engeller olabilir. Zaman zaman sunucunuz 404, zaman zaman 500 veriyor olabilir ve siz kendi yaptığınız standart rutin ziyaretlerde bunu fark etmiyor olabilirsiniz. Kendinize sürekli 200 döndüğü için.
Ama Google botun yaptığı sürekli request'ler, üst üste 100-200 sayfayı açmaya yönelik saniye başında yaptığı bu aksiyonlar sizin sunucunuzu yoruyor olabilir ve burada yaşadığınız hatalar Google'ın sitenin tamamını indekslemesine kesinlikle engel yaratan bir durum olabilir. Bununla beraber her web sitesi için hedeflediğiniz bazı anahtar kelimeler var ve bu anahtar kelimelere karşılık gelen landing page'ler var. Gerçekten sizin için önemli olan anahtar kelimeler içerisinde iyi bir listeleme yakalayabiliyor musunuz? Google bunları crawl ediyor mu? Bunları kesinlikle incelemeniz lazım. Bir VIP sayfa listeniz olursa bunların tarama alışkanlıklarını tek tek inceleyebilme şansınız aslında olabiliyor. Ve son olarak aslında user agent dediğimiz tarafta, yani kullanıcı kimliğiyle baktığımızda Google botun tarama sıklığıyla diğer arama motorlarının, örümceklerin tarama sıklıklarında bir farklılık var mı?
Sunucunuz belki Google botun isteklerine sürekli biçimde geldiği için farklı bir yanıt sağlıyor olabilir ve diğer arama motoru örümceklerindeki hareketleri anlayarak buraya daha net bir yanıt verebilme şansınız olabilir. Özellikle bu veriyi şu amaçla çok kullanıyorlar: Google bot verisine göre şu çıkarım yapılabiliyor. Benim bulunduğum sayfadan Google bot hangi sayfaları izleyerek ilerliyor? Yani Google botun ilerleme path'ini, ilerleme yolunu bu log analizine bakarak kolaylıkla çıkarabiliyorsunuz. Ve aslında bu ek bazı verileri de kullanarak, örneğin yüklenen byte'lar ve bu sayfanın yüklenmesinin ne kadar zaman aldığı verilerini de kullanarak bazı noktalarda yavaşlamalar, gerçekten Google botun size olan davranışlarını değiştirebiliyor mu?
Yani site performansıyla tarama arasında nasıl bir ilişki var gibi soruları yanıtlayabilmeniz çok da mümkün bir hale gelebiliyor. Tabii ki sadece şuradaki iki satır, yani aslında tek satırlık dosyaya bakarak bu konuda yorum yapabilmek bize zor geliyor olabilir. Evet, gerçekten insan olarak bunu gözlemleyebilmemiz çok zor. O yüzden bu konuda kullanabileceğiniz beş farklı araçtan bahsetmek istiyorum. Farklı site tiplerine göre ilerleyelim. Bir e-ticaret siteniz var, çok büyük ölçekte ve real-time log analizi yapmak istiyorsunuz. Bu durumda Logs.io'yu kullanabilirsiniz. Eş zamanlı olarak sizin loglarınızı çok net bir şekilde analiz ederek harika insight'lar veriyor. Birazcık pahalı bir araç ama kullanmanızı tavsiye edebilirim. Öte yandan Botify da aynı şekilde. Çıkardığınız logları Botify'a yüklüyorsunuz.
Eş zamanlı değil, yanılmıyorsam. Burada bu botun hareketlerinin, path'lerini çıkarabiliyor, problemleri çıkarabiliyor, performansla alakalı insight'lar verebiliyor. İnanılmaz bir araç ve mutlaka kullanmanız lazım. Öte yandan bazı şirketlerde, özellikle ülkemizdeki e-ticaret yasası gereği bu logları dışarıdaki sağlayıcılarla paylaşmak istemeyebiliyorlar. Bu konuda iki tane güzel alternatifimiz var. İlki OnCrawl. OnCrawl'un open source, yani açık kaynak kodlu bir log analiz aracı var. Eğer bunu kullanabilirseniz, çok net bir şekilde kendi sisteminize kurduğunuz yapıda nasıl bir log analizi yapabilirsiniz ve nasıl insight'lar çıkarabilirsinizin de en iyi cevabı OnCrawl'da alabilirsiniz.
Tamamen ücretsiz. Milyonlarca sayfayı analiz edebiliyorsunuz. Hakeza eğer alışkınsanız, Screaming Frog'un bu konuda yeni bir aracı var. Yanılmıyorsam 99 pound gibi senelik uygun bir ücreti var. Eğer bu aracı satın alırsanız, 10 milyonlar seviyesinde bazı takılmalar yaşayabiliyor ama milyon seviyesinde kolaylıkla log analizi yapabiliyor. Büyük sitelerin haftalık log analizlerini dahi Screaming Frog'da çıkarabilirsiniz. Çok güzel insight'lar veriyor. Sayfa düzeyinde hangi event'ler gerçekleşmiş, hangi botlar ve ziyaretçiler nereleri, ne sıklıkla ziyaret ediyor gibi farklı filtrelemeleri Screaming Frog üzerinden yapabilirsiniz. Son olarak da en geniş aşamada bir yıllık bir logu incelemek istiyorsanız, Splunk kullanabileceğiniz en mantıklı araçlardan birisi. Splunk, SEO için üretilmemiş, sunucu loglarına büyük resimden bakabilmek için üretilebilmiş bir araç. Enterprise bir çözüm.
Fiyatları da buna göre. Ama yanılmıyorsam ilk iki aylık ücreti free olarak kullanabiliyorsunuz, tüm datanızı anlayabilmek için. Bir yıllık verinizi çıkarıp mutlaka ve mutlaka Splunk'ta analiz etmenizi size tavsiye ediyorum. Tüm bunları yapıyorken tabii ki biraz da terminal bilginizin olması, verileri parçalayabilmeniz, bir grep kodu yazarak istediğiniz Google bot query'lerini dışarıya çıkarabilmeniz ya da Python'la ufak birkaç scraper verisiyle bütün veriden extract etmek istediğiniz, yani çıkarmak istediğiniz noktaları belirleyebildiğiniz kodlar yazabiliyor olmanız bu noktada sizi çok rahatlatacak. O yüzden belki bir yazılımcı vasıtasıyla ya da birazcık merakla bu süreci siz de kolaylıkla götürebilirsiniz. Teknik olarak bakıldığında zor göründüğünü biliyorum ama bir kere olsun verinizi yükleyip, özellikle Screaming Frog'un ücretsiz çözümü 1000 event'e kadar size izin verebiliyor.
Bir yüklediğinizde güzel güzel sonuçlar çıkarmaya başladığınızda sizin de bu süreçten fazlasıyla hoşlanacağınızı düşünüyorum. Şimdilik log analiziyle ilgili anlatmak istediklerim bunlar. Dinlediğiniz için teşekkür ederim. Bir sonraki videoda görüşmek üzere. Hoşça kalın.
Hey everyone, Zeo fans. Today's video gets a little more technical. Our topic is log analysis. As you know, technical SEO is one of our most important metrics on the Google side. Large-scale sites especially need to use their whole crawl budget well. That's the time and credit Google spends browsing your site. There are a few methods we can use here. The first is crawl analysis. We've made plenty of videos about that already. Log analysis is a bit more advanced. It can feel intimidating. But once you dig in, you'll see it's not that hard.
Here's how it basically works. You've got a server and a computer. The two talk to each other. On the server side, we have to log every request coming in. Those come from computers, users, and clients. Even outside SEO, you have to record them. That happens in Apache or in your Load Balancer. Your web hosting company or IT manager definitely knows this. They mostly use this data to spot problems. Here's the path we'll take. We'll figure out what we can learn from this data for SEO.
First, let's understand how this data gets created. You're looking at a typical Apache log here. It's just one line from your web server's logs. The first part is the server's IP. More precisely, it's the IP of the client making the request. So which IP sent you this request. First off, you can see this right here. Second, there's the timestamp. When did this person, or Google bot, hit this page? We can see that clearly from the timestamp. Right after that comes the GET part.
So what kind of request is this? Is it a data request? Or is it sending me data? Usually 90% of what we see is GET and HEAD methods. Here it's requesting data from our site. That's the IP you see there. And in the request details, in the request URI. I see this: it's making a request over the HTTP protocol from inside the videos and log analysis folders. Basically it says, can you get me the content on that page? It sends that request to the server through the browser. Right after, the server came back with 200. It said OK. I have this page, I found the match. No problems on my server. I'm giving you an OK response.
The code we usually want to see here is 200. Right after that, this user has to identify itself to the server. But by identity, I don't mean specific details about your computer. For example, if you use Google Chrome, a user agent saying you're on Google Chrome. Or if you're on a device, a mobile device, I mean a user agent for that. You can see it here. There's a user agent pointing to Mozilla 5.0 Compatible Googlebot 2.1 HTTP/google.com/bot/html. Here's what that means. I'm Google's spider. I came from this IP. I'm requesting this page from you as a GET, with a 200. And you gave me back a 200 response.
And every detail of the actual session lives in the log analysis you see here. For big sites, these can run millions of lines long. Every action on the site writes one line to the log. Picture huge web sites. Huge e-commerce sites. Sites pulling in millions of visits. You can imagine how crowded that log file gets. As SEO consultants, we usually prefer to process these files monthly. You can also configure your server to include more data. Things like total bytes loaded. The host name. Details on the IP making the request. And how long it took to respond.
All of this varies based on where you pull the data from. There are usually two types of data sources. First, data straight from your server. Second, the load balancer. That's a device that takes an incoming request. Then it routes it based on which backend server is free. It can be pure hardware. Or a machine managed by software. Brands, especially big ones, often prefer to hand you the load balancer logs. In that case you need to take those logs. Then convert them into a format our tools can handle.
BuildVisible has an incredible guide on this called Log Analysis. Search Google and you'll find it right away. It gives you very clear info on the topic. It covers how to manipulate this data with Excel. Of course, past a million requests, Excel may not be an option. There are five core metrics we'll use here. First up: error codes. When Google bot hits my server, what response code does it get back? So first I wanted to look at all my data through a Google bot lens. And here's what I see. Sometimes I served Google bot a 404. Sometimes I threw a 500.
What do these mean? 404 is not found, as you know. 500 is the one we usually point to for server errors. And all of this is sitting right there in our server logs. So we can spot our problem pages and build a plan to fix them. Second: the bot's total crawl coverage. Say you've got a million and a half pages on your site. But is Google bot really crawling all million and a half? It might only be crawling 150k or 200k. Knowing the bot's crawl coverage exactly can hand you huge insights.
The section that actually matters to you might not get crawled at all. You'll see this way more clearly once you run a log analysis. Third: the bot's crawl priorities. Does Google bot spend time on your key landing pages? What about the pages you keep updating? If you run a news site, you publish a story. How long until Google bot shows up on that page? That gap matters a lot. You might want to break urgent news the second it happens. So that difference, that gap, becomes one of your most important metrics.
So you need a really solid grasp of the bot's crawl priorities. Of course, you can't do this by eye. That's one line you see back there. And there are millions of them. We'll use some tools. That's how we get these insights. Fourth: misreading your crawl budget. Basically, Google bot spends too much time on page groups we don't care about. Picture an e-commerce site. You've got filters. You've got categories. And Google bot burns time on totally irrelevant filters. You don't want Google crawling those filters. Or say you run a news site. Google bot keeps hitting your printer-friendly page. That page is identical to the main article page. There's no added value there. So you probably don't want it crawled.
So you need to read this section really well too. And last, the last crawl dates. This is one of the big ones. You might work hard to keep some pages fresh. But Google bot has to see it. If it never visits, that freshness means nothing. So you need to sniff out and analyze those last crawl dates. On that note, there was a great talk at Brighton SEO. Mark Thomas gave it. He's Botify's current growth director. Mark touched on five different questions here. I really liked all of them. I wanted to bring some into this show. First, Mark asks: "What's my crawl rate? After crawling all my pages, which page group does Google bot focus on? What about other search engine spiders?"
Once you can pin that down clearly, you start to see something. Maybe your internal linking has serious problems. And because of those problems, Google indexes the wrong areas. That's a really big risk for you. For big sites especially, you need a clear read on crawl rate. How often does Google bot hit your fresh pages? That's one of the most important questions to answer. Second, the share of pages Google crawls. Is Google crawling 30% of the site? Or is it skipping 70% most of the time?
Look at this data monthly. Maybe Google only re-crawls 70% of your site every three months. That can point to core problems in your link structure. It can also point to off-site SEO issues. Or it can shine a light on server-side problems you didn't know about. Maybe something is basically blocking Google from reaching your whole site. Your server might throw a 404 sometimes. Sometimes a 500. And you might never notice on your own routine visits. Because you always get a 200 back.
But Google bot makes constant requests. It hits 100-200 pages back to back, every second. That can wear out your server. And the errors you hit there? They can absolutely stop Google from indexing your whole site. On top of that, you've got target keywords for every web site. And each one has a matching landing page. Are you ranking well for the keywords that actually matter to you? Is Google crawling them? You really need to check this. Build a VIP page list. Then you can review the crawl habits of each one. And finally, look at the user agent side. That's the visitor identity. Is there a gap between Google bot's crawl rate and other search engine spiders?
Maybe your server responds differently to Google bot. It shows up constantly, after all. Study how the other search engine spiders behave. That gives you a clearer answer here. People use this data for one thing especially. Here's what you can infer from Google bot data. Which pages does Google bot follow from the page I'm on? So you can map Google bot's path. Its route through the site. The log analysis makes that easy. And you can layer in some extra data too. Bytes loaded, for example. Or how long the page took to load. Do slowdowns at certain points actually change how Google bot treats you?
So you can start answering questions like this. How does site performance relate to crawl? Of course, it's just those two lines here. Really, it's a one-line file. Commenting on that alone might feel tough. Yeah, it's really hard to spot this as a human. So I want to cover five tools you can use. Let's go by site type. Say you have an e-commerce site. It's huge, and you want real-time log analysis. In that case, use Logs.io. It analyzes your logs in real time, super clearly. It gives you great insights. It's a bit pricey, but I'd recommend it. Botify works the same way. You upload your logs to Botify.
Not in real time, if I'm not mistaken. It maps out the bot's movements and paths. It surfaces problems. It gives you performance-related insights. Amazing tool. You've got to use it. That said, some companies won't share these logs externally. In our country, e-commerce law is a big reason why. We have two solid alternatives here. First is OnCrawl. OnCrawl has an open source log analysis tool. If you can use it, it's great. You set it up on your own system. And you'll get the best answer there. How to run log analysis, and what insights to pull out.
Totally free. You can analyze millions of pages. Same goes if you're used to Screaming Frog. They've got a new tool for this. I think it's around 99 pounds a year. Pretty reasonable. If you buy it, you might hit some hiccups at the tens of millions level. But at the million level, log analysis is easy. You can even run weekly log analysis for big sites in Screaming Frog. It gives you great insights. Which events happened at the page level. Which bots and visitors hit which pages, and how often. You can filter all of that in Screaming Frog.
Finally, at the widest scale, say you want to review a full year of logs. Splunk is one of the smartest tools for that. Splunk wasn't built for SEO. It was built to look at server logs from a big-picture view. It's an enterprise solution. The pricing matches that. But I think you get the first two months free. Enough time to make sense of all your data. Pull a year of data and run it through Splunk. I really recommend it. While you're doing all this, some terminal knowledge helps a lot. Being able to slice up the data. Writing a grep command to pull out the Google bot queries you want. Or writing a little Python scraper. Something that extracts exactly the parts you care about from the whole dataset. That skill makes life way easier here.
So maybe work with a developer. Or just bring a little curiosity. Either way, you can handle this process yourself. I know it looks tough on the technical side. But just load your data once. Screaming Frog's free version handles up to 1000 events. Once you load it up, you'll start pulling out great results. And I think you'll really enjoy the process. That's everything I wanted to cover on log analysis. Thanks for listening. See you in the next video. Take care.
This transcript was generated using AI speech recognition and verified against subtitle style rules.
