Tarandı ama dizine eklenmedi: nedenleri ve ne yapmalı?

Search Console'un sayfa raporunda en sık karşılaşılan ve en çok soru sorulan durum budur: Google sayfanızı taramış, yani okumuş, ama indexine almamış. İngilizce arayüzde adı "Crawled - currently not indexed". Sayfada teknik bir hata yoktur; ortada bir engel de görünmez. Google sayfayı görmüş ve şimdilik almamaya karar vermiştir.

Bu yazıda bu kararın nedenlerini, onu "keşfedildi ama taranmadı" durumundan ayıran farkı ve sayfayı indexe sokmak için yapılabilecekleri anlatıyoruz.

Bu durum tam olarak ne demek?

Google'ın kendi açıklamasına göre sayfa taranmış ama dizine eklenmemiştir; ileride eklenebilir de eklenmeyebilir de, ve sayfayı yeniden göndermeye gerek yoktur. Yani bu bir hata bildirimi değil, bir karardır. Google sayfayı okuyabilmiş, içeriğini değerlendirmiş ve o an indexinde yer vermeye değer bulmamıştır.

Bu yüzden bu durumun çözümü bir ayarı açıp kapatmak değildir. Sayfanın, Google'ın gözünde indexe girmeyi hak ettiğini göstermek gerekir.

"Keşfedildi ama taranmadı" ile farkı

Rapordaki komşu durum "Discovered - currently not indexed" adını taşır: Google adresi biliyor (site haritasından ya da bir bağlantıdan) ama henüz taramamıştır. İkisinin nedeni ve çözümü farklıdır:

Keşfedilip taranmayan sayfalarda önce sunucunun hızına ve sitenin gereksiz adres üretip üretmediğine bakılır. Bu yazının konusu olan ikinci durumda ise sorun çoğu zaman sayfanın kendisindedir.

Google bir sayfayı neden okuyup almaz?

1. Sayfa yeterince yararlı ya da özgün bulunmadı

En sık neden budur. Birkaç cümlelik ürün sayfaları, aynı şablonla üretilmiş ve yalnızca şehir adı değişen sayfalar, başka bir sitedeki metnin benzeri ya da aramada zaten çok sayıda iyi cevabı olan bir soruya yeni bir şey eklemeyen yazılar bu gruba girer. Google'ın yardımcı içerik ilkesi açıktır: önce insanlar için yazılmış, konusunu gerçekten bilen birinin bilgisini ve deneyimini taşıyan içerik.

2. Sayfa başka bir sayfanın kopyası ya da çok benzeri

Filtre ve sıralama parametreli liste sayfaları, etiket ve arşiv sayfaları, aynı ürünün renk ve beden sayfaları, yazdırma sürümleri ve www'li ile www'suz adresler aynı içeriği farklı adreslerde sunar. Google bunlardan birini seçer, diğerlerini almaz. Bu durumda sorun çoğu zaman "hangisi asıl sayfa?" sorusunun cevabının sitede net olmamasıdır.

3. Sayfa sitenin içinde yalnız kalmış

Sitenizin başka sayfalarından bağlantı almayan ya da yalnızca sayfalama zincirinin derinlerinden bağlantı alan bir sayfa, Google'a "bu sayfa bu site için önemli değil" der. Ana sayfadan, kategori sayfalarından ve ilgili yazılardan bağlantı alan sayfa daha kolay indexlenir.

4. Site henüz güven kazanmamış

Yeni sitelerde Google temkinlidir. Sitenin genel kalitesi, bağlantı aldığı yerler ve yayın düzeni oluştukça indexlenen sayfa oranı da artar. Yeni bir sitede birçok sayfanın bir süre bu durumda beklemesi olağandır.

5. Sayfa Google'a boş ya da farklı görünüyor

İçeriği tarayıcıda JavaScript ile sonradan yüklenen sayfalarda Google bazen boş bir kabuk görür. Ayrıca sayfa 200 durum kodu döndürüp "ürün bulunamadı" yazıyorsa Google bunu yumuşak 404 sayar. Search Console'daki "Canlı URL'yi test et" ile Google'ın gördüğü sayfaya bakmak bu iki ihtimali hemen ayırır.

Ne yapmalı? Adım adım

1. Gerçekten indexte olması gereken sayfaları ayırın. Rapordaki her adresin indexe girmesi gerekmez. Filtre sayfaları, iç arama sonuçları ve boş etiket sayfaları için doğru cevap çoğu zaman onları indexe sokmak değil, noindex etmek ya da hiç üretmemektir.
2. Kopyaları birleştirin. Aynı içeriği taşıyan sayfalardan birini asıl seçin; diğerlerini ona kalıcı (301) yönlendirin ya da asıl sayfaya canonical verin. Site içi bağlantıların da hep asıl adrese gittiğinden emin olun.
3. Sayfayı güçlendirin. Sayfayı okuyan kişinin aradığı cevabı ilk bakışta bulmasını sağlayın. Ürün sayfasına gerçek özellikler, ölçüler, kullanım bilgisi ve sık sorulan sorular; yazıya örnek, veri ve deneyim ekleyin. Rakip sayfalarda olmayan bir şey söyleyin.
4. İç bağlantı verin. Sayfaya ilgili kategori sayfasından, benzer yazılardan ve mümkünse sık taranan bir sayfadan (ana sayfa, son yazılar listesi) anlamlı bir bağlantı metniyle bağlantı verin.
5. Site haritasını doğru tutun. Site haritasında yalnızca indexte olmasını istediğiniz, 200 dönen ve canonical'ı kendisi olan adresler bulunsun. Son değişiklik tarihi (lastmod) gerçek güncellenme tarihini göstersin.
6. Bir kez isteyin, sonra bekleyin. Sayfada anlamlı bir değişiklik yaptıktan sonra Search Console'da "Dizine eklenmesini iste" deyin. Aynı isteği her gün göndermek sonucu değiştirmez.
7. Sitenin geneline bakın. Çok sayıda zayıf sayfa, Google'ın bütün siteye bakışını etkileyebilir. Kimsenin okumadığı, hiçbir aramadan ziyaret almayan eski sayfaları güncellemek, birleştirmek ya da kaldırmak genellikle diğer sayfaların indexlenmesine de yardım eder.

Ne kadar beklemek gerekir?

Kesin bir süre yoktur. Değişiklikten sonra sayfanın yeniden taranması günler, Google'ın kararını değiştirmesi haftalar alabilir. Search Console'daki "Düzeltmeyi doğrula" işlemi bu durum için uzun sürebilir; doğrulamanın bitmesini beklemek yerine tek tek önemli sayfaların durumunu URL denetimiyle izlemek daha hızlı bilgi verir.

Bunu her gün izlemek

Sayfa raporu birkaç gün gecikmeli gelir ve her neden için en fazla 1.000 adres gösterir. Büyük bir sitede hangi sayfanın bu duruma ne zaman girdiğini, düzeltmeden sonra ne zaman çıktığını takip etmek zordur.

BoostMaster, sitenizdeki sayfaların durumunu Google'a URL Denetimi API'siyle her gün sorar ve her sayfayı teknik engeller için ayrıca tarar. Bir sayfa taranıp dizine eklenmediğinde bunun bir teknik engelden mi yoksa Google'ın içerik kararından mı kaynaklandığını ayırır; sayfa indexe girdiğinde ya da indexten düştüğünde size haber verir. Tek bir sayfayı hemen denemek için ücretsiz index kontrolü aracını kullanabilir, index kontrolünün diğer yollarını da bu yazıda okuyabilirsiniz.