BoostMasterBot tarayıcısı

Sunucu kayıtlarınızda BoostMasterBot/1.0 (+https://boostmaster.com.tr/bot) gördüğünüz için buradaysanız: bu, BoostMaster'ın sayfa teşhis tarayıcısıdır.

Kısaca: Yalnızca bir kullanıcının kendi projesi olarak eklediği sitelere gider, robots.txt kurallarınıza uyar, yalnızca sayfa okur ve istek hızını sınırlar.

Ne yapar?

• Bir BoostMaster kullanıcısının proje olarak eklediği siteye gider. Site keşfetmez, bağlantı takip ederek sitenizi baştan sona gezmez.
• Şunları getirir: robots.txt, kullanıcının eklediği sitemap dosyaları, bu sitemap'lerde listelenen sayfalar ve kullanıcı istediğinde IndexNow anahtar dosyası.
• Yalnızca okuma (GET) isteği yapar. Form göndermez, giriş yapmaya çalışmaz, JavaScript çalıştırmaz.
• Sayfa başına en fazla 10 MB okur ve en fazla 5 yönlendirme izler.
• Okuduğu sayfada indekslenmeyi engelleyen teknik durumları arar: durum kodu, robots kuralları, canonical, içerik yeterliliği gibi.

robots.txt'e uyar

• Önce User-agent: BoostMasterBot grubuna, yoksa User-agent: * grubuna bakar. İzin verilmeyen bir sayfayı indirmez; sitemap dosyaları için de aynı kural geçerlidir.
• robots.txt sunucu hatası (5xx) veriyorsa sayfaları taramaz.
• robots.txt en fazla bir saat önbellekte tutulur; kural değişikliğiniz bir saat içinde uygulanır.

Hız sınırı

Aynı siteye aynı anda gönderilen istek sayısı ve iki istek arasındaki süre sınırlıdır. Varsayılan: en fazla 4 eşzamanlı istek, istek başlangıçları arasında en az 250 ms. Siteyi ekleyen kullanıcı bu değerleri kendi sitesi için daha yavaş olacak şekilde ayarlayabilir.

Engellemek için

robots.txt dosyanıza şunu ekleyin:

User-agent: BoostMasterBot
Disallow: /

Engellediğinizde, siteyi ekleyen kullanıcı ilgili sayfalar için "Tarayıcımız engelli" bilgisini görür.

İstekler nereden gelir?

Tüm istekler şu adreslerden gelir: 187.77.111.65, 2a02:4780:c:49eb::1

İletişim

Tarayıcımızla ilgili bir sorun görürseniz [email protected] adresine yazın.