Toplam 6 adet sonuctan sayfa basi 1 ile 6 arasi kadar sonuc gösteriliyor
  1. #1

    Standart Yandex Bot IP Adreslerini Engellemek Zorunda Kaldık

    Bu sabahtan öğleye kadar hiç olmadığı kadar Yandex botlarının hışmına uğradık. Öyle ki birkaç saatte fazladan 8K tekil, 23K çoğul hit gibi bir trafikle CPU limitlerini zorladı. Uzun bir süre %85 - 100 arasında tüketim sağlıyordu.

    Eklenti 265

    Bu trafik, Google Analytics kayıtlarında görünmüyor. Ancak Adsense hesabımıza girdiğimizde sayfa gösterimlerinin Rusya'dan 23K olarak geldiği görünüyor.

    Eklenti 264


    Burada sadece sayfa gösterimi olup da Rusya'dan tek reklam tıklamasının olmayışı bize net olarak gösterdi ki bir botun marifeti ile karşı karşıyayız. Tabi sözkonusu Rusya olunca akla hemen Yandex geliyor. Tabi hemen Google Adsense panelimiz üzerinden bu konuyla ilgili bir bildirimde bulunduk: "Rusya'dan sanırım botlar aracılığı ile olağanüstü trafik almaktayız. Bu olayla ilgimiz ve kaynak hakkında bir bilgimiz yoktur. Bilgilerinize sunarız" diye yazdık.

    scription">PHP- Kodu:
    ***nbsp;Vulnerability Scanners
    SetEnvIfNoCase User-Agent "Acunetix" bad_bot
    SetEnvIfNoCase User
    -Agent "FHscan" bad_bot
     
    ***nbsp;Aggressive Chinese Search Engine
    SetEnvIfNoCase User-Agent "Baiduspider" bad_bot

    ***nbsp;Aggressive Russian Search Engine
    SetEnvIfNoCase User-Agent "Yandex" bad_bot

    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
     
    ***nbsp;Cyveillance
    deny from 38.100.19.8/29
    deny from 38.100.21.0
    /24
    deny from 38.100.41.64
    /26
    deny from 38.105.71.0
    /25
    deny from 38.105.83.0
    /27
    deny from 38.112.21.140
    /30
    deny from 38.118.42.32
    /29
    deny from 65.213.208.128
    /27
    deny from 65.222.176.96
    /27
    deny from 65.222.185.72
    /29
     
    Deny from env
    =bad_bot
    </Limit
    Bu trafiğin botlardan kaynaklandığı düşüncesiyle, önce .htaccess dosyamızda Yandex'i, kusura bakmasın vallahi, Bad_bot olarak tanımlayıp engelledik. Çare oldu mu derseniz, çok az bir miktar...

    Sorun tamamen geçmediği için ikinci önlemi devreye koyduk:

    description">PHP- Kodu:
    Sitemaphttps://webmaster.bbs.tr/xmlsitemap.php

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /includes/
    Disallow: /vb/
    Disallow: /packages/

    User-agentAcunetix
    Disallow
    : /

    User-agentFHscan
    Disallow
    : /

    User-agentGoogle 
    Crawl
    -delay5

    User
    -agentBingBot 
    Crawl
    -delay5

    User
    -agentYandex 
    Crawl
    -delay30

    User
    -agentYandexBot 
    Crawl
    -delay60

    User
    -agentYandexMedia 
    Crawl
    -delay60

    User
    -agentYandexImages 
    Crawl
    -delay60

    User
    -agentYandexNews 
    Crawl
    -delay60

    User
    -agentYandexPagechecker 
    Crawl
    -delay100

    User
    -agentBaiduSpider 
    Crawl
    -delay100

    User
    -agentBaidu 
    Crawl
    -delay100

    User
    -agentMail.Ru 
    Crawl
    -delay30

    User
    -agentOdklBot 
    Crawl
    -delay100 
    robots.txt dosyamızda Google ve Bing de dahil olmak üzere Yandex ve Mail.Ru botlarına indeksleme için gecikme kuralı belirledik. Bu da çare olmadı mı derseniz, bir miktar daha deriz...

    Evet bir miktar daha rahatlattı ama CPU kullanımında dalgalanma devam ediyordu. Biz de mecburen bitirici hamleyi yaptık:

    Eklenti 263

    Burada görünen, Yandex'e ait olduğu bilinen tüm IP adreslerini engellemek zorunda kaldık. Ve CPU tüketimi % 8-10'a kadar düştü.

    Vallahi kusura bakma Yandex Amca, zaten ziyaretçi olarak günlük %2-3 ancak katkın var. Senin bu acımasız bot trafiğin yüzünden ziyaretçilerimizi sitemzden mahrum bırakamazdık.

    İşte durum budur. Aynı şeyi yaşayan arkadaşlar, benzer senaryoyu uygulayabilir.

  2. #2
    Üyelik tarihi
    11.Ocak.2014
    Mesajlar
    1,597
    Blog Başlıkları
    3

    Standart

    Önceden anasayfada bir sürü bot görünüyordu usta. Şimdi sadece 5 tane bot görünüyor. Hepsini mi kovdun yaw?

  3. #3

    Standart

    Hayır hepsini kovmadık deniz. Bad_bot olarak bilinen 50-60 bot'u kovmaya çalıştık ama, önceden facebook, twitter, linkedin, feedburner, bloglovin ve başka masum botlar da vardı. Sitedeki güncellemelerden sonra sanırım eklentinin getirdiği xml dosyası değişti. İlle de tüm botlar görünsün mü? Eklentiyi de güncelleriz. Tüm botlar görünür olur.

  4. #4

    Standart

    IP adresleri engellenince bugünkü ziyaretçi sayısında 10k düşüş var. Ne botmuş arkadaş.

  5. #5

    Standart

    Engellenen IP adreslerinin 1/4'i serbest bırakıldı. Sabah neyle karşılaşacağız bakalım?

  6. #6

    Standart

    An itibarı ile engellenen tüm IP adreslerine tekrar izin verildi. Ne olacaksa bundan sonra olacaktır.

Konu Bilgileri

Bu Konuya Gözatan Kullanıcılar

Şu anda 1 kullanıcı bu konuyu görüntülüyor. (0 kayıtlı ve 1 misafir)

Benzer Konular

  1. vBulletin 3.8.x ve 4.2.x için Gerçek IP Adreslerini Gösteren Eklenti
    Konu Sahibi erkolay Forum vBulletin Eklentileri
    Cevap: 8
    Son Mesaj : 22.Eylül.2017, 09:51
  2. AdBlock Sitenizde Engellemek ( Uyarı Mesajı )
    Konu Sahibi Berkay Tosun Forum Webmaster Dünyası
    Cevap: 0
    Son Mesaj : 03.Şubat.2015, 03:04
  3. ixquick, IP Adreslerini Kaydetmeyen Arama Motoru
    Konu Sahibi erkolay Forum Diğer - Yeni Arama Motorları
    Cevap: 0
    Son Mesaj : 13.Ocak.2015, 22:02
  4. Cevap: 0
    Son Mesaj : 05.Temmuz.2014, 21:30
  5. vBulletin Bot üyeleri Engellemek
    Konu Sahibi WeBMasteR Forum vBulletin
    Cevap: 0
    Son Mesaj : 21.Mayıs.2014, 22:20

Yetkileriniz

  • Konu Acma Yetkiniz Yok
  • Cevap Yazma Yetkiniz Yok
  • Eklenti Yükleme Yetkiniz Yok
  • Mesajınızı Değiştirme Yetkiniz Yok
  •  
Linux Hosting
Yasal Bildirim
Sitemizde paylaşım yapan tüm üyeler T.C.K 20. Madde ve 5651 Sayılı Kanun'un 4. maddesinin 2. fıkrasına göre kendi konu ve mesajlarından sorumludur. Webmaster.bbs.tr hakkında yapılacak olan hukuksal ve diğer şikayetler için iletişim bölümünden iletişime geçilmesi halinde site yönetimi tarafından gereken işlemler yapılacak ve ilgili kişilere/kurumlara/vekillerine bilgi verilecektir.
Sosyal Medya