Bu sabahtan öğleye kadar hiç olmadığı kadar Yandex botlarının hışmına uğradık. Öyle ki birkaç saatte fazladan 8K tekil, 23K çoğul hit gibi bir trafikle CPU limitlerini zorladı. Uzun bir süre %85 - 100 arasında tüketim sağlıyordu.

Eklenti 265

Bu trafik, Google Analytics kayıtlarında görünmüyor. Ancak Adsense hesabımıza girdiğimizde sayfa gösterimlerinin Rusya'dan 23K olarak geldiği görünüyor.

Eklenti 264


Burada sadece sayfa gösterimi olup da Rusya'dan tek reklam tıklamasının olmayışı bize net olarak gösterdi ki bir botun marifeti ile karşı karşıyayız. Tabi sözkonusu Rusya olunca akla hemen Yandex geliyor. Tabi hemen Google Adsense panelimiz üzerinden bu konuyla ilgili bir bildirimde bulunduk: "Rusya'dan sanırım botlar aracılığı ile olağanüstü trafik almaktayız. Bu olayla ilgimiz ve kaynak hakkında bir bilgimiz yoktur. Bilgilerinize sunarız" diye yazdık.

scription">PHP- Kodu:
***nbsp;Vulnerability Scanners
SetEnvIfNoCase User-Agent "Acunetix" bad_bot
SetEnvIfNoCase User
-Agent "FHscan" bad_bot
 
***nbsp;Aggressive Chinese Search Engine
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot

***nbsp;Aggressive Russian Search Engine
SetEnvIfNoCase User-Agent "Yandex" bad_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
 
***nbsp;Cyveillance
deny from 38.100.19.8/29
deny from 38.100.21.0
/24
deny from 38.100.41.64
/26
deny from 38.105.71.0
/25
deny from 38.105.83.0
/27
deny from 38.112.21.140
/30
deny from 38.118.42.32
/29
deny from 65.213.208.128
/27
deny from 65.222.176.96
/27
deny from 65.222.185.72
/29
 
Deny from env
=bad_bot
</Limit
Bu trafiğin botlardan kaynaklandığı düşüncesiyle, önce .htaccess dosyamızda Yandex'i, kusura bakmasın vallahi, Bad_bot olarak tanımlayıp engelledik. Çare oldu mu derseniz, çok az bir miktar...

Sorun tamamen geçmediği için ikinci önlemi devreye koyduk:

description">PHP- Kodu:
Sitemaphttps://webmaster.bbs.tr/xmlsitemap.php

User-agent: *
Disallow: /cgi-bin/
Disallow: /includes/
Disallow: /vb/
Disallow: /packages/

User-agentAcunetix
Disallow
: /

User-agentFHscan
Disallow
: /

User-agentGoogle 
Crawl
-delay5

User
-agentBingBot 
Crawl
-delay5

User
-agentYandex 
Crawl
-delay30

User
-agentYandexBot 
Crawl
-delay60

User
-agentYandexMedia 
Crawl
-delay60

User
-agentYandexImages 
Crawl
-delay60

User
-agentYandexNews 
Crawl
-delay60

User
-agentYandexPagechecker 
Crawl
-delay100

User
-agentBaiduSpider 
Crawl
-delay100

User
-agentBaidu 
Crawl
-delay100

User
-agentMail.Ru 
Crawl
-delay30

User
-agentOdklBot 
Crawl
-delay100 
robots.txt dosyamızda Google ve Bing de dahil olmak üzere Yandex ve Mail.Ru botlarına indeksleme için gecikme kuralı belirledik. Bu da çare olmadı mı derseniz, bir miktar daha deriz...

Evet bir miktar daha rahatlattı ama CPU kullanımında dalgalanma devam ediyordu. Biz de mecburen bitirici hamleyi yaptık:

Eklenti 263

Burada görünen, Yandex'e ait olduğu bilinen tüm IP adreslerini engellemek zorunda kaldık. Ve CPU tüketimi % 8-10'a kadar düştü.

Vallahi kusura bakma Yandex Amca, zaten ziyaretçi olarak günlük %2-3 ancak katkın var. Senin bu acımasız bot trafiğin yüzünden ziyaretçilerimizi sitemzden mahrum bırakamazdık.

İşte durum budur. Aynı şeyi yaşayan arkadaşlar, benzer senaryoyu uygulayabilir.