erkolay
10.Eylül.2015, 19:43
Bu sabahtan öğleye kadar hiç olmadığı kadar Yandex botlarının hışmına uğradık. Öyle ki birkaç saatte fazladan 8K tekil, 23K çoğul hit gibi bir trafikle CPU limitlerini zorladı. Uzun bir süre %85 - 100 arasında tüketim sağlıyordu.
265
Bu trafik, Google Analytics kayıtlarında görünmüyor. Ancak Adsense hesabımıza girdiğimizde sayfa gösterimlerinin Rusya'dan 23K olarak geldiği görünüyor.
264
Burada sadece sayfa gösterimi olup da Rusya'dan tek reklam tıklamasının olmayışı bize net olarak gösterdi ki bir botun marifeti ile karşı karşıyayız. Tabi sözkonusu Rusya olunca akla hemen Yandex geliyor. Tabi hemen Google Adsense panelimiz üzerinden bu konuyla ilgili bir bildirimde bulunduk: "Rusya'dan sanırım botlar aracılığı ile olağanüstü trafik almaktayız. Bu olayla ilgimiz ve kaynak hakkında bir bilgimiz yoktur. Bilgilerinize sunarız" diye yazdık.
# Vulnerability Scanners
SetEnvIfNoCase User-Agent "Acunetix" bad_bot
SetEnvIfNoCase User-Agent "FHscan" bad_bot
# Aggressive Chinese Search Engine
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
# Aggressive Russian Search Engine
SetEnvIfNoCase User-Agent "Yandex" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
# Cyveillance
deny from 38.100.19.8/29
deny from 38.100.21.0/24
deny from 38.100.41.64/26
deny from 38.105.71.0/25
deny from 38.105.83.0/27
deny from 38.112.21.140/30
deny from 38.118.42.32/29
deny from 65.213.208.128/27
deny from 65.222.176.96/27
deny from 65.222.185.72/29
Deny from env=bad_bot
</Limit>
Bu trafiğin botlardan kaynaklandığı düşüncesiyle, önce .htaccess dosyamızda Yandex'i, kusura bakmasın vallahi, Bad_bot olarak tanımlayıp engelledik. Çare oldu mu derseniz, çok az bir miktar...
Sorun tamamen geçmediği için ikinci önlemi devreye koyduk:
Sitemap: https://webmaster.bbs.tr/xmlsitemap.php
User-agent: *
Disallow: /cgi-bin/
Disallow: /includes/
Disallow: /vb/
Disallow: /packages/
User-agent: Acunetix
Disallow: /
User-agent: FHscan
Disallow: /
User-agent: Google
Crawl-delay: 5
User-agent: BingBot
Crawl-delay: 5
User-agent: Yandex
Crawl-delay: 30
User-agent: YandexBot
Crawl-delay: 60
User-agent: YandexMedia
Crawl-delay: 60
User-agent: YandexImages
Crawl-delay: 60
User-agent: YandexNews
Crawl-delay: 60
User-agent: YandexPagechecker
Crawl-delay: 100
User-agent: BaiduSpider
Crawl-delay: 100
User-agent: Baidu
Crawl-delay: 100
User-agent: Mail.Ru
Crawl-delay: 30
User-agent: OdklBot
Crawl-delay: 100
robots.txt dosyamızda Google ve Bing de dahil olmak üzere Yandex ve Mail.Ru botlarına indeksleme için gecikme kuralı belirledik. Bu da çare olmadı mı derseniz, bir miktar daha deriz...
Evet bir miktar daha rahatlattı ama CPU kullanımında dalgalanma devam ediyordu. Biz de mecburen bitirici hamleyi yaptık:
263
Burada görünen, Yandex'e ait olduğu bilinen tüm IP adreslerini engellemek zorunda kaldık. Ve CPU tüketimi % 8-10'a kadar düştü.
Vallahi kusura bakma Yandex Amca, zaten ziyaretçi olarak günlük %2-3 ancak katkın var. Senin bu acımasız bot trafiğin yüzünden ziyaretçilerimizi sitemzden mahrum bırakamazdık.
İşte durum budur. Aynı şeyi yaşayan arkadaşlar, benzer senaryoyu uygulayabilir.
265
Bu trafik, Google Analytics kayıtlarında görünmüyor. Ancak Adsense hesabımıza girdiğimizde sayfa gösterimlerinin Rusya'dan 23K olarak geldiği görünüyor.
264
Burada sadece sayfa gösterimi olup da Rusya'dan tek reklam tıklamasının olmayışı bize net olarak gösterdi ki bir botun marifeti ile karşı karşıyayız. Tabi sözkonusu Rusya olunca akla hemen Yandex geliyor. Tabi hemen Google Adsense panelimiz üzerinden bu konuyla ilgili bir bildirimde bulunduk: "Rusya'dan sanırım botlar aracılığı ile olağanüstü trafik almaktayız. Bu olayla ilgimiz ve kaynak hakkında bir bilgimiz yoktur. Bilgilerinize sunarız" diye yazdık.
# Vulnerability Scanners
SetEnvIfNoCase User-Agent "Acunetix" bad_bot
SetEnvIfNoCase User-Agent "FHscan" bad_bot
# Aggressive Chinese Search Engine
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
# Aggressive Russian Search Engine
SetEnvIfNoCase User-Agent "Yandex" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
# Cyveillance
deny from 38.100.19.8/29
deny from 38.100.21.0/24
deny from 38.100.41.64/26
deny from 38.105.71.0/25
deny from 38.105.83.0/27
deny from 38.112.21.140/30
deny from 38.118.42.32/29
deny from 65.213.208.128/27
deny from 65.222.176.96/27
deny from 65.222.185.72/29
Deny from env=bad_bot
</Limit>
Bu trafiğin botlardan kaynaklandığı düşüncesiyle, önce .htaccess dosyamızda Yandex'i, kusura bakmasın vallahi, Bad_bot olarak tanımlayıp engelledik. Çare oldu mu derseniz, çok az bir miktar...
Sorun tamamen geçmediği için ikinci önlemi devreye koyduk:
Sitemap: https://webmaster.bbs.tr/xmlsitemap.php
User-agent: *
Disallow: /cgi-bin/
Disallow: /includes/
Disallow: /vb/
Disallow: /packages/
User-agent: Acunetix
Disallow: /
User-agent: FHscan
Disallow: /
User-agent: Google
Crawl-delay: 5
User-agent: BingBot
Crawl-delay: 5
User-agent: Yandex
Crawl-delay: 30
User-agent: YandexBot
Crawl-delay: 60
User-agent: YandexMedia
Crawl-delay: 60
User-agent: YandexImages
Crawl-delay: 60
User-agent: YandexNews
Crawl-delay: 60
User-agent: YandexPagechecker
Crawl-delay: 100
User-agent: BaiduSpider
Crawl-delay: 100
User-agent: Baidu
Crawl-delay: 100
User-agent: Mail.Ru
Crawl-delay: 30
User-agent: OdklBot
Crawl-delay: 100
robots.txt dosyamızda Google ve Bing de dahil olmak üzere Yandex ve Mail.Ru botlarına indeksleme için gecikme kuralı belirledik. Bu da çare olmadı mı derseniz, bir miktar daha deriz...
Evet bir miktar daha rahatlattı ama CPU kullanımında dalgalanma devam ediyordu. Biz de mecburen bitirici hamleyi yaptık:
263
Burada görünen, Yandex'e ait olduğu bilinen tüm IP adreslerini engellemek zorunda kaldık. Ve CPU tüketimi % 8-10'a kadar düştü.
Vallahi kusura bakma Yandex Amca, zaten ziyaretçi olarak günlük %2-3 ancak katkın var. Senin bu acımasız bot trafiğin yüzünden ziyaretçilerimizi sitemzden mahrum bırakamazdık.
İşte durum budur. Aynı şeyi yaşayan arkadaşlar, benzer senaryoyu uygulayabilir.