Yandex botların bandwidth arttırması sorunu ve çözümü
Bir senedir yayında olan, yapmış olduğum bir sitede ciddi derecede trafik artması sonucunda inceleme yapmak zorunda kaldım. Normalde ayda en fazla 5 gblik trafik oluşturan site, son zamanlarda 50 gblik trafik oluşturuyordu. Cpanel üzerinden En son ziyaretçiler, hata günlüğü gibi başlıklara girdiğimde belirli iplerden sürekli istek geldiğini gördüm. ip numaralarına whois çektiğimde yandexe ait botlar olduğunu gördüm.
İnternette de araştırma yaparak birçok yol denedim. Robots.txt dosyasında, htaccesste, cpanel ip koruması bölümünde bunları engellemeye çalıştım. Fakat hiç çözüm olmadı. İp koruma ile ipleri engelledim ama her ipden dakikada 30 defa istek geliyor, Access denied uyarısı alıyordu. Yalnız bu da 11700 kb gibi bir trafik götürüyordu.
Htaccess ile sayfaların linklerini değiştirdim, 301 redirect ile başka yerlere yönlendirdim ama yine de çözüm olmadı. Trafikte değişiklik gerçekleşmedi.
Çözüm olarak Cloudflare’i denemek istedim ve şu an sorun çözüldü sayılır. Cloudflare’e sitemi ekledikten sonra domain name serverları Cloudflare’in istediği şekilde değiştirdim. Ve Cloudflare’de Firewall ayarlarında istenmeyen, sürekli istek gönderen ipleri ekledim. Tabii burada eklerken ip aralığı girmeniz gerekebilir. Bana gelen iplerin son bölümü sürekli değişiyordu. 255 ipyi de tek tek girmemek için aralık girmeniz daha yerinde olur. Örneğin 143.80.40.x şeklinde bir ip girmek istediğimizde 143.80.40.0/24 şeklinde girmemiz gerekiyor.
Bu aşamadan sonra Access denied kısmı cloudflarede kalıyor. Hostinge istek gelmiyor. Ve doğal olarak trafik de kullanmıyor.
Benim gibi sorun yaşayanlar olursa umarım bu şekilde sorundan kurtulabilir.
İyi çalışmalar.
ip listesini bizimle de paylaşır mısınız ? 🙁
Aynı dertten müzdaribiz.