PDA

Orijinalini görmek için tıklayınız : İndex Sorunu ve Çözümleri



kazanova21641
23.Ekim.2014, 20:21
İndex sorunu veya geç indexlenme sorunu özellikle yeni sitelerin çok sık karşılaştığı genel bir sorun olmakla beraber çözüm yolu vardır. Neden site indexlenmiyor? Veya neden sitenin bir kısmı indexlenmiyor sorusu her zaman karşımıza çıkmaktadır. Bu tür index sorunu yaşayan webmaster veya site sahipleri için cevap niteliği taşıyacak detaylı bir analizi aşağıda verilmektedir. Bu makalenin sorunu çözmenizde size yol göstereceğine inanıyorum.


İndex Sorunu’nun Temel Nedenleri:


İndex sorununu temel’de 5 ana sabebe ayırabiliriz. Bunlar sırasıyla;
Arama motorları robotlarının bu site veya dosyadan haberdar değilleridir.
Site, soya veya sitenin bir kısmı arama motorları örümceklerinin erişimine kapalıdır.
Site kara listededir.
Site teknik sorunlar şamamaktadır.
Sitenin bazı bölümleri veya sayfaları kelitesiz veya illegal içerik barındırıyor.


Şimdi bu indexlenme sorununa neden olan bu 5 ana faktörü detaylı bir şekilde inceleyelim:


1 - Arama Motorları’nın Site/ Dosya hakkında haberleri yok.


Arama motorlarının site hakkında bilgisi olmayabilir. Özellikle yeni açılan siteleri ilgilendiren bu problemin çözümü arama motorlarına sitenizi kayıt etmekle mümkün fakat bu sorunun en temel nedeni sitenin açılmasının üzerinden çok kısa zaman geçmiş olması. Bu sorun genelde yeni açılan veya çok geç aralıklarla güncellenen sitelerde yaşanmaktadır. Normal şartlarda Google’ın yeni bir sayfayı veya dosyayı indexlemesi saniyeler alır ama sitenin durumuna göre ve bazı özel durumlarda bu birkaç gün hatta birkaç haftayı alabilir. Aynı şey Yandex içinde geçerlidir. Yeniaçılan bir site eğer arama motorlarına kaydedilmemiş ise arama motorlarının o siteyi bulması ve indexlemesi 2 haftayı bulabilir.


Bu sorunu kısmen aşabilmek için manuel olarak sitenizi Google dizine kaydedin aynı şekilde Yahoo dizinine kayıt yapın, aynı şekilde yeni açılan sitenizi Yandex’de kaydedin.


Site veya Dosyada link yok: Aynı şekilde serverdaki loglardan arama motoru robotlarının siteyi ziyaret ettiğini ama indexlemediğini görüyorsanız bunun bir nedeni de site veya sayfada veya dosyada link olmamasından kaynaklanabilir. Bunun için yeni yayınlanan sayfada bağlantı paylaşarak robota sinyaller verebilir ve sayfayı veya siteyi indexlemesini sağlayabilirsiniz, bu şekilde rorbota sinyal vererek en azından diğer güncellemede indexlenme oranını arttırmış olursunuz. Şunu bilmeniz gerekir ki bir site ne kadar geç güncelleniyorsa arama motorları robotları da siteyi o kadar geç aralıklarla ziyaret eder, buda sitenin geç index almasına neden olur. Eğer sitenin başka bir sorunu olmadığından eminseniz sitenizi daha sık güncelleyerek bu sorunu aşmanız mümkün.


2 - Sitenin Tamamı Veya Bir Kısmı Arama Motorları Örümceklerine Kapalı.


Bazen sitemizin varlığı hakkında arama motorlarını haberi olsa bile, webmasterilerin yaptığı teknik hatalardan dolayı sitenin tamamına veya bir kısmına arama motorları örümceklerinin erişimini engellemiş olabiliriz. Bu durum yeni web sitelerinde özellikle WordPress tabanlı sitelerde yaşanmaktadır. Bilindiği gibi WordPress tabanlı siteler SEO Eklentileri kullanmakta ve otomatik veya manual olarak robot.txt dosyaları oluşturmaktadır. Robot.txt yanlış oluşturulduğunda bilmeyerek sitenin bazı önemli kısmımları veya tamamı arama motoru örümceklerine kapatılabiliyor veya SEO eklentilerinin yanlış ayarlanması sonucu böyle bir problem ortaya çıkabiliyor. Şimdi olası sorunların bazılarını inceleyelim.
Eğer sitenizin indexlenmesini engelleyecek başka bir hata olmadığını düşünüyorsanız bunu kontrol edin. Yetkilendirilmemiş ( Delegation) Domain : Çok seyrek yaşanan bir problemdir. Sahibi olduğu domain için sadece sizin değil bütün kullanıcıların yetkilendirilmiş olduğunu kontrol edin. Bu sorun aynı zamanda sitenin illegal içerikleri yüzünden aldığı şikayetler sonucu da meydana gelebilir. Telif hakları olan içerik paylaşımında belirli bir bölgede domain in yetkilendirilmesi kaldırılabilir. Çok seyrek yaşanan bir durumdur ama vardır. Genelde uyarı yapılır.
Robot.txt engeli: Yeni sitelerde meydaha gelen bazen bilinçsiz, bazen webmasterleri siteyi test ederken arama motorları test sürecini indexlemesin diye ‘‘Disallow:/ marifetiyle siteyi indexe kapatırlar ve bazen bunu unuturlar. Bu durumda robot.txt dosyasını açarak sitenin indexlenmesi gereken bölümleri arama motorları örümceklerine kapatmadığınızdan emin olun.
Meta-robotlar marifetiyle siteyi indexe kapatmak: meta-robots tagları
Kod:
<head>
tagları içerisinde bulunurlar ve siteyi indexe kapatmaya yarayan ikincil elementlerdir. Bazı CMS ler (Content Manager Systems) İçerik Yönetici Sistemleri ( WordPress gibi) bu özelliğin kullanımına ciddi anlamda imkan sağlarlar.Ama her webmaster buna bazen fazla dikkat etmez. Örneğin; Türkiye’de çok ziyaret edilen WordPress tabanlı bir siteden backlink almak için konuk yazar olarak bir makale yayınlamak istediğimizde meta-tag’ın
Kod:
<meta name=”robots” content=”nofollow,noindex” />
şeklinde olması, sitenin en önemli sayfalarını index dışına atmak demektir.
IP veya User-Agent marifetiyle indexe kapatma: Bu sorun hosting firması aracılığı ile çözülebilir. Bir zamanlar Yahoo bu sorunla çok fazla uğraşmıştı. Çünkü hosting firması ve site sahipleri örümceği IP adresinden erişime kapatmışlardı ( çok nadir bir sorundur ama bilgi olarak arşivinizde kalsın). Çok az rastlanan bir durum olmasına rağmen IP nin kara listeye girme durumu da indexlenmeyi engelleyebilir. Bununla akalalı da somut bir örnek vereyim. Paravan olarak kullandığım bir sitemin zamanla geç indexlendiğini ve daha sonra index süresinin hiçbir şey yapmaz isem 2 -3 haftayı bulduğunu gördüm. Yaptığım araştırma sonucu serverda bulunan iki sitenin aldığı cezanın IP ve diğer sitelere yansımasını gördüm. Serveri değiştirince sorun ortadan kalktı.
http-başlık X-ROROBTS-TAG engeli: Çok seyrek olarak kullanılan metodlardan biridir, bu metod aracılığı ile de sitenin tamamı veya bir kısmı indexe kapatılabilir. Mozilla Firefox İçin , ile x-robots-tag ların oluştuğu veya bu sorunun yaşandığı sayfaları kontrol edebilirsiniz.
Flash veya Ajax navigasyon kullanımı: Arama motorları, sitenin barındırdığı flash ve ajax elementlerini indexlemede zorlanırlar. Haliye bu nedenden dolayı site sayfalarını ve içeriklerini de indexleme noktasında sorun yaşayabilirler. Bu elementlerin nasıl çalıştığını görmek için Google Webmaster Araçlarından Index – Googlebot gibi bak kısmından görebilirsiniz.
Noidex ile önemli bölüm ve sayfaların indexini engellemek: Sitenin indexlenmesi istenilmeyen bölümler için kullanılır veya gereksiz kısımların indexlenmesini engellenmek isterken yanlışlıkla gerekli kısımların da engellenmesidir. Yine WordPress tabanlı sitelerde çok sık yapılan hatalardan birisidir.


3 - Site Kara Liste’de:


Bir websitesinin kara listeye girmesi için birkaç sebep olabilir ve bu sebepler sitenin indexlenmesini engellerler. Temel nedenler şunlardır;
Domain Zaten Banlıydı: Bazen banın nedenini çok iyi biliriz ama bazen anlamakta güçlük çekeriz, özellikle yeni alınan domainler’de. Bunun için yeni alınacak domainlerin daha önceden banlanmadığına ve temiz olduğuna dikkat edilmesi gerekir.


Genelde sitenin banlanmasına şunlar neden olur.
Sitenin aşırı derecede optimize edilmesi: site dışı SEO çalışmaları buna neden olur. Spam yapmak, aşırı derecede kalitesiz ve çok sayıda backlink almak veya site içi SEO adına site içeriğini gizleyerek spam yapmak.
Websitesini sadece arama motorları için kurmak. Kullanıcıların faydalanabileceği bilgiden yoksun sadece para kazanma ve arama motorlarını manuple odoklı siteler.
Başka bir sitenin Affilietesi ( Kazanç Ortağı) olmak. ( Aynı siteninin sahibinin başka bir domain de de olan sitesine ortak olmak) (Paravan ile karıştırılmasın. Ki artık paravanlar da risk altında.)
Domain’in kötü bir geçmişi var: Satın almak istediğiniz domain’de daha önce hangi sitenin olduğunu WebArchive’den görebilirsiniz.
İçerik Virüs Yayıyor: Bu maddeyi yazıp yazmamakta biraz çekimser kaldım ama daha sonra yazma gereği hissettim. Eminim ki webmasterler kendi sitelerinde virüs yaymak istemezler ( bir kısım hariç) ama şöyle bir durum söz konusu. Siteleri hackleyerek içeriğe virüs konulabiliyor, bunu yaşayan çok site sahibi var. Siteniz hacklandığında sadece siteyi kurtarmakla kalmayın. Aynı zamanda içeriklerdeki değişikliklere de dikkat edin. Virüs yayan bir değişiklik yapılıp yapılmadığını kontrol edin. Bu durum da sitenin indexlenmesini engeller.


4 - Teknik Sorunlar Var:


Nadiren da olsa sitedeki teknik sorunlardan dolayı sitenin indexlenmesi yavaş veya tamamen olmayabilir. Bunlardan bazılarını şu şekilde sıralamak mümkün.
Yanlış http- Başlığı: Serverin indexe düşecek sayfalar için cevap kodu ‘‘200’’ olmalı. Bunu kontrol etmek için bazı servisler var, bunlardan birtanesi de Firebug eklentisidir.Aynı şekilde webmaster panelinde de index hatası olduğunda bildirilebilir.
Yanlış DOCTYPE: Birkaç sitede karşılaştığım için söyleme gereği hissettim, html kodundaki DOCTYPE önünde bulunan
Kod:
(<?xml veya <script>)
tagları sitenin kısmen veya tamamen indexlenmesini engeller veya yanlış indexler yada kötü indexlenmesine neden olur. Burada html kodunun standartlara uygun olup olmadığı kontrol edilmelidir.
Yanlış Yönlendirmeler ( Redirects): Yanlış yönlendirmelerde seyrek de olsa yapılan hata 301 yönlendirmesi yerine 302 yönlendirmesinin yapılmasıdır, bu yapıldığında indexlenmiş eski bağlantılar yeni bağlantılara dönüşmezler. Çünkü bu durumda sürekli yönlendirme değil geçici belirli bir tarihten sonraki yönlendirmeler baz alınmıştır. Bunun dışında diğer bir yanlış yönlendirme ise rel=canonical dir. Bir üst kısımda yazdığım gibi, bir dosya için yapılması gereken bütün dosyalar için yapıldığında.
Kod Problemleri: Örnekte olduğu gibi, Bilgi Bankası ve İletişim kısmının kod hataları yüzünden Google’da indexlenmiş hali.


NOT: Siteyi ifşa etmemek için küçük resimler kullandım. Site sahibi hata konusunda ayrıca bilgilendirildi.






Latin alfabesi kulanan sitelerde çok nadir olarak da olsa görülen bir hata ama farklı Çince, Rusça v.s farklı alfabeler kullanan sitelerde çok sık karşılanan bir hatadır. Özellikle başlıklarda hatta içeriklerde ve aynı zamanda görsellerde sık sık karşılaşılan bu hata da indexlemeyi zorlaştırır ve engeller.


Rusça bir siteden örnek:


57


Eğer yukarıda belirttiğimiz teknik hataların olmadığına eminseniz ve burada sıraladığımız hataların sitenizde olmadığına, teknik olarak sitenizin mükemmel bir şekilde çalıştığına eminseniz artık site içerisine yönelebilirsiniz. Çünkü sitenin indexlenmesine engel olan geç veya tamamen indexlenmeme sebebi olan site içi hatta içeriği nedenleri mevcut olabilir.


Asıl konuya girmeden önce Arama Motorlarının çalışmalarıyla alakalı kısa bir bilgi vereyim. Arama motorları her index işlemi için farklı örümcekler kullanırlar. Yani örümcekler siteyi bir kere taramazlar. Siteye yeni bir içerik girildiğinde bir örümcek ( bu başlı başına ayrı ve uzun bir konu olduğu için kısa geçiyorum, bu konuyla alakalı daha uzun bir makale daha sonra yayımlanacaktır) gelir ve siteyi tarar, şayet bu örümcek sitede gerçekten kaliteli bir içerik olduğuna karar verirse diğer bir ve farklı fonksiyonlardaki örümcek siteyi tekrar ziyaret eder ve diğerinden çok daha detaylı olarak siteyi yeniden tarar. Şayet ilk örümcek sitedeki içeriğin faydasız ve kalitesiz olduğunu algılarsa diğer örümcek siteyi ziyaret etmez. Bunun sebebi arama motorlarının gereksiz işlemlerle uğraşmak yerin gerçekten kaliteli içeriklere vakit ayırarak zamandan tasarruf etmesidir.


Arama motorlarının çalışmaları hakkında kısa bir bilgi verdikten sonra şimdi asıl konumuza dönelim. Zaten açıklamadan da ne demek istediğimi anlamışsınızdır. Kalitesiz içerik indexleme işlemini doğrudan etkiler.
İçerik Zatan Başka Site’de Var (Kopya İçerik): Arama motorları bir siteye girilen verinin kopya olup olmadığını tarayana kadar anlamazlar bu yüzden ilk etapta iyi bir şekilde indexlerler. Ama daha sonra içeriğinizin aynısını başka sitede de bulurlar ise o zaman sizin sitenizdeki içeriğe değer vermezler hatta sıralamadan tamamen kaybolabilir. Hatta ve hatta Webmaster araçlarında arama motorunun sitenizdeki binlerce sayfasını gördüğünü ama kopya içerik sayfasını görmediğini bile kontrol edebilirsiniz. Şayet arama motoru örümceği başka bir sinyal almaz ise bu böyle kalır. Başka sinyalden kasıt geç indexlenen siteler içindir. Örnek verecek olursak geç indexlenen sitelerin içeriklerini alan diğer siteler, geç indexlelen sitelerin kopyalanan içeriklerini indexleyen arama motorları içeriğin kopya olduğunu anlar ve sırama yerini değiştirir.
İçerik sitenin başka bir bölümü veya sayfasında var: Buradaki sorun başka sitelerden kopyalanan içerikle alakalı değil. Bir sitede aynı içeriğin tekrarlanmasıdır. İçeriğin tamamının veya bir kısmının tekrarlanması indexlenmemesine neden olabilir. Bazı SEO uzmanları içeriğin bir kısmını kopayalabileceğini söyleselerde ben aynı fikirde olmadığımı belirtmek isterim. Bugün içeriğin tamamına önlem alan arama motorları yarın içeriğin bir kısmının kopyalanmasına da önlem almayacağına kim garanti verebilir. Yarını sürekli düşünmek lazım.


NOT: Burada içeriğin bir kısmı derken alıntılardan bahsetmiyorum.
Özgün İçerik Hacmi Düşük, En Az 500 karakter: Site içeriğinin çok az olması arama motorları algoritmalarının sitenizdeki içeriğin değerini diğer site içerikleriyle kıyaslama yapma noktasında zorlanmasına neden olur. 80-100 karakterlik içeriklerle güncellenen sitelerin bırakın ilk sayfalarda sıralanmasını, indexlenmesi bir mucize diyebilirim. Bu şekilde kalitesiz ve içerik hacmi düşük websitelerinin sayfalarını daha çok arama hacmi çok düşük olan anahtar kelimelerin sayfa sıralama sonuçlarında görebiliriz. SEO açısından bir makale veya içeriğin ne kadar uzun olması gerektiği hakkında bir şey diyecek olursak; olabildiğince uzun derim. 250 kelimelik makale furyasını kesinlikle bırakmanızı tavsiye ederim. Mümkün olduğunca uzun ve görsellerle desteklenmiş içerikler oluşturmak bu kısımda anlattığım neden yüzünden indexlenmeyen sitenizin bu sorunun halledecektir.
Çok Fazla Sayıda 404 Sayfası: Aşırı derecede 404 hatası sitenin indexlenmemesine veya kötü indexlenmesine neden olan diğer bir unsurdur. Aşırıcı derecede 400 hatası ayrıca sitenin terkedilmiş olduğuna dair sinyaller verir bu yüzden farklı servisler kullanılarak 404 hatası veren sayfalar (url) ler güncellenmelidir.
Yavaş Site Hızı: Arama motoru örümceklerinin siteyi indexleme hızı sitenin sayfalarının yüklenme hızıyla doğrudan alakalıdır dememiz yanlış olmaz. Sitenin yavaş olması da genelde hosting veya CMS içerik yönetim sitemi ile akalalıdır. Site hızının indexleme ile doğrudan ilişkisi vardır.
Yetersiz Backlink: Sitenizin neden indexlenmediğine dair herhangi bir fikriniz yok ise ve bu konuyla alakalı bir araştırma yaptığınızda genelde verilen cevapların backlink yetersizliğinden kaynaklandığı yönünde iddialarla karşılaşacaksınız. Kısmen bu doğrudur ama tek başına bir sebep değildir. Yani yukarıda şimdiye kadar anlattığımız bütün kusurlar ve hatalar olmadığını varsayalım ve otoriter içerikler paylaştığınızı düşünelim. Ama hiç backlink çakışmadığın bu durumda siteniz Arama Motorları tarafından indexlenir mi? Evet indexlenir. Backlinklerin bir çok faydası olduğu gibi indexlenme süresinin hızlanmasına da yardımcı olduğu kesindir ama en önemli etken değildir.


Şüphesiz burada sıraladığımız faktörler dışında sitenizin indexlenmesine engel olan diğer bir çok faktör vardır. Ben burada en temel problemleri ele alırken, Index sorununa bir çerçeveden değil bir bütün olarak bakmanızı sağlamaya çalıştım. Özellikle yeni ve ceza almış eski sitelerde görünen ve çok sık yaşanan index sorunu birkaç nedenden dolayı da olabilir.


Bunun dışında site haritasının oluşturması, RSS, Sosyal medya çalışması ( Facebook, Twitter, G+) sayfalarının açılması ve buna benzer index süresini azaltacak bir çok faktör var. Bunlar genel olarak bilinen şeyler olduğu için bu makale’de ele almadım. Fakat burada index sorununa neden olan ve bilimeyen veya göz ardı edilen sorunları sıralamaya çalıştım.

RhomaNtiC
29.Ekim.2014, 17:19
Güzel makale, eline sağlık.