Sayfaların erişilememesi ve nedenleri

Eğer üyelerinizin belli bir içeriğe erişmeden önce bir online form doldurmasını istiyorsanız, arama motorlarının bu korumalı sayfaları görme şansları yoktur. Formlar şifre korumalı bir girişi veya gelişmiş bir anketi içerebilir. Her iki durumda da, arama motoru örümcekleri genellikle “giriş” formlarıyla etkileşime geçmezler ve bu yüzden, bir form aracılığıyla erişilen içerik veya linkler arama motorları için görünmezdir.
Ayrıştırılamaz Javascript İçindeki Linkler
Eğer linkleriniz için Javascript kullanıyorsanız, gömülmüş linkleri arama motorlarının taramadığını veya bu linklere çok az ağırlık verdiğini görebilirsiniz. Standart HTML linkler, örümceklerin taramasını istediğiniz her sayfadaki Javascript kodlarının yerini almalı (veya onlarla birlikte bulunmalı).
Meta robot etiketi veya robots.txt ile engellenmiş sayfalara verilen linkler
Meta Robots etiketi ve Robots.txt dosyasının ikisi de, site sahibine, sayfaya örümcek erişimini kısıtlama imkanı verir. Bir webmasterın bu talimatları, dolandırıcı botların erişimini engellemek için bilmeden kullandığını, ama sadece arama motorlarının siteyi taramasını durduğunu keşfettiği konusunda sizi uyarmalıyız.
Frame’ler veya I-frame’ler
Teknik olarak, framelerdeki ve I-Framelerdeki linklerin ikisi de taranabilir, ama ikisi de organizasyon ve takip etme şarlarında arama motorları için yapısal sorunlar çıkarıyor. En iyisi, arama motorlarının framelerdeki linkleri nasıl indekslediği ve takip ettiği hakkında iyi bir teknik anlayışa sahip, üst düzey bir kullanıcı olana kadar bunlardan uzak durmanızdır.
Robotlar arama formları kullanmazlar
Bu, formlar ile ilgili yukarıda belirtilen uyarılarla doğrudan ilgili olsa da, sıkça bahsedilen yaygın bir problemdir. Bazı webmasterlar, sitelerine bir arama kutusu koyarlarsa, arama motorlarının, kullanıcıların aradığı her şeyi bulabileceğine inanırlar. Ne yazık ki, örümcekler içerik bulmak için arama yapmazlar, bu yüzden, milyonlarca sayfa ulaşılamaz duvarların arkasında, taranmış olan bir sayfa ona link verene kadar gizli kalmıştır.
Flash, java veya diğer eklentiler içindeki linkler
Panda sitesinin içinde gömülü olan linkler (yukarıdaki örneğimizden) bu hadisenin mükemmel bir açıklaması. Düzinelerce panda listelenmiş ve Panda sayfasında linklenmiş olmasına rağmen, hiçbir örümcek onlara sitenin link yapısı aracılığıyla ulaşamıyor, arama motorları için görünmez (ve arama yapanlar tarafından bulunamaz) haldeler.
Yüzlerce veya binlerce link ile sayfadaki linkler
Arama motorları bir sayfaya verilen linklerin çoğunu tarar –sonsuz sayıda değil. Bu küçük kısıtlama, spamı engellemek ve sıralamaları korumak için gereklidir. Yüzlerce link barındıran sayfalar, tüm bu linklerin taranmaması ve indekslenmemesi riskine sahiptir.
Eğer bu tehlikelerden kaçınırsanız, örümceklerin içerik sayfanıza kolayca erişebildiği, taranabilir HTML linklere sahip olursunuz.

Linkler, kendi içlerinde birçok nitelik taşıyabilirler, ama arama motorları bunların neredeyse hepsini görmezden gelir, önemli bir istisna olan rel=”nofollow” dışında. Yukarıdaki örnekte, link etiketine rel=nofollow özelliğini ekleyerek, arama motorlarına bizim, site sahiplerinin, bu linkin normal “makale önerisi” olarak algılanmasını istemediğimizi anlattık.
Nofollow, kelimenin tam anlamıyla, arama motorlarına bir linki takip etmemesi talimatını verir (buna rağmen bazıları bunu dikkate almaz). Nofollow etiketi otomatikleştirilmiş blog yorumunu, ziyaretçi defterini ve link ekleme spamlarını durdurmanın bir yolu haline geldi (ortaya çıkışını buradan okuyabilirsiniz), ama zamanla, arama motorlarına, genellikle bir link değerini düşürmeyi anlatan bir yöntem şeklini aldı. Nofollow ile etiketlenmiş linkler her bir arama motoru tarafından farklı yorumlanıyor, ama normal “follow” linklere göre daha az değer verdikleri de açıktır.

Tam tersi olan follow’lar kadar değer görmemelerine rağmen, nofollow linkler çeşitli link profilinin doğal bir parçasıdır. Çok fazla gelen linke sahip bir web sitesi çok sayıda nofollow link biriktirir. Aslında, SEOmoz’un Sıralama Faktörleri, yüksek sıralardaki sitelerin, gelen nofollow linklerin yüzdesinde düşük sıralardaki sitelere göre daha önde olduğunu gösteriyor.

Anahtar Kelime Kullanımı & Hedefleme
Anahtar kelimeler, arama işlemi için temedir –onlar dilin ve aramanın inşaat kolonları. Aslında, tüm bilgi erişim bilimi (Google gibi web tabanlı arama motorları dahil) anahtar kelimeler üzerine kurulu. Arama motorları, internetteki sayfaları taramasına ve indekslemesine göre, anahtar kelime temelli indekslerindeki bu sayfalara dikkat ederler. Bu yüzden, arama motorları 25 milyon web sayfasını bir veri tabanına kaydetmektense, her biri belli bir anahtar kelimeye veya kelime grubuna odaklanmış olan milyonlarca küçük veri tabanına sahiptir. Bu, arama motorlarının bir saniyeden çok daha kısa sürede istedikleri veriyi çekmesini sağlıyor.
Gördüğünüz gibi, eğer sayfanızın arama sonuçlarında “köpek” kelimesi için bir şansı olsun istiyorsanız, “köpek” kelimesinin dokümanınızdaki indekslenebilir içeriğin bir kısmında bulunduğuna emin olun.

Anahtar Kelime Hakimiyeti
Anahtar kelimeler, arama motorlarıyla aramanın amacına ve bütünleşmesine yön verir. Örnek olarak, yaygın bir arama sorgusu şu şekildedir:
Bir arama yapıldığı zaman, arama motoru, arama kutusuna yazılan kelimeleri baz alarak eşleştirir. O kelimelerin sırası (“tank vurma” ve “vurma tank”), heceleme, noktalama ve büyük harf kullanımı gibi diğer veriler, arama motorlarının doğru sayfaları seçmesine ve sıralamasına yardımcı olan ek bilgiler sunar.
Arama motorları bunu başarabilmek için, bir sorguyla ilgili belirli bir belgenin “alakalılığı”nı ölçmek için, sayfalarda kullanılan anahtar kelimeleri analiz eder. Bir sayfanın sıralamasını “optimize etmek” için en iyi yollardan biri, anahtar kelimelerin başlıklarda, metinde ve meta verilerde kullanıldığına emin olmaktır.
Genellikle daha özelleştirilmiş anahtar kelimeleriniz, daha az rekabete girerek şansınızı artırmanızı sağlar. Soldaki harita grafiği pano terimi olan books ile Tale of Two Cities özel başlığı arasındaki ilişkiyi gösteriyor. Dikkat ediyorum da, pano terimi için çok sayıda sonuç (ülkenin büyüklüğü) varken, özel terim için çok daha az sayıda sonuç vardır ve bu yüzden rekabet de düşüktür.