Robots.Txt Nedir?
Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır.
“robots.txt” dosyası arama motorlarına sitenizin belirli bölümlerine erişip erişemeyeceklerini ve dolayısıyla tarama yapıp yapamayacaklarını belirtir. “robots.txt” olarak adlandırılması gereken bu dosya sitenizin kök dizininde olmalıdır.
Sitenizdeki belirli sayfaların taranmasını istemeyebilirsiniz, çünkü arama sonuçlarında bunların bulunması ve gösterilmesi kullanıcılara yararlı olmaz. Eğer arama motorlarının sitenizdeki sayfayı taramasını engellemek istiyorsanız, Google Web Yöneticisi Araçları, bu dosyayı oluşturmanıza yardımcı olacak, kolay kullanılabilen bir robots.txt oluşturucu (robots.txt generator) sağlamaktadır
Arama sonuçlarında görünmemek için bir çok yöntem vardır, örneğin robots bölümüne “NOINDEX” etiketi eklemek, şifre korumalı dizinler için .htaccess kullanmak ve Google Web Yöneticisi Araçlarını kullanarak taranmış içeriği indeksten çıkarmak gibi
Hassas veya gizli bilginin robots.txt ile bloke edilmesi sizi tamamen rahatlatmasın. Eğer bu bağlantılar internette başka bir yerde referans olarak verilmişse (örneğin referans veren bloglarda), bloke ettiğiniz URL’ler arama sonuçlarında referans olarak görüntülenebilir (sadece URL gösterilir, başlık veya özet bilgiverilmez). Ayrıca, Robotları Dışlama Standardı (Robots Exclusion Standard) ile uyumlu olmayan bazı arama motorları, robots.txt dosyasında belirttiğiniz tanımlamalara uygun davranmayabilir.
Nofollow kullanımı:
Sitenizdeki bütün bağlantılar için “nofollow” kullanmak istiyorsanız, sayfanızın <head> etiketinde olması gereken robots meta etiketinde “nofollow” kullanabilirsiniz. Bu yöntem, <meta name=“robots” content=“nofollow”> olarak yazılır.Sayfadaki bütün bağlantılar “nofollow” olarak belirlenmiştir.
Bağlantılarda rel=“nofollow” özelliğinin kullanılması:
Bir bağlantının “rel” değerini “nofollow” olarak ayarlamak, sitenizdeki bazı bağlantıların takip edilmemesini veya bağlantı verilen sayfalara sizin sayfanızın bilgilerinin verilmemesini Google’a söyler. Takip edilmemesi istenen bağlantı değeri, bağlantının etiketine rel=“nofollow” eklenmesiyle elde edilir.
Bu ne zaman yararlı olur? Eğer sitenizde herkesin yorum yapabildiği genel kullanıma açık bir blog bulunuyorsa, bu yorumların içindeki bağlantılarla, site bilgileriniz sorumluluk almak istemediğiniz sayfalara gidebilir. Blog yorum alanları kolaylıkla spam olarak kullanılabilir. Kullanıcıların eklediği bağlantılarda “nofollow” kullanarak sitenizin zorluklarla elde edilen değerinin spam sitelerinde kullanımını engellersiniz
Yorumlara ve mesaj panolarına otomatik olarak “nofollow” ekleyin
Birçok blog yazılım paketinde kullanıcıların eklediği bağlantılara otomatik olarak “nofollow” değeri eklenir, ancak eklenmeyenleri de elle düzenlemek gerekir. Bu öneri aynı zamanda sitenizdeki ziyaretçi defteri, duyuru sayfaları, referans listeleri gibi kullanıcılar tarafından oluşturulan içerik için de geçerlidir.
Eğer diğerleri tarafından oluşturulan bağlantılar için sorumluluk alıyorsanız (örneğin yorum bırakan kişiler güvendiğiniz kişilerse) o zaman bağlantılarda “nofollow” kullanmanıza gerek yok; ancak Google tarafından spam sitesi olarak tanımlanan sitelere bağlantılar verilmesi sitenizin algılanış değerini etkileyebilir. Web Yöneticisi Yardım Merkezi’nde yorum spam’ını engelleme hakkında (örneğin CAPTCHA kullanımı ve yorumların incelendikten sonra yayınlanması gibi) daha fazla ipucu bulabilirsiniz.
CAPTCHA TANIMI:
İnsan ve Bilgisayar Ayrımı Amaçlı Tam Otomatik Genel Turing Testi’nin (Completely Automated Public Turing test to tell Computers and Humans Apart) kısaltması.
CAPTCHA’nın bir örneği Google’un blog servisi olan Blogger’da kullanılmakta. Yorumu ekleyenin bir robot değil de bir insan olduğundan emin olmak için yorumu onaylamadan önce bazı sorular sorulabilir.
Captcha websitelerini botlara karşı koruyan bir programdır. Bunu insanların çözebileceği ama bilgisayar programlarının çözemeyeceği testlerle yapar. Örneğin aşağıdaki resmi bir insan okuyabilecekken, şu anki bilgisayarlar okuyamaz.
Captcha kelimesi ise Luis von Ahn, Manuel Blum, Nicholas Hopper ve John Langford tarafından 2000 yılında konmuştur. Açılımı ise Completely Automated Public Turing test to tell Computers and Humans Apart’tır.
Nerelerde kullanılır?
Bloglara spam yollanmasını önlemek:
Çoğu blog yazarı yorum olarak gelen spamlerin farkındadır. Botlar yazdıkları spam comment’ler sayesinde arama motorlarında spam’i yapılan web sitesinin üst sıralara çıkmasını amaçlıyor. Bu yorumların önüne geçebilmek için captcha kullanılıyor. Bu sayede bloglara yorum yapmak için üye olmaya da gerek kalmıyor. Üye olmayan kullanıcı captcha testini geçtikten sonra insan olduğunu ispatlıyor.
Website üyeliğini kontrol etmek:
Üyelik ile sunulan ücretsiz hizmetlerden botlar kullanılarak milyonlarca üyeliğin alınması sağlanabiliyor. Sistemin bu şekilde milyonlarca email vs. hizmetler vererek çalışmaz hale gelmemesi için captcha kullanılıyor
EMail adreslerini gizlemek:
Spammer’lar spam yapabilmek için email adreslerini kullanıyorlar. Bu email adreslerini bulabilmek için de web’de text araması yapıyorlar. Bunu önlemek için de web sayfalarında bir email adresini görebilmek için öncelikle captcha testini geçmeniz ve insan olduğunuzu ispatlamanız gerekiyor.
Şifreyle giriş sistemlerinde, bildiğiniz üzere, bir hesaba belirli sayıda hatalı giriş uygulandıktan sonra, o hesap belli bir süre kilitleniyor. Botlar, bu kilitlenmeyi kullanarak sistemdeki çoğu hesabın kullanılmaz olmasını hedefliyor.
Mobil sitelerinde Mobil Düzeni:
Görünen o ki, dünya mobil cihaz kullanımına yöneliyor. Cep telefonu kullanıcı sayısı artıyor ve büyük bir kullanıcı kitlesi Google’ın mobil arama sayfasında arama yapıyor. Ancak, mobil site yöneticisi olmak ve mobil arama kullanıcı kitlesine ulaşmak kolay değildir. Mobil siteler normal masaüstü sitelerden yalnızca biçim olarak değil, yönetim yöntemleri ve gerekli uzmanlık açısından da gayet farklıdır. Bu durum karşımıza bir dizi yeni zorluk çıkarır. Birçok mobil site, mobil cihazda görüntüleme düşünülerek tasarlanmıştır, ancak bu tasarımlar arama dostu değildir.
“site:” işlecini kullandığınız halde Web siteniz Google mobil arama sonuçlarında görünmüyorsa, sitenizde şu sorunlardan biri veya her ikisi bulunuyor olabilir.
Googlebot sitenizi bulamıyor olabilir
Arama dizinine eklenebilmesi için, sitenizin Googlebot tarafından taranması gereklidir. Sitenizi yeni oluşturduysanız, henüz siteden haberdar olmayabiliriz. Bu durumda bir Mobil Site Haritası
oluşturun ve Google’a göndererek sitenin varlığından bizi haberdar edin. Mobil Site Haritası, Google Web Yöneticisi Araçları’ndan, standart bir Site Haritası gibi gönderilebilir.
Google’ın mobil URL’lerinizi tanıyabildiğini doğrulayın
Googlebot-Mobile URL’lerinizi taradıktan sonra, her URL’yi inceleyerek, mobil cihazda görüntülenebilir olup olmadığına bakacağız. Cep telefonunda görüntülenemediğini belirlediğimiz sayfalar (normal web dizinine eklenebiliyor olsalar dahi) mobil site dizinimize eklenmez. Bu belirleme, biri “Belge Türü Tanımı (Doc Type Definition - DTD )” bildirimi olmak üzere, çeşitli etkenler temel alınarak yapılır. Mobil dostu URL’lerinizin DTD bildiriminin XHTML Mobile veya Compact HTML (3) gibi uygun bir mobil biçiminde olup olmadığını kontrol edin. Uyumlu bir biçimdeyse, sayfa mobil arama dizininde yer almaya uygundur.
Yorum spam’ı
Blog yorum sütunlarında, mesaj panolarında ve benzeri yerlerde, söz konusu sayfaların içeriğiyle bağlantılı olmayan, gelişigüzel yapılan, reklam vb. amaçlı
yayınlar.
Mobil Site Haritası
Cep telefonları için tasarlanmış web sayfalarının URL’lerini içeren bir XML site haritası. Cep telefonu web içeriğinin URL’leri Google’a gönderilince bu sayfalardan haberdar oluruz ve taramamıza olanak sağlanır.
Kullanıcı aracı
Kullanıcının bir web sitesine erişirken kullandığı yazılım ve donanım.
XHTML Mobile
XHTML Mobile, HTML’den XML’e uyarlamayla yeniden tanımlanan ve ardından cep telefonlarında kullanılacak şekilde değişiklik yapılan bir biçimlendirme dilidir.
Compact HTML
HTML’e benzer bir biçimlendirme dili. Cep telefonlarında, PHS ve PDA’larda görüntülenebilecek web say
Kaynak:
http://support.google.com
http://www.langturk.com
http://www.seocuk.com
http://tr.wikipedia.org
http://www.langturk.com
http://www.seocuk.com
http://tr.wikipedia.org
0 yorum:
Yorum Gönder