Siteniz İçin Robots.txt Nasıl Doğru Olarak Kurulur

Bir web sitesi çalıştırmak Eğer Overkill Olmadan Küçük ve Basit Bir Web Sitesi Oluşturmanın 10 Yolu Overkill olmadan Küçük ve Basit Bir Web Sitesi Oluşturmanın 10 Yolu WordPress bir overkill olabilir. Bu mükemmel servislerin kanıtladığı gibi, WordPress hepsi bu kadar değil ve tüm web sitesi oluşturma işleminin sonu değil. Daha basit çözümler istiyorsanız, seçim yapabileceğiniz çeşitli şeyler var. , muhtemelen bir robots.txt dosyası hakkında bir şeyler duymuşsunuzdur (veya “robotlar dışlama standardı”). Sahip olun ya da olmayın, bunu öğrenmenin zamanı geldi çünkü bu basit metin dosyası sitenizin çok önemli bir parçası. Önemsiz görünebilir, ama ne kadar önemli olduğuna şaşırabilirsin..

Bir robots.txt dosyasının ne olduğuna, ne işe yaradığına ve siteniz için nasıl doğru bir şekilde kurulduğuna bir göz atalım.

Robots.txt Dosyası Nedir??

Bir robots.txt dosyasının nasıl çalıştığını anlamak için, arama motorları hakkında biraz bilgi sahibi olmanız gerekir. Arama Motorları Nasıl Çalışır? Arama Motorları Nasıl Çalışır? Birçok insan için, Google internet. İnternetin kendisinden beri tartışmasız en önemli buluş. Ve arama motorları o zamandan beri çok değişmiş olsa da, temel prensipler hala aynı. . Kısa versiyon, gönderdikleri yoldur. “tarayıcılarının,” bilgi için interneti tarayan programlardır. Daha sonra bu bilgilerin bir kısmını depolarlar, böylece insanları daha sonra yönlendirebilirler.

Bu tarayıcılar olarak da bilinir “botlar” veya “örümcekler,” milyarlarca web sitesinden sayfa bulun. Arama motorları onlara nereye gidecekleri konusunda talimat verir, ancak bireysel web siteleri de botlarla iletişim kurabilir ve hangi sayfalara bakmaları gerektiğini söyleyebilir.

Çoğu zaman, tam tersini yapıyorlar ve onlara hangi sayfaları anlattıklarını söylüyorlar. olmamalı bakıyor olmak Yönetici sayfaları, arka uç portalları, kategori ve etiket sayfaları ve site sahiplerinin arama motorlarında görüntülenmesini istemedikleri diğer şeyler gibi şeyler. Bu sayfalar hala kullanıcılar tarafından görülebilmektedir ve izinleri olan herkesin erişimine açıktır..

Ancak bu örümceklere bazı sayfaları endekslememelerini söyleyerek, robots.txt dosyası herkese bir iyilik yapar. Eğer aradıysanız “Faydalanmak” Bir arama motorunda, idari sayfalarımızın sıralamada yüksek görünmesini ister misiniz? Hayır. Bu kimseye yarar sağlamaz, bu yüzden arama motorlarına onları göstermemelerini söyleriz. Ayrıca, arama motorlarının sitenizi arama sonuçlarında sınıflandırmasına yardımcı olmayabilecek sayfaları incelemelerini engellemek için de kullanılabilir..

Kısacası, robots.txt web tarayıcılarına ne yapacaklarını söyler.

Tarayıcıları robots.txt dosyasını yok sayabilir?

Tarayıcılar hiç robots.txt dosyalarını görmezden geliyor mu? Evet. Aslında, birçok tarayıcı yap boşver. Ancak, genel olarak, bu tarayıcılar saygın arama motorlarından değildir. Spam göndericilerden, e-posta toplayıcılardan ve internette dolaşan diğer otomatik bot türlerinden geliyorlar. Bunu akılda tutmak önemlidir - Robotların dışarıda bırakılma standardını kullanarak botlara uzak durmayı söylemek etkili bir güvenlik önlemi değil. Aslında, bazı botlar olabilir başla sayfalarda onlara gitmemelerini söyle.

Bununla birlikte, arama motorları, doğru şekilde biçimlendirildiği sürece robots.txt dosyanızın dediği gibi olacaktır..

Robots.txt Dosyası Nasıl Yazılır

Bir robot dışlama standart dosyasına giren birkaç farklı parça var. Onları ayrı ayrı burada kıracağım.

Kullanıcı Temsilcisi Beyanı

Hangi botlara bakmaması gerektiğini söylemeden önce, hangi botla konuştuğunuzu belirtmeniz gerekir. Çoğu zaman, bu basit bir bildirim kullanacaksınız “tüm botlar.” Bu gibi görünüyor:

Kullanıcı ajanı: *

Yıldız işareti için duruyor “tüm botlar.” Bununla birlikte, belirli botlar için sayfalar belirleyebilirsiniz. Bunu yapmak için, kurallar koyduğunuz botun adını bilmeniz gerekir. Bu şuna benzeyebilir:

Kullanıcı aracısı: Googlebot [taranmayacak sayfaların listesi] Kullanıcı aracısı: Googlebot-Resim / 1.0 [taranmayacak sayfaların listesi] Kullanıcı aracısı: Bingbot [taranmayacak sayfaların listesi]

Ve bunun gibi. Sitenizi hiç taramasını istemediğiniz bir bot bulursanız, bunu da belirtebilirsiniz..

Kullanıcı temsilcilerinin isimlerini bulmak için useragentstring.com adresini ziyaret edin..

Sayfalara İzin Verme

Robot dışlama dosyanızın ana kısmı budur. Basit bir bildirimle, bir bot veya bot grubuna belirli sayfaları taramamasını söylersiniz. Sözdizimi kolaydır. İşte, sayfadaki her şeye erişime izin vermemeniz. “yönetim” sitenizin dizini:

İzin verme: / admin /

Bu satır botların sitenizi.com/admin, sitenizi.com/admin/login, sitenizi.com/admin/files/secret.html ve yönetici dizini altındaki herhangi bir şeyi taramasını engeller.

Tek bir sayfaya izin vermemek için, bunu izin verme satırında belirtmeniz yeterlidir:

Disallow: /public/exception.html

Şimdi “istisna” sayfa çizilmez, ancak sayfadaki diğer her şey “halka açık” klasör olacak.

Birden fazla dizin veya sayfa eklemek için, bunları sonraki satırlarda listelemeniz yeterlidir:

Disallow: / private / Disallow: / admin / Disallow: / cgi-bin / Disallow: / temp /

Bu dört satır, bölümün başında belirlediğiniz kullanıcı aracısı için geçerli olacaktır..

Botların sitenizdeki herhangi bir sayfaya bakmasını önlemek istiyorsanız, şunu kullanın:

Disallow: /

Botlar İçin Farklı Standartlar Belirlemek

Yukarıda gördüğümüz gibi, farklı botlar için belirli sayfalar belirleyebilirsiniz. Önceki iki öğeyi birleştirdiğinizde, şöyle görünüyor:

Kullanıcı aracısı: googlebot İzin verme: / admin / Disallow: / private / Kullanıcı aracısı: bingbot İzin verme: / admin / Disallow: / private / Disallow: / secret /

“yönetim” ve “özel” bölümler Google ve Bing’de görünmeyecek, ancak Google’ın “gizli” dizini, Bing.

Yıldız kullanıcısı aracısını kullanarak tüm botlar için genel kurallar belirtebilir ve ardından sonraki bölümlerde botlara özel talimatlar verebilirsiniz..

Hepsini bir araya koy

Yukarıdaki bilgilerle birlikte tam bir robots.txt dosyası yazabilirsiniz. En sevdiğiniz metin düzenleyicinizi ateşleyin (Verimlilik için Sublime 11 Sublime Text İpuçları ve Daha Hızlı Bir İş Akışı hayranıyız. 11 Verimlilik için Sublime Metin İpuçları ve Daha Hızlı Bir İş Akışı Sublime Text, birçok programcı için çok yönlü bir metin editörü ve altın standarttır. ipuçları etkin kodlamaya odaklanır, ancak genel kullanıcılar klavye kısayollarını (buradaki) beğeneceklerdir ve botların sitenizin belirli bölümlerinde hoş karşılanmadıklarını bilmelerine izin vermeye başlayacaklar.

Bir robots.txt dosyası örneği görmek isterseniz, herhangi bir siteye gidin ve ekleyin “/robots.txt” sonuna kadar. Dev Bisikletler robots.txt dosyasının bir parçası:

Gördüğünüz gibi, arama motorlarında görünmek istemedikleri epeyce sayfa var. Ayrıca henüz konuşmadığımız birkaç şeyi de eklediler. Robot dışlama dosyanızda başka neler yapabileceğinize bir göz atalım.

Site Haritanızı Bulma

Robots.txt dosyanız, botlara nerede olduğunu söylerse değil gitmek için, site haritanızın tam tersi olur 4 Kolay Adımda Bir XML Site Haritası Nasıl Oluşturulur 4 Kolay Adımda Bir XML Site Haritası Nasıl Oluşturulur İki tür site haritası vardır - HTML sayfası veya bir XML dosyası. Bir HTML site haritası, ziyaretçilere bir web sitesindeki tüm sayfaları gösteren ve genellikle bunlara bağlantılar içeren ve aradıklarını bulmalarına yardımcı olan tek bir sayfadır. Ve arama motorları muhtemelen site haritanızın nerede olduğunu zaten bilse de, tekrar bildirmelerini istemez.

Bir site haritası konumu bildirimi basittir:

Site Haritası: [Site haritasının URL'si]

Bu kadar.

Kendi robots.txt dosyamızda şöyle görünür:

Site Haritası: //www.makeuseof.com/sitemap_index.xml

Hepsi bu kadar..

Tarama Gecikmesi Ayarlama

Tarama gecikmesi yönergesi, belirli arama motorlarına sitenizdeki bir sayfayı ne kadar endeksleyebileceklerini söyler. Bazı arama motorları bunu biraz farklı yorumlasa da, saniye cinsinden ölçülür. Bazıları, bir sonrakiini başlatmak için her gezinmeden sonra beş saniye beklemelerini söyleyen 5 tarama gecikmesini görüyor. Diğerleri bunu her beş saniyede bir yalnızca bir sayfayı taramak için bir talimat olarak yorumladı.

Neden bir tarayıcıya mümkün olduğunca tarama yapmamasını söylesin? Bant Genişliğini Korumak İçin 4 Yollu Windows 10 İnternet Bant Genişliğinizi Azalttı 4 Yollu Windows 10 İnternet Bant Genişliğini Azaltıyor mu Windows 10 İnternet bant genişliğinizi boşa mı harcıyor? İşte nasıl kontrol edeceğiniz ve onu durdurmak için ne yapabileceğiniz. . Sunucunuz trafiğe ayak uydurmakta zorlanıyorsa, bir tarama gecikmesi başlatmak isteyebilirsiniz. Genel olarak, çoğu insan bu konuda endişelenmek zorunda değildir. Ancak yoğun trafik alan büyük siteler biraz deneme yapmak isteyebilir.

Sekiz saniyelik bir tarama gecikmesini nasıl ayarlayacağınız:

Tarama gecikmesi: 8

Bu kadar. Tüm arama motorları yönlendirmenize uymayacaktır. Ama sormaktan zarar gelmez. Sayfalara izin vermemek gibi, belirli arama motorları için farklı tarama gecikmeleri ayarlayabilirsiniz.

Robots.txt Dosyanızı Yüklemek

Dosyanızdaki talimatların tümünü ayarladıktan sonra, sitenize yükleyebilirsiniz. Düz bir metin dosyası olduğundan ve robots.txt adına sahip olduğundan emin olun. Ardından sitenize yükleyin, böylece siteniz.com/robots.txt adresinde bulabilirsiniz..

Bir içerik yönetim sistemi kullanıyorsanız, 10 En Popüler İçerik Yönetim Sistemi Çevrimiçi 10 En Popüler İçerik Yönetim Sistemi Çevrimiçi 10 El kodlu HTML sayfalarının ve CSS'ye hakim olmanın günleri geride kaldı. Bir içerik yönetim sistemi (İYS) kurun ve birkaç dakika içinde dünya ile paylaşacağınız bir web sitesine sahip olabilirsiniz. WordPress gibi, muhtemelen bu konuda yapmanız gereken belirli bir yol vardır. Her içerik yönetim sisteminde farklılık gösterdiğinden, sisteminizin belgelerine bakmanız gerekir..

Bazı sistemlerde dosyanızı yüklemek için çevrimiçi arayüzler de olabilir. Bunlar için, önceki adımlarda oluşturduğunuz dosyayı kopyalayıp yapıştırmanız yeterlidir..

Dosyanızı güncellemeyi unutmayın

Vereceğim son tavsiye, zaman zaman robot dışlama dosyanızı gözden geçirmektir. Siteniz değişir ve bazı ayarlamalar yapmanız gerekebilir. Arama motoru trafiğinizde garip bir değişiklik olduğunu fark ederseniz, dosyayı da incelemek iyi bir fikirdir. Ayrıca standart gösterimin gelecekte değişmesi de mümkündür. Sitenizdeki diğer her şey gibi, arada bir kontrol etmeye değer.

Tarayıcıları sitenizde hangi sayfaların dışında tutuyorsunuz? Arama motoru trafiğinde herhangi bir fark fark ettiniz mi? Tavsiyenizi ve yorumlarınızı aşağıda paylaşın!