[]

robots.txt yardım

bolgger üzerinden blog açtım. arama tercihleride böyle bir seçenek var. az çok araştırdım sanırım kulannıcıların nerelere girebilir giremez onu belirliyor bir nevi sınır gibi.. bunu yazmak pekte kolay değilmiş sanırım. bunu yazmaya nereden başlanmalı, herhangi bir sistem gerekli mi nasıl yazıcaz bir yetkiliye benzer abi cahile anlatır gibi açıklasa çok mesut olurum.. teşşekürşer




 
yanlış sonuca ulaşmışsınız.

kullanıcıların nereye girip giremeyeceğini belirleyen bir şey değil, google, yandex gibi arama motorları sizin sitenizi indexlerken sayfa sayfa gezerler, bu dosya içerisinde allow veya disallow ettiğiniz path'lere bakarak gezerler.

örnek verelim,

ekşi duyurunun anasayfası google'da indexlenmesi gereken bir sayfadır fakat ekşi duyurunun bazı sayfalarının indexlenmesine gerek yoktur. bunlar disallow edilir.

www.eksiduyuru.com


ekşi sözlük için allow ve disallow edilenlere de buradan bakabilirsiniz.

eksisozluk.com

anlayacağınız üzere aslında olay sadece websitenin anadizinine koyulmuş robots.txt adı altında bir dosyadan başka bir şey değil. bu bir standarttır. arama motorları geldiğinde siteadi.com/robots.txt dosyasına bakar ona göre hareket ederler.

www.google.com
www.amazon.com.tr
facebook.com
www.apple.com
www.sahibinden.com
www.spotify.com
medium.com

ilgili örnekleri incleyerek nasıl kullanıldığını anlayabilirsiniz.
  • aziz dostum jack  (09.11.19 01:16:28 ~ 01:19:30) 
1
buraya yazılanların hakları Sir Anthony Hopkins'e aittir.
yazan eden compumaster, ilgilenen eden fader
modere edenler angelus, Artibir, aychovsky, baba jo, basond, compumaster, deckard, fader, fraise, groove salad, kahvegibi, kaymaktutmayansicaksut, kibritsuyu, monstro, pandispanya, robin, ron dennis
bu sitede yazılanların hiçbiri doğru değildir. site içeriği küçükler için sakıncalı olabilir. yazılardan yazarları sorumludur. kaynak göstermeden alıntılanamaz. devlet tarafından atanmış bir kurumun internet üzerinde kimin hangi bilgiye ulaşıp ulaşamayacağına karar vermesi insan haklarına aykırıdır. web siteleri kullanıcıların istekleri doğrultusunda bağlandıkları yerlerdir. kullanıcılar isterlerse bir web sitesine bağlanmayabilirler. bu güçleri ve imkanları mevcuttur. bir kullanıcı bir siteye bağlanmak istiyorsa bu onun tercihi ve hakkıdır. bağlanmak istemiyorsa bu yine onun tercihi ve hakkıdır. halkın kendisine hizmet etmesi için görevlendirdiği kurumlar hadlerini aşıp halka neye ulaşıp ulaşmayacağını bilmeyen cahil cühela muamelesi edemezler. ebeveynlerin çocuklarını sakıncalı içeriklerden koruması için çok sayıda bedava ve ücretli yazılım mevcuttur. bu yazılımlar bir web tarayıcısını kullanmaktan daha karmaşık teknik bilgi gerektirmemektedir. devletin milletini küçük düşürmesi ve ebleh yerine koyması yasaktır. Skimlinks ile linkler üzerinden yönlendirme payı alınmaktadır.