google'ın işi artık çok kolaylaşmış durumda. Webmasterlar SEO altında google ve diğar arama motorları için sitemap.xml dosyaları hazırlıyorlar. Bu dosyalarda site içerisinde mevcut olan her sayfanın linki bulunuyor. Google botları o linklere girdiğinde sayfalar içerisindeki meta tagları arasında gereken keywordlere ve sayfa tanım bilgilerine ulaşıyorlar. O bilgiler de yine webmasterlar tarafından hazırlanmış oluyor. bir de her sitenin root dizininde robots.txt bulunuyor. o txt içerisinde de botların araması gereken dizinleri yada görmezden gelmesini istediğiniz dizinleri yazıp kaydediyorsunuz. Bot o txt dosyasını klavuz olarak kullanıyor.

Botların sitenizi keşfetmesinin de birkaç yolu var. Ya arama motoruna girip ilgili sayfadan sitenizin adresini yazıp kaydediyorsunuz ve arama motorunun botu yazdığınız adresi yokluyor yada bot başka bir sitede dolaşırken sitenizin linkine rastlarsa oraya atlayıp sitenizin bilgilerini çekmeye başlıyor.

ikinci seçenekte şöyle bir kötüye kullanım meydana geliyor. Bazı kendini bilmez site sahipleri her siteye girip yorum kısmına kendi sitesinin adresini yazıyor yada bunu imza olarak yapıştırıyor. webmasterlar'da yorum sekmelerine bir rel="nofollow" kodu atayıp botların o linki takip etmemesini sağlayabiliyorlar.

siteler google'a bilgi gondermez, google ve diger arama motorlarinin botlari dolanir siteleri. (bkz: web crawler) veritabanlari google'a acilmaz ayrica indexlenen kisimlar hep public olarak izin verilen kisimlardir, (bkz: robots.txt)
bu botlar siteleri google serverlarina cekiyorlar, daha sonra senin araman bu indexlenmis kisimlar arasindan en iyileri secilerek yapiliyor.
bu arama yapilacak veritabani nasil bir sey bilmiyorum ama linked web diye bir kavram var, internet orumcek agi gibi sitelerden sitelere baglantilar var, yani cok buyuk bir orumcek agi dusun her bir dugum noktasi bir websitesi.