गूगल और बिंग जैसे सर्च इंजन बॉट्स का उपयोग वेब पर पेजों को क्रॉल करने, एक साइट से दूसरे साइट पर जाने, उन पेजों के बारे में जानकारी इकट्ठा करने और उन्हें एक इंडेक्स में डालने के लिए करते हैं।
सर्च इंजन डिजिटल दुनिया के लिए पुस्तकालय (library) की तरह हैं।
पुस्तकों की पेज को इकट्ठा करने के बजाय, वे वेब पेजों को इकट्ठा करते हैं।
जब आप किसी सर्च इंजन में कोई प्रश्न टाइप करते हैं, तो वह अपनी Index के सभी वेब पेज को देखता है और उससे जुड़े सबसे सटीक जवाब का परिणाम लौटाने का प्रयास करता है।
ऐसा करने के लिए, यह एक कंप्यूटर प्रोग्राम का उपयोग करता है जिसे एल्गोरिथम कहा जाता है।
इसके बाद, एल्गोरिदम इंडेक्स में Page का विश्लेषण करता है,
गूगल के पहले पेज पर आने के लिए 100 से भी ज्यादा नियम का पालन करना होता है|
इस तरह से सर्च बॉट अनुमान लगाते हैं कि कोई वेबसाइट या वेब पेज खोजकर्ता को वह कितना अच्छा जवाब दे सकता है जो वे खोज रहे हैं।
Paid सर्च विज्ञापनों के विपरीत, इसमें गूगल के पहले पेज पर रैंक होने के लिए आपको कोई भुगतान नहीं करना पड़ता है |