ब्लॉगर पर ब्लॉग में रोबो डॉट टेक्स्ट की सेटिंग कैसे करते हैं और ये ब्लॉग के लिए क्यों जरूरी है?

HTML/JavaScript

ब्लॉगर पर ब्लॉग में रोबो डॉट टेक्स्ट की सेटिंग कैसे करते हैं और ये ब्लॉग के लिए क्यों जरूरी है?

किसी भी साइट को Search motors में सही से दिखने या Index होने के लिए जरूरी है कि साइट के robots.txt फाइल में web crawlers के bots को साइट क्रॉल करने की परमिशन दी गई हो।

robots.txt फाइल किसी भी ब्लॉग/वेबसाइट के लिए सबसे Important फाइल होती है। इसे हमेशा root registry में Save किया जाता है।

इसकी सहायता से हम साइट के किसी भी पेज, इमेज, pdf फाइल इत्यादि को Crawl होने से रोक सकते हैं जिसे साइट proprietor guests को नहीं दिखाना चाहता।

इसी फाइल के Predefined rule को search इंजन के bots फॉलो करते हुए साइट Crawl करते हैं।

Robots.txt क्या है?

robots.txt एक साधारण सी Text फाइल होती है। इसका Use सर्च इंजन के bots को ये बताने के लिए होता है कि साइट पर क्या और कैसे Crawl करना है।

ये हमेशा सार्वजनिक रूप से उपलब्ध रहती है। जिसे आप किसी भी साइट के robots.txt फ़ाइल को साइट के Url के अंत मे टाइप कर सर्च कर सकते हैं।

जब भी सर्च इंजन्स के bots या crawlers किसी साइट पर slither करने पहुंचते हैं तो वो सबसे पहले साइट पर मौजूद robots.txt पर पहुंचते हैं।

उसके फ़ाइल में permitted substance को वो क्रॉल करते हैं। यदि किसी साइट पर robots.txt फ़ाइल मौजूद नहीं है तो Crawlers के लिए ये साइट बिना Pass के कहीं भी घूमने जैसा होगा

यानी crawlers किसी भी पेज पर कहीं भी आ जा सकते हैं और जिन कंटेंट्स को नहीं दिखाना है उन्हें भी SERP में दिखा सकते हैं।

हालांकि साइट फिर भी Index होती हैं लेकिन कभी 404 Errors भी बताती हैं। एक बेहतर SEO पहुंच के लिए इसका उपयोग जरूर करना चाहिए।

robots.txt का Use कैसे करें?

यदि आप WordPress या किसी भी CMS User हैं तो जैसा कि ऊपर बताया जा चुका है, आप अपने साइट के अंत मे robots.txt लिखकर चेक कर सकते हैं।

यदि result में खाली या Empty स्क्रीन दिखती है तो इसका मतलब साइट के लिए robots.txt फाइल नहीं बनी है। हालांकि वर्डप्रेस में default रूप में ये फ़ाइल कभी Save रहती है

Post a Comment

1 Comments