আপনার ওয়েবসাইটের জন্য নমুনা robots.txt ফাইল

আপনার ওয়েবসাইটের মূলস্থানে সংরক্ষিত একটি robots.txt ফাইল সার্চ ইঞ্জিন স্পাইডারের মতো ওয়েব রোবটকে বলবে যা তাদের ক্রল করার অনুমতি দেওয়া হয়। এটি একটি robots.txt ফাইল ব্যবহার করা সহজ, কিন্তু কিছু জিনিস আপনাকে মনে রাখতে হবে:

  1. কালো টুপি ওয়েব রোবট আপনার robots.txt ফাইল উপেক্ষা করবে। সর্বাধিক সাধারণ ধরনের ম্যালওয়ার বট এবং রোবটগুলি ফসলের ইমেইল ঠিকানাগুলি খুঁজছে।
  2. কিছু নতুন প্রোগ্রামার Robots.txt ফাইল উপেক্ষা করে এমন রোবট লিখবে। এটি সাধারণত ভুল করে করা হয়।
  1. যে কেউ আপনার robots.txt ফাইল দেখতে পারেন। তারা সবসময় robots.txt বলা হয় এবং সবসময় ওয়েবসাইটের মূল স্থানে সংরক্ষণ করা হয়।
  2. পরিশেষে, যদি কেউ আপনার robots.txt ফাইলটি এমন কোনও ফাইল বা ডিরেক্টরি থেকে সরিয়ে দেয় যা তার robots.txt ফাইলটি বাদ না দেওয়া হয় তবে সার্চ ইঞ্জিনগুলি এটির যেকোনো উপায়ে খুঁজে পেতে পারে।

Robots.txt ফাইলগুলি গুরুত্বপূর্ণ কিছু লুকানোর জন্য ব্যবহার করবেন না পরিবর্তে, আপনি সুরক্ষিত পাসওয়ার্ডের পিছনে গুরুত্বপূর্ণ তথ্য রাখা বা সম্পূর্ণরূপে ওয়েবে বন্ধ এটি রাখা উচিত।

কিভাবে এই নমুনা ফাইল ব্যবহার করুন

নমুনা থেকে পাঠ্য অনুলিপি করুন যা আপনি যা করতে চান তার নিকটতম, এবং এটি আপনার robots.txt ফাইলের মধ্যে আটকে দিন। আপনার পছন্দের কনফিগারেশন মেলানোর জন্য রোবট, ডিরেক্টরি এবং ফাইলের নাম পরিবর্তন করুন।

দুটি মৌলিক Robots.txt ফাইলগুলি

ব্যবহারিক দূত: *
বাতিল করুন:

এই ফাইলটি যে কোনও রোবট (ব্যবহারকারী-এজেন্ট: *) অ্যাক্সেস করে তা এই সাইটে প্রতিটি পৃষ্ঠাকে উপেক্ষা করা উচিত বলে দাবি করে (অঞ্জলী: /)।

ব্যবহারিক দূত: *
নামঞ্জুর করুন:

এই ফাইলটি যে কোনও রোবট (ব্যবহারকারী-এজেন্ট: *) অ্যাক্সেস করে তা সাইটের প্রতিটি পৃষ্ঠাকে দেখার অনুমতি দেয় (অনুমতি দেয় না:)।

আপনি আপনার robots.txt ফাইলটি ফাঁকা রাখুন বা আপনার সাইটে কোনও একটিকে না রেখে এটি করতে পারেন।

রোবট থেকে নির্দিষ্ট ডিরেক্টরি সংরক্ষণ করুন

ব্যবহারিক দূত: *
অস্বীকার করুন: / সিবি-বিন /
বাতিল করুন: / temp /

এই ফাইলটি যে কোনও রোবট (ব্যবহারকারী-এজেন্ট: *) অ্যাক্সেস করে তা নির্দেশ করে যে ডিরেক্টরিগুলি / cgi-bin / এবং / temp / (অনুপস্থিত: / cgi-bin / Disallow: / temp /) উপেক্ষা করা উচিত।

রোবট থেকে নির্দিষ্ট পৃষ্ঠাগুলি রক্ষা করুন

ব্যবহারিক দূত: *
অননুমোদিত করুন: / jenns-stuff.htm
বাতিল করুন: /private.php

এই ফাইলটি যে কোনও রোবট (ইউজার-এজেন্ট: *) অ্যাক্সেস করে তা বলে যে ফাইলগুলি /jenns -stuff.htm এবং /private.php (অক্ষম করুন: /jenns -stuff.htm অনুমতি নেই: /private.php)

আপনার সাইট অ্যাক্সেস থেকে একটি নির্দিষ্ট রোবট রোধ করুন

ব্যবহারকারী-এজেন্ট: লিকোস / এক্সএক্স
বাতিল করুন:

এই ফাইলটি বলে যে লিকোস বট (ব্যবহারকারী-এজেন্ট: লিকোস / এক্সএক্স) সাইটে যেকোনো জায়গায় অ্যাক্সেসের অনুমতি নেই (অনুমতি নেই: /)।

শুধুমাত্র একটি নির্দিষ্ট রোবট অ্যাক্সেসের অনুমতি দিন

ব্যবহারিক দূত: *
বাতিল করুন:
ব্যবহারকারী-এজেন্ট: Googlebot
নামঞ্জুর করুন:

এই ফাইলটি প্রথম আমরা যেমন করেছি সব রবোটগুলিকে অনুমোদন করে না এবং তারপর স্পষ্টভাবে Googlebot (ব্যবহারকারীর এজেন্ট: Googlebot) এর কাছে সবকিছু অ্যাক্সেস করতে দেয় (দাবি জানান:)।

আপনি চান Exclusions সঠিকভাবে একাধিক লাইন একত্রিত করুন

যদিও এটি একটি খুব সমন্বিত ব্যবহারকারী এজেন্ট লাইন ব্যবহার করা ভালো, ব্যবহারকারী এজেন্টের মতো: *, আপনি যতটা পছন্দ করেন সেই হিসাবে আপনি নির্দিষ্ট হতে পারেন। মনে রাখবেন যে রোবটগুলি যাতে ফাইলটি পড়তে পারে তাই যদি প্রথম লাইন বলে যে সব রোবট সবকিছু থেকে অবরুদ্ধ, এবং পরে ফাইলের মধ্যে এটি বলছে যে সব রোবট সবকিছু অ্যাক্সেস অনুমতি দেওয়া হয়, রোবট সবকিছু অ্যাক্সেস থাকবে।

আপনি আপনার robots.txt ফাইল সঠিকভাবে লিখেছেন কিনা তা নিশ্চিত না হলে, আপনি আপনার robots.txt ফাইলটি চেক করতে অথবা একটি নতুন লিখতে Google এর ওয়েবমাস্টার সরঞ্জামগুলি ব্যবহার করতে পারেন।