Wget ইউটিলিটি আপনাকে লিনাক্স কমান্ড লাইন ব্যবহার করে ওয়েবে ওয়েব পেজ, ফাইল এবং ইমেজ ডাউনলোড করতে দেয়।
আপনি কোনও সাইট থেকে ডাউনলোড করার জন্য একটি একক wget কমান্ড ব্যবহার করতে পারেন বা বিভিন্ন সাইট জুড়ে একাধিক ফাইল ডাউনলোড করতে একটি ইনপুট ফাইল সেট করতে পারেন।
ম্যানুয়াল পৃষ্ঠা অনুযায়ী wget ব্যবহার করা যেতে পারে এমনকি যখন ব্যবহারকারী সিস্টেম থেকে লগ আউট হয়। এটি করার জন্য আপনি নোহ কমান্ড ব্যবহার করবেন।
Wget ইউটিলিটি একটি ডাউনলোডের পুনরায় চেষ্টা করবে যখন সংযোগ বন্ধ হয়ে যাবে, সংযোগ রিটার্ন করার সময় এটি বন্ধ করা হলে তা বন্ধ করা হবে।
আপনি wget ব্যবহার করে পুরো ওয়েব সাইটগুলি ডাউনলোড করতে পারেন এবং স্থানীয় উৎসগুলিতে লিঙ্কগুলি রূপান্তর করতে পারেন যাতে আপনি একটি ওয়েবসাইট অফলাইনে দেখতে পারেন।
Wget এর বৈশিষ্ট্য নিম্নরূপ হয়:
- HTTP, HTTPS এবং FTP ব্যবহার করে ফাইলগুলি ডাউনলোড করুন
- ডাউনলোডগুলি পুনরায় চালু করুন
- আপলোড করা ওয়েব পৃষ্ঠাগুলি আপেক্ষিক ইউআরএলে পরম লিঙ্কগুলিতে রূপান্তর করুন যাতে ওয়েবসাইটগুলি অফলাইনে দেখা যায়
- HTTP প্রক্সি এবং কুকি সমর্থন করে
- স্থায়ী HTTP সংযোগ সমর্থন করে
- আপনি লগ ইন করা হয় না, এমনকি যখন পটভূমিতে রান করতে পারেন
- লিনাক্স এবং উইন্ডোজ এ কাজ করে
কিভাবে wget ব্যবহার একটি ওয়েবসাইট ডাউনলোড করতে
এই গাইডের জন্য, আমি আপনাকে দেখাব কিভাবে আমার ব্যক্তিগত ব্লগটি ডাউনলোড করতে হয়।
ভিজিট www.everydaylinuxuser.com
এটি mkdir কমান্ড ব্যবহার করে আপনার মেশিনে আপনার নিজস্ব ফোল্ডার তৈরি করা এবং তারপর cd কমান্ড ব্যবহার করে ফোল্ডারে চলে যাওয়া।
উদাহরণ স্বরূপ:
mkdir dailylinuxuser
সিডি হারিনলিনস
ভিজিট www.everydaylinuxuser.com
ফলাফলটি একটি ইন্ডেক্স.html ফাইল। নিজের উপর, এই ফাইলটি মোটামুটি বেহুদা হিসাবে বিষয়বস্তু এখনও Google থেকে টানা হয় এবং ইমেজ এবং স্টাইলশীট সব এখনও Google এ অনুষ্ঠিত হয়
সম্পূর্ণ সাইট এবং সমস্ত পৃষ্ঠাগুলি ডাউনলোড করার জন্য আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করতে পারেন:
wget -r www.everydaylinuxuser.com
এটি পৃষ্ঠার সর্বোচ্চ স্তরের 5 পর্যায়ে গভীরভাবে ডাউনলোড করে।
5 স্তর গভীর সাইট থেকে সবকিছু পেতে যথেষ্ট হতে পারে না। আপনি নিম্ন স্তরের স্তরের সংখ্যা নির্ধারণ করতে -l সুইচ ব্যবহার করতে পারেন:
wget -r -l10 www.everydaylinuxuser.com
যদি আপনি অসীম পুনরাবৃত্তি চান তবে আপনি নিম্নলিখিতগুলি ব্যবহার করতে পারেন:
wget -r -l inf www.everydaylinuxuser.com
আপনি 0 এর সাথে inf এটিকে প্রতিস্থাপন করতে পারেন যার মানে একই জিনিস।
এখনও একটি সমস্যা আছে। আপনি স্থানীয়ভাবে সমস্ত পৃষ্ঠাগুলি পেতে পারেন কিন্তু পৃষ্ঠাগুলির সব লিঙ্ক এখনও তাদের মূল স্থানে নির্দেশ করে। তাই পেজের লিঙ্কগুলির মধ্যে স্থানীয়ভাবে ক্লিক করা সম্ভব নয়।
আপনি এই সমস্যাটি -কি সুইচ ব্যবহার করে পেতে পারেন যা পেজের সমস্ত লিঙ্কগুলিকে নিম্নোক্তভাবে স্থানীয়ভাবে ডাউনলোড করা সমতুল্য নির্দেশ করে।
wget -r -k www.everydaylinuxuser.com
আপনি একটি ওয়েবসাইটের একটি সম্পূর্ণ আয়না পেতে চাইলে আপনি কেবল নিম্নলিখিত সুইচটি ব্যবহার করতে পারেন যা -r -k এবং -l সুইচগুলি ব্যবহারের জন্য প্রয়োজনীয়তা দূর করে।
wget -m www.everydaylinuxuser.com
অতএব যদি আপনার নিজের ওয়েবসাইট থাকে তবে আপনি এই এক সহজ কমান্ড ব্যবহার করে একটি সম্পূর্ণ ব্যাকআপ করতে পারেন।
একটি পটভূমি কমান্ড হিসাবে wget চালান
আপনি wget পেতে একটি পটভূমি কমান্ড হিসাবে আপনি টার্মিনাল উইন্ডোতে আপনার কাজ সঙ্গে পেতে ফাইল ডাউনলোড করার সময় পেতে পারেন পেতে পারেন।
সহজভাবে নিম্নলিখিত কমান্ড ব্যবহার করুন:
wget -b www.everydaylinuxuser.com
আপনি অবশ্যই সুইচ একত্রিত করতে পারেন। আপনি নিম্নলিখিত কমান্ড ব্যবহার করবে সাইট mirroring যখন পটভূমিতে wget কমান্ড চালানোর জন্য:
wget -b -m www.everydaylinuxuser.com
আপনি এই আরও সহজতর করতে পারেন:
wget -bm www.everydaylinuxuser.com
লগিং
যদি আপনি পটভূমিতে wget কমান্ডটি চালাচ্ছেন তবে আপনি স্ক্রিনে পাঠানো স্বাভাবিক বার্তাগুলি দেখতে পাবেন না।
আপনি একটি লজিক ফাইলে প্রেরিত সমস্ত বার্তাগুলি পেতে পারেন যাতে আপনি লেয়ার কমান্ড ব্যবহার করে যেকোন সময় অগ্রগতি পরীক্ষা করতে পারেন।
Wget কমান্ড থেকে একটি লগ ফাইলের আউটপুট তথ্য নিম্নলিখিত কমান্ডটি ব্যবহার করুন:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
বিপরীত, অবশ্যই, সব কোন লগিং প্রয়োজন এবং পর্দায় কোন আউটপুট প্রয়োজন হয়। সমস্ত আউটপুট বাদ দিতে নিম্নলিখিত কমান্ড ব্যবহার করুন:
wget -q www.everydaylinuxuser.com
একাধিক সাইট থেকে ডাউনলোড করুন
আপনি অনেকগুলি বিভিন্ন সাইট থেকে ডাউনলোড করার জন্য একটি ইনপুট ফাইল সেট আপ করতে পারেন।
আপনার পছন্দের সম্পাদক বা এমনকি বিট কমান্ড ব্যবহার করে একটি ফাইল খুলুন এবং ফাইলের প্রতিটি লাইন থেকে ডাউনলোড করার জন্য কেবল সাইটগুলি অথবা লিঙ্কগুলি তালিকাভুক্ত করুন।
ফাইলটি সংরক্ষণ করুন এবং তারপরে নিম্নলিখিত wget কমান্ডটি চালান:
wget -i / path / to / inputfile
আপনার নিজের ওয়েবসাইট ব্যাক আপ বা ট্রেন এ পড়তে ডাউনলোড করার জন্য কিছু খুঁজে পেতে ছাড়াও, এটি আপনি একটি সম্পূর্ণ ওয়েবসাইট ডাউনলোড করতে চান যে অসম্ভাব্য।
আপনি ইমেজগুলির সাথে একটি একক URL ডাউনলোড করতে বা সম্ভবত ফাইলগুলি যেমন জিপ ফাইল, আইএসও ফাইল বা ইমেজ ফাইলগুলি ডাউনলোড করতে পারেন।
যে মন দিয়ে আপনি ইনপুট ফাইলে নিম্নলিখিত টাইপ টাইপ করতে চান না হিসাবে এটি সময় ভোক্ত করা হয়:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
যদি আপনি বেস URL সর্বদা একই হতে যাচ্ছে জানেন আপনি ইনপুট ফাইল নিম্নলিখিত শুধু উল্লেখ করতে পারেন:
- file1.zip
- file2.zip
- file3.zip
আপনি নিম্নরূপ wget কমান্ডের অংশ হিসাবে মূল URL প্রদান করতে পারেন:
wget -b http://www.myfileserver.com -i / path / to / inputfile
বিকল্প পুনরায় চেষ্টা করুন
যদি আপনি একটি ইনপুট ফাইলের মধ্যে ডাউনলোড করার জন্য ফাইলের একটি সারি স্থাপন করেন এবং ফাইলগুলি ডাউনলোড করার জন্য আপনি আপনার কম্পিউটারকে সারা রাত ধরে চলতে রাখেন তবে আপনি যখন প্রথম সকালে নিচে নামবেন তখন এটি পুরোপুরি বিরক্তিকর হবে যে এটি প্রথম ফাইলের উপর আটকে গিয়েছে এবং সব রাতের পুনরায় চেষ্টা করা হয়েছে।
আপনি নিম্নলিখিত সুইচ ব্যবহার করে retries সংখ্যা উল্লেখ করতে পারেন:
wget -t 10 -i / path / to / inputfile
আপনি উপরের কমান্ডটি -T সুইচ-এর সাথে ব্যবহার করতে ইচ্ছুক হতে পারেন যা আপনাকে সেকেন্ডের মধ্যে একটি টাইমআউট নির্দিষ্ট করার জন্য নিম্নোক্ত নির্দেশ দেয়:
wget -t 10 -T 10 -i / path / to / inputfile
উপরের কমান্ডটি 10 বার পুনরায় চেষ্টা করবে এবং ফাইলের প্রতিটি লিঙ্কের জন্য 10 সেকেন্ডের সাথে সংযোগ স্থাপন করার চেষ্টা করবে।
এটি একটি মোটামুটি বিরক্তিকর যখন আপনি একটি 4 গিগাবাইট ফাইলের 75% আংশিকভাবে আপনার বন্ধ থাকার ড্রপ ব্রডব্যান্ড সংযোগে ডাউনলোড করে ফেলেছেন।
আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করে ডাউনলোডটি বন্ধ করে দেওয়ার জন্য পুনরায় চেষ্টা করার জন্য wget ব্যবহার করতে পারেন:
wget -c www.myfileserver.com/file1.zip
আপনি একটি সার্ভার হ্যামারিং যদি হোস্ট এটা খুব পছন্দ না পারে এবং ব্লক বা শুধু আপনার অনুরোধ হত্যা করতে পারে।
আপনি একটি প্রতীক্ষা সময় নির্দিষ্ট করতে পারেন যা নির্দেশ করে যে প্রতিটি পুনরুদ্ধারের মধ্যে কতক্ষণ অপেক্ষা করতে হবে:
wget -w 60 -i / path / to / inputfile
উপরের কমান্ডটি প্রতিটি ডাউনলোডের মধ্যে 60 সেকেন্ড অপেক্ষা করবে। এটি একক উৎস থেকে প্রচুর ফাইল ডাউনলোড করা হলে এটি কার্যকর।
কিছু ওয়েব হোস্টগুলি ফ্রিকোয়েন্সিটি স্পর্শ করতে পারে এবং যাইহোক আপনাকে অবরুদ্ধ করবে। নিম্নরূপ একটি প্রোগ্রাম ব্যবহার করা হয় না দেখে আপনি এটির জন্য অপেক্ষাকাল র্যান্ডম করতে পারেন:
wget --random-wait -i / path / to / inputfile
ডাউনলোড সীমা রক্ষা
অনেক ইন্টারনেট পরিষেবা প্রদানকারী এখনও আপনার ব্রডব্যান্ড ব্যবহারের জন্য ডাউনলোড সীমা প্রয়োগ করে, বিশেষ করে যদি আপনি একটি শহরের বাইরে থাকেন তবে
আপনি একটি কোটা যোগ করতে চান যাতে আপনি যে ডাউনলোড সীমা ঘটাতে না। আপনি নিম্নলিখিত পদ্ধতিতে এটি করতে পারেন:
wget -q 100m -i / path / to / inputfile
লক্ষ্য করুন যে -q কমান্ড একক ফাইলের সাথে কাজ করবে না।
তাই যদি আপনি একটি ফাইল ডাউনলোড করেন যা আকারে 2 গিগাবাইট হয়, -q 1000m ব্যবহার করে ফাইলটি ডাউনলোড করা বন্ধ হবে না।
কোটা কেবলমাত্র একটি সাইট থেকে recursively ডাউনলোড করা হলে বা একটি ইনপুট ফাইল ব্যবহার করার সময় প্রয়োগ করা হয়।
নিরাপত্তা মাধ্যমে পেতে
কিছু সাইট আপনাকে ডাউনলোড করা সামগ্রীটি অ্যাক্সেস করতে সক্ষম হতে লগ ইন করতে হবে।
আপনি ব্যবহারকারীর নাম এবং পাসওয়ার্ড উল্লেখ করতে নিম্নলিখিত সুইচ ব্যবহার করতে পারেন।
wget --user = yourusername --password = আপনার পাসওয়ার্ড
একটি মাল্টি ইউজার সিস্টেম লক্ষ্য করুন যদি কেউ ps কমান্ড চালায় তবে তারা আপনার ব্যবহারকারীর নাম এবং পাসওয়ার্ড দেখতে সক্ষম হবে।
অন্যান্য ডাউনলোড বিকল্প
ডিফল্টভাবে -R সুইচ সংকলনটি ডাউনলোড করবে এবং ডিরেক্টরিগুলি তৈরি করবে যেমনটি চলবে
আপনি নিম্নলিখিত সুইচ ব্যবহার করে একটি ফোল্ডারে সমস্ত ফাইল ডাউনলোড করতে পারেন:
wget -nd -r
এই বিপরীতটি ডিরেক্টরী তৈরি করতে বাধ্য করা হয় যা নিম্নলিখিত কমান্ড ব্যবহার করে অর্জন করা সম্ভব:
wget -x -r
নির্দিষ্ট ফাইল প্রকারগুলি কিভাবে ডাউনলোড করবেন
যদি আপনি একটি সাইট থেকে recursively ডাউনলোড করতে চান তবে আপনি কেবল একটি নির্দিষ্ট ফাইল টাইপ ডাউনলোড করতে চান যেমন এমপি 3 বা একটি ছবি যেমন পিংজি আপনি নিম্নলিখিত সিনট্যাক্স ব্যবহার করতে পারেন:
wget -a "* .mp3" -r
এর বিপরীত কিছু ফাইল উপেক্ষা করা হয়। সম্ভবত আপনি এক্সিকিউটেবল ডাউনলোড করতে চান না এই ক্ষেত্রে, আপনি নিম্নলিখিত সিনট্যাক্স ব্যবহার করবে:
wget -R "* .exe" -r
Cliget
একটি ফায়ারফক্স এড অন ক্লিগেট রয়েছে। আপনি নিম্নলিখিত উপায় ফায়ারফক্স এ যোগ করতে পারেন।
Https://addons.mozilla.org/en-US/firefox/addon/cliget/- এ যান এবং "ফায়ারফক্সে যোগ করুন" বোতামে ক্লিক করুন।
এটি প্রদর্শিত হলে ইনস্টল বাটন ক্লিক করুন। আপনাকে ফায়ারফক্স পুনরায় চালু করতে হবে।
ক্লাইগেট ব্যবহার করার জন্য একটি পৃষ্ঠা বা ফাইলটি ডাউনলোড করুন যা আপনি ডাউনলোড করতে চান এবং ডান ক্লিক করুন। একটি প্রসঙ্গ মেনু ক্লিগেট নামে আবির্ভূত হবে এবং "wget অনুলিপি" এবং "কার্ল কপি করতে" বিকল্প থাকবে।
"কপি করতে wget" বিকল্পটি ক্লিক করুন এবং একটি টার্মিনাল উইন্ডো খুলুন এবং তারপর ডান ক্লিক করুন এবং পেস্ট করুন। উপযুক্ত wget কমান্ডটি উইন্ডোতে আটকানো হবে।
মূলত, এটি আপনাকে আপনার কমান্ডটি টাইপ করতে হবে।
সারাংশ
Wget কমান্ডটি বিশাল সংখ্যক বিকল্প এবং সুইচগুলির মত।
এটি একটি টার্মিনাল উইন্ডোর মধ্যে নিম্নলিখিত টাইপ করে wget এর জন্য ম্যানুয়াল পৃষ্ঠা পড়া মূল্যবান:
মানুষ wget