วิธีใช้ Wget เพื่อดาวน์โหลดทุกอย่างจากอินเทอร์เน็ต

• 2019

Wget เป็นโปรแกรมอรรถประโยชน์บรรทัดคำสั่งที่สามารถใช้ดาวน์โหลดทุกอย่างที่มีในอินเทอร์เน็ต สิ่งที่จับได้คือมันควรจะใช้ได้ผ่านโปรโตคอล HTTP, HTTPS หรือ FTP มิฉะนั้นจะไม่สามารถดาวน์โหลดได้ มีหลายวิธีที่ Wget สามารถใช้งานได้เช่นคุณสามารถใช้ Wget เพื่อดาวน์โหลดภาพทุกภาพในเว็บไซต์หรือคุณสามารถดาวน์โหลดไฟล์เดียวได้เช่นกัน Wget ยังสามารถทำการดาวน์โหลดต่อได้หากเป็นไปได้ ดังนั้นหากคุณสงสัยว่า Wget ทำงานได้อย่างไรและคุณสามารถทำอะไรได้บ้าง นี่คือวิธีใช้ Wget :

กำลังติดตั้ง Wget

1. การติดตั้ง Wget บน macOS Sierra

ก่อนที่เราจะเริ่มต้นด้วยการใช้ Wget เราจะต้องติดตั้งในระบบของเรา ตอนนี้โชคดีที่การกระจาย Linux ส่วนใหญ่มาพร้อมกับ Wget ที่ติดตั้งไว้ล่วงหน้าดังนั้นคุณจะไม่ต้องทำงานเพิ่มเติมใด ๆ อีก อย่างไรก็ตามหากคุณใช้ Mac คุณจะต้องติดตั้ง Wget สามารถทำได้อย่างง่ายดายโดยใช้ Homebrew (ดาวน์โหลด) หากคุณต้องการความช่วยเหลือใด ๆ ต่อไปนี้เป็นขั้นตอนที่คุณจะต้องปฏิบัติตาม:

• ก่อนอื่นคุณจะต้องติดตั้ง Homebrew บน Mac ของคุณเพื่อดาวน์โหลด Wget หากต้องการทำสิ่งนี้เพียงแค่ เปิด Terminal และพิมพ์คำสั่งต่อไปนี้:

 / usr / bin / ruby ​​-e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)" 

• หลังจากคำสั่งเสร็จสิ้น Homebrew จะถูกติดตั้ง บนระบบของคุณ ตอนนี้คุณสามารถใช้ Homebrew เพื่อติดตั้งแพ็คเกจเช่น Wget ในเทอร์มินัลเพียงรันคำสั่งต่อไปนี้:

 ชงติดตั้ง wget 

• Homebrew จะเริ่มทำการ ดาวน์โหลดแกะและติดตั้ง Wget บนระบบของคุณโดยอัตโนมัติ ขั้นตอนนี้อาจใช้เวลาสักครู่ขึ้นอยู่กับความเร็วเครือข่ายของคุณดังนั้นโปรดอดทนรอ เมื่อคำสั่งเสร็จสิ้นคุณควรจะสามารถใช้ Wget บน Mac ของคุณ หากต้องการตรวจสอบว่าติดตั้งไว้หรือไม่ให้ใช้คำสั่ง:

 wget -V 

2. การติดตั้ง Wget บน Windows

การติดตั้ง Wget บน Windows นั้นต้องใช้ความพยายามอีกเล็กน้อย แต่ก็สามารถทำได้อย่างง่ายดาย หากคุณต้องการติดตั้ง Wget บนพีซี Windows ของคุณเพียงทำตามขั้นตอนด้านล่าง:

• ก่อนอื่นให้ดาวน์โหลด Cygwin จากนั้น เรียกใช้ไฟล์ติดตั้งที่ดาวน์โหลด มา

• เมื่อถามแหล่งดาวน์โหลดเริ่มต้นให้เลือกตัวเลือกที่ระบุว่า " ติดตั้งจากอินเทอร์เน็ต " และคลิกที่ "ถัดไป"

• เลือกไดเรกทอรีการติดตั้ง สำหรับ Cygwin รวมถึงไดเรกทอรีที่จะบันทึกไฟล์แพ็คเกจสำหรับการติดตั้งยูทิลิตี้

• ในหน้าจอถัดไปคุณจะต้องเลือกการเชื่อมต่ออินเทอร์เน็ตของคุณ หากคุณกำลังใช้พร็อกซีให้เลือกประเภทของพร็อกซีที่เป็นและกรอกรายละเอียด อย่างไรก็ตามสำหรับผู้ใช้ส่วนใหญ่ตัวเลือกจะเป็น " การเชื่อมต่อโดยตรง "

• จากนั้นคุณจะเห็น รายการมิเรอ ร์เลือกสิ่งเหล่านี้เพื่อดาวน์โหลด Cygwin หากการดาวน์โหลดล้มเหลวคุณสามารถลองอีกครั้งด้วยมิเรอร์อื่น

• ในหน้าต่างถัดไปค้นหา “ wget” และคลิกเครื่องหมาย บวกถัดจาก “ เว็บ” ในรายการที่ปรากฏขึ้น ที่นี่ช่องทำเครื่องหมายถัดจาก " wget " จะถูกเลือกโดยอัตโนมัติ เพียงคลิกที่ “ ถัดไป”

• หน้าจอถัดไปจะแสดงแพ็คเกจที่ต้องดาวน์โหลด เพียงคลิก “ ถัดไป”

• เมื่อการติดตั้งเสร็จสมบูรณ์คุณจะถูกถามว่าคุณต้องการ สร้างไอคอนเดสก์ท็อป และ / หรือเพิ่ม รายการในเมนูเริ่ม นี่เป็นเรื่องของการตั้งค่าส่วนตัวอย่างสมบูรณ์ แต่ฉันขอแนะนำให้คุณเพิ่มอย่างน้อยในเมนูเริ่มต้นเพื่อให้คุณสามารถค้นหาได้อย่างง่ายดาย

แค่นั้นแหละ. Wget ได้รับการติดตั้งบนพีซี Windows ของคุณแล้ว อย่างไรก็ตามคุณจะไม่สามารถเรียกใช้ได้จากพรอมต์คำสั่ง แต่คุณจะต้อง เปิดใช้งาน Cygwin Terminal และใช้ Wget จากที่นั่น

วิธีใช้ Wget

ตอนนี้เรามี Wget up และทำงานบนระบบของเรามาสำรวจวิธีเจ๋ง ๆ ที่เราสามารถใช้ Wget เพื่อดาวน์โหลดไฟล์โฟลเดอร์และแม้แต่เว็บไซต์ทั้งหมดจากอินเทอร์เน็ต นี่คือสองสิ่งที่น่าสนใจที่คุณสามารถทำได้กับ Wget ในระบบของคุณ

หมายเหตุ : ฉันใช้ Wget บน MacBook Air ที่ใช้ macOS Sierra 10.12.3 เบต้า อย่างไรก็ตามเนื่องจากยูทิลิตี้ที่เราใช้นั้นเหมือนกัน (Wget) คำสั่งจะเหมือนกันในระบบปฏิบัติการใด ๆ ที่คุณอาจใช้ Wget อยู่

1. ใช้ Wget เพื่อดาวน์โหลดไฟล์

คุณสามารถใช้ Wget เพื่อดาวน์โหลดไฟล์จากอินเทอร์เน็ตได้อย่างง่ายดาย เพียงใช้คำสั่งต่อไปนี้

 wget 

• ดาวน์โหลดไฟล์และบันทึกด้วยชื่อไฟล์ที่เฉพาะเจาะจง

บางครั้งไฟล์บนเซิร์ฟเวอร์มีชื่อแปลกที่สุดและคุณอาจต้องการดาวน์โหลดไฟล์และให้ Wget เปลี่ยนชื่อไฟล์เป็นสิ่งที่เหมาะสมสำหรับคุณโดยอัตโนมัติ หากต้องการทำสิ่งนี้เพียงใช้คำสั่งต่อไปนี้

 wget -o 

• ดาวน์โหลดประเภทไฟล์เฉพาะเท่านั้น

เว็บเซิร์ฟเวอร์อาจโฮสต์ไฟล์ต่าง ๆ จำนวนหนึ่ง ดังนั้นถ้าคุณต้องการดาวน์โหลดไฟล์ PDF ทั้งหมดบนเซิร์ฟเวอร์หรืออาจเป็น GIF ทั้งหมดล่ะ เพียงใช้คำสั่งต่อไปนี้:

 wget -r -A pdf 

คำสั่งเฉพาะนี้ถูกนำไปใช้โดย Mark Zuckerberg ในห้องพักหอพักของ Harvard เพื่อดาวน์โหลดภาพทั้งหมดด้วยคำสั่งเดียว

 wget -r -A jpg, jpeg, png, bmp 

2. ดาวน์โหลดไฟล์จากหลาย URL ด้วย Wget

สมมติว่าคุณต้องดาวน์โหลดไฟล์จากหลาย ๆ ที่บนอินเทอร์เน็ต อาจมี ไฟล์ PDF ใน url1, ไฟล์ ZIP สำคัญ ใน url2 และ อย่างอื่นใน url3 หากคุณใช้ Wget ด้วยวิธีดั้งเดิมคุณจะต้องรันสามครั้ง อย่างไรก็ตามมีวิธีที่ง่ายกว่ามากในการทำเช่นนี้

• ก่อนอื่นให้สร้างไฟล์ที่มี URL ทั้งหมดที่คุณต้องการดาวน์โหลดข้อมูล ตรวจสอบให้แน่ใจว่าคุณ เก็บ URL แต่ละรายการไว้ในบรรทัด เดียวกัน บันทึกไฟล์และตรวจสอบให้แน่ใจว่าคุณจำชื่อได้

• ใน Terminal ให้ใช้คำสั่งต่อไปนี้เพื่อดาวน์โหลดไฟล์จาก URL ทั้งหมด:

 wget -i 

โดยที่“ file_name ” เป็นชื่อของไฟล์ที่คุณสร้างขึ้นด้วย URL ทั้งหมดที่ คุณต้องการในการดาวน์โหลดเนื้อหา

3. ดาวน์โหลดเว็บไซต์ทั้งหมดด้วย Wget

ใช่คุณอ่านถูกต้องแล้ว คุณสามารถใช้ Wget เพื่อดาวน์โหลดเนื้อหาของทั้งเว็บไซต์ได้เช่นกัน เห็นได้ชัดว่าถ้าเว็บไซต์มีขนาดใหญ่เกินไปคำสั่งนี้จะใช้เวลาในการทำให้เสร็จไม่ต้องพูดถึงว่ามันจะกินพื้นที่ในระบบของคุณมาก ที่กล่าวว่าหากคุณต้องการใช้ Wget เพื่อดาวน์โหลดทั้งเว็บไซต์เพียงใช้คำสั่งต่อไปนี้:

 wget --mirror -p -P ./LOCAL-DIR เว็บไซต์เว็บไซต์ - URL 

การดำเนินการนี้จะดาวน์โหลดเว็บไซต์ทั้งหมดลงในโฟลเดอร์“ LOCAL-DIR ” ในไดเรกทอรีทำงานของคุณ ไฟล์ของเว็บไซต์จะถูกเก็บไว้ในโฟลเดอร์ที่มีชื่อเดียวกับเว็บไซต์ขอบคุณ“ WEBSITE-URL ”

4. ใช้ Wget เป็น Web Spider

คุณยังสามารถทำให้ Wget ทำตัวเหมือนโปรแกรมรวบรวมข้อมูลเว็บ (หรือเว็บสไปเดอร์) สิ่งนี้มีประโยชน์เมื่อคุณต้องการ ยืนยันว่า URL สำหรับไฟล์ที่คุณต้องการดาวน์โหลดนั้นถูกต้อง หากต้องการใช้ Wget เป็น web spider และตรวจสอบความถูกต้องของ URL เพียงใช้คำสั่งต่อไปนี้:

 wget - แมงมุม 

การดำเนินการนี้จะตรวจสอบว่ามี URL ที่คุณกล่าวถึงอยู่หรือไม่และคุณจะได้รับการตอบกลับแจ้งผลการตรวจสอบให้คุณทราบ

• การตอบสนองเชิงบวก:

• การตอบสนองเชิงลบ:

5. ดำเนินการดาวน์โหลดที่ไม่สมบูรณ์ต่อ

นี่เป็นอีกสิ่งที่ยอดเยี่ยมจริงๆที่ Wget สามารถทำได้ สมมติว่าคุณกำลังดาวน์โหลดไฟล์ด้วย Wget แต่ด้วยเหตุผลบางอย่างคุณต้องปิดแล็ปท็อปของคุณ ครั้งต่อไปที่คุณต้องการลองดาวน์โหลดไฟล์เดียวกันนั้น Wget สามารถ ทำการดาวน์โหลดต่อไปได้ สำหรับคุณ คุณเพียงแค่ต้อง แน่ใจว่าคุณอยู่ในโฟลเดอร์เดียวกับที่คุณดาวน์โหลดไฟล์ครั้งล่าสุด จากนั้นใช้คำสั่งต่อไปนี้:

 wget -c 

เมื่อ Wget เห็นว่ามีไฟล์บางส่วนอยู่ในระบบของคุณแล้วมันจะทำการดาวน์โหลดต่อไปโดยอัตโนมัติ

หมายเหตุ : หากไฟล์บนเซิร์ฟเวอร์มีการเปลี่ยนแปลงตั้งแต่ครั้งสุดท้ายที่คุณพยายามดาวน์โหลดไฟล์คุณไม่ควรใช้คำสั่งนี้เพราะจะทำให้ไฟล์เสียหายที่คุณจะไม่สามารถอ่านได้

นอกจากนี้หากเซิร์ฟเวอร์ไม่อนุญาตให้ดาวน์โหลดอย่างต่อเนื่อง Wget จะปฏิเสธที่จะเริ่มดาวน์โหลดตั้งแต่เริ่มต้น หากคุณต้องการเริ่มการดาวน์โหลดตั้งแต่เริ่มต้นคุณจะต้องลบไฟล์ที่ดาวน์โหลดบางส่วนออกจากระบบของคุณ ก่อน

มีเงื่อนไขเพิ่มเติมในการใช้อาร์กิวเมนต์นี้และคุณสามารถอ่านเพิ่มเติมเกี่ยวกับเรื่องนี้ได้ในหน้า Wget man

6. จำกัด ความเร็วในการดาวน์โหลด

หากคุณใช้ Wget เพื่อดาวน์โหลดไฟล์และท่องอินเทอร์เน็ตไปพร้อม ๆ กันคุณอาจไม่ต้องการให้แบนด์วิดท์ทั้งหมดของคุณถูกใช้งานโดย Wget โชคดีที่ Wget มีอาร์กิวเมนต์ที่คุณสามารถใช้เพื่อ จำกัด จำนวนแบนด์วิดท์ ที่ Wget สามารถใช้สำหรับการดาวน์โหลดไฟล์บนระบบของคุณ:

 wget --limit-rate = 

หมายเหตุ : โปรดจำไว้ว่าความเร็วถูกระบุเป็นไบต์ไม่ใช่ Bits ดังนั้นถ้าคุณใช้ Wget –limit-rate = 20k มันจะ จำกัด การใช้แบนด์วิดท์ที่ 20 kB และไม่ใช่ 20 kb

7. ใช้ Wget เพื่อดาวน์โหลดไฟล์จากเซิร์ฟเวอร์ FTP

หากคุณต้องการดาวน์โหลดไฟล์จากเซิร์ฟเวอร์ FTP คุณสามารถทำได้ด้วย Wget เช่นกัน เพียงใช้คำสั่งต่อไปนี้เพื่อดาวน์โหลดไฟล์จากเซิร์ฟเวอร์ FTP:

 wget 

• ดาวน์โหลดไฟล์จากเซิร์ฟเวอร์ FTP ด้วยล็อกอิน

หากเซิร์ฟเวอร์ FTP ของคุณต้องการล็อกอินเพื่ออนุญาตให้ดาวน์โหลดไฟล์คุณสามารถส่งข้อมูลรับรองด้วย Wget ได้เช่นกัน เพียงใช้คำสั่งต่อไปนี้:

 wget --ftp-ชื่อผู้ใช้ = USERNAME --ftp-password = PASSWORD 

ใช้ Wget เพื่อดาวน์โหลดไฟล์จากอินเทอร์เน็ตได้อย่างง่ายดาย

คุณสามารถใช้ Wget เพื่อดาวน์โหลดไฟล์ได้จากทุกที่บนอินเทอร์เน็ต อย่างไรก็ตามในขณะที่ Wget ทำงานได้เกือบตลอดเวลามีเซิร์ฟเวอร์บางตัวที่ป้องกันการเข้าถึง Wget ในกรณีนี้คุณสามารถลองเปลี่ยน –user-agent สำหรับคำสั่ง Wget ของคุณ อย่างไรก็ตามนั่นไม่ใช่แนวทางปฏิบัติที่แนะนำเว้นแต่คุณจะรู้ว่าคุณกำลังทำอะไรอยู่ ส่วนใหญ่ Wget จะให้คุณดาวน์โหลดไฟล์ใด ๆ จากอินเทอร์เน็ตตราบใดที่คุณสามารถเข้าถึงและ URL ของไฟล์นั้นได้

คุณเคยใช้ Wget เพื่อดาวน์โหลดไฟล์จากอินเทอร์เน็ตหรือไม่? แจ้งให้เราทราบเกี่ยวกับประสบการณ์ของคุณในการใช้ Wget เพื่อดาวน์โหลดไฟล์ผ่านโปรโตคอล HTTP, HTTPS และ FTP นอกจากนี้หากคุณรู้จักการใช้ Wget อื่น ๆ ที่คุณคิดว่าสมควรจะอยู่ในรายการนี้โปรดแจ้งให้เราทราบเกี่ยวกับสิ่งเหล่านี้ในส่วนความคิดเห็นด้านล่าง