Wget ist ein Befehlszeilenprogramm, mit dem Sie fast alles herunterladen können, was im Internet verfügbar ist. Der Haken ist, dass es über die Protokolle HTTP, HTTPS oder FTP verfügbar sein sollte. Andernfalls kann Wget es nicht herunterladen. Es gibt verschiedene Möglichkeiten, Wget zu verwenden. Beispielsweise können Sie mit Wget jedes Bild auf einer Website herunterladen, oder Sie können auch eine einzelne Datei herunterladen. Wget kann sogar Downloads fortsetzen, wenn dies möglich ist. Wenn Sie sich fragen, wie Wget funktioniert und was es für Sie tun kann, verwenden Sie Wget :
Wget installieren
1. Installieren von Wget unter macOS Sierra
Bevor wir mit Wget beginnen können, müssen wir es auf unserem System installieren. Glücklicherweise werden die meisten Linux-Distributionen mit vorinstalliertem Wget ausgeliefert, sodass Sie keine zusätzlichen Arbeiten durchführen müssen. Wenn Sie jedoch einen Mac verwenden, müssen Sie Wget installieren. Dies kann leicht mit Homebrew (Download) durchgeführt werden. Wenn Sie Hilfe benötigen, folgen Sie diesen Schritten:
- Zuerst müssen Sie Homebrew auf Ihrem Mac installieren, um Wget herunterladen zu können. Starten Sie dazu einfach das Terminal und geben Sie den folgenden Befehl ein:
/ usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"
- Nach Abschluss des Befehls wird Homebrew auf Ihrem System installiert . Sie können jetzt Homebrew verwenden, um Pakete wie Wget zu installieren. Führen Sie im Terminal einfach den folgenden Befehl aus:
brauen Sie installieren wget
- Homebrew lädt Wget automatisch herunter, entpackt und installiert sie auf Ihrem System. Dieser Schritt kann abhängig von Ihrer Netzwerkgeschwindigkeit einige Zeit in Anspruch nehmen. Sobald der Befehl abgeschlossen ist, sollten Sie Wget auf Ihrem Mac verwenden können. Um zu überprüfen, ob es installiert wurde, verwenden Sie einfach den Befehl:
wget -V
2. Installation von Wget unter Windows
Die Installation von Wget unter Windows erfordert etwas mehr Aufwand, kann jedoch problemlos durchgeführt werden. Wenn Sie Wget auf Ihrem Windows-PC installieren möchten, führen Sie die folgenden Schritte aus:
- Laden Sie zunächst Cygwin herunter und führen Sie dann die heruntergeladene Setup-Datei aus .
- Wenn Sie nach der Standard-Downloadquelle gefragt werden, wählen Sie die Option " Vom Internet installieren " aus und klicken Sie auf "Weiter".
- Wählen Sie ein Installationsverzeichnis für Cygwin sowie ein Verzeichnis aus, in dem Paketdateien für die Installation von Dienstprogrammen gespeichert werden.
- Im nächsten Bildschirm müssen Sie Ihre Internetverbindung auswählen. Wenn Sie einen Proxy verwenden, wählen Sie den Proxy-Typ aus und geben Sie die Details an. Für die meisten Benutzer ist jedoch die Option " Direktverbindung " zu wählen .
- Sie erhalten dann eine Liste mit Spiegeln . Wählen Sie eine dieser Spiegel aus, um Cygwin herunterzuladen. Wenn der Download fehlschlägt, können Sie es mit einem anderen Spiegel erneut versuchen.
- Suchen Sie im nächsten Fenster nach "wget" und klicken Sie in der angezeigten Liste auf das Pluszeichen neben "web" . Hier wird das Kontrollkästchen neben " wget " automatisch ausgewählt. Klicken Sie einfach auf "Weiter".
- Auf dem nächsten Bildschirm werden die Pakete angezeigt, die heruntergeladen werden müssen. Klicken Sie einfach auf "Weiter".
- Nach Abschluss der Installation werden Sie gefragt, ob Sie ein Desktopsymbol erstellen und / oder einen Eintrag zum Startmenü hinzufügen möchten. Dies ist völlig eine Frage der persönlichen Vorlieben, aber ich würde vorschlagen, dass Sie es mindestens zum Startmenü hinzufügen, damit Sie es leicht finden können.
Das ist es. Wget ist jetzt auf Ihrem Windows-PC installiert. Sie können es jedoch nicht über die Eingabeaufforderung ausführen. Stattdessen müssen Sie das Cygwin-Terminal starten und von dort aus Wget verwenden .
Verwendung von Wget
Nachdem wir Wget jetzt auf unserem System installiert haben, wollen wir alle Möglichkeiten kennenlernen, mit denen wir Wget verwenden können, um Dateien, Ordner und sogar ganze Websites aus dem Internet herunterzuladen. Hier sind einige interessante Dinge, die Sie mit Wget auf Ihrem System tun können.
Hinweis : Ich verwende Wget auf einem MacBook Air, auf dem macOS Sierra 10.12.3 Beta ausgeführt wird. Da das Dienstprogramm, das wir verwenden, das gleiche ist (Wget), sind die Befehle auf jedem Betriebssystem, auf dem Sie Wget verwenden, gleich.
1. Verwenden Sie Wget, um Dateien herunterzuladen
Mit Wget können Sie problemlos Dateien aus dem Internet herunterladen. Verwenden Sie einfach den folgenden Befehl
wget
- Laden Sie eine Datei herunter und speichern Sie sie unter einem bestimmten Dateinamen
Dateien auf Servern haben manchmal die seltsamsten Namen, und Sie möchten die Datei herunterladen. Wenn sie von Wget automatisch umbenannt wird, ist das für Sie sinnvoller. Verwenden Sie dazu einfach den folgenden Befehl
wget -o
- Laden Sie nur bestimmte Dateitypen herunter
Ein Webserver kann mehrere verschiedene Dateien hosten. Was ist, wenn Sie nur alle PDFs auf dem Server oder vielleicht alle GIFs herunterladen möchten? Verwenden Sie einfach den folgenden Befehl:
wget -r -A pdf
Dieses spezielle Kommando wurde von Mark Zuckerberg in seinem Harvard-Schlafsaal verwendet, um alle Bilder mit einem einzigen Befehl herunterzuladen und die berüchtigte Website „facesmash.com“ zu erstellen.
wget -r -A jpg, jpeg, png, bmp
2. Laden Sie Dateien von mehreren URLs mit Wget herunter
Nehmen wir an, Sie müssen Dateien von verschiedenen Orten im Internet herunterladen. Es gibt möglicherweise eine PDF-Datei in URL1, eine wichtige ZIP-Datei in URL2 und etwas anderes in URL3 . Wenn Sie Wget auf herkömmliche Weise verwendet haben, müssen Sie es dreimal ausführen. Es gibt jedoch einen wesentlich einfacheren Weg, dies zu tun.
- Erstellen Sie zunächst eine Datei mit allen URLs, von denen Sie Daten herunterladen müssen. Stellen Sie sicher , dass Sie jede URL in einer eigenen Zeile behalten . Speichern Sie die Datei und stellen Sie sicher, dass Sie sich an den Namen erinnern.
- Verwenden Sie in Terminal den folgenden Befehl, um Dateien von allen URLs herunterzuladen:
wget -i
Dabei ist " Dateiname " der Name der von Ihnen erstellten Datei mit allen URLs, von denen Sie Zeug herunterladen mussten.
3. Laden Sie eine gesamte Website mit Wget herunter
Ja, das hast du richtig gelesen. Mit Wget können Sie auch den Inhalt einer gesamten Website herunterladen. Wenn die Website zu groß ist, wird dieser Befehl natürlich eine Weile dauern, ganz zu schweigen von der Tatsache, dass er viel Platz auf Ihrem System beansprucht. Wenn Sie Wget verwenden möchten, um eine gesamte Website herunterzuladen, verwenden Sie einfach den folgenden Befehl:
wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL
Dadurch wird die gesamte Website in einen Ordner " LOCAL-DIR " in Ihrem Arbeitsverzeichnis heruntergeladen. Die Dateien der Website werden dank " WEBSITE-URL " in einem Ordner mit demselben Namen wie die Website gespeichert .
4. Verwenden Sie Wget als Web Spider
Sie können Wget auch als Web-Crawler (oder Web-Spider) fungieren lassen. Dies ist hilfreich, wenn Sie bestätigen möchten, dass die URL der Datei, die Sie herunterladen möchten, gültig ist . Um Wget als Webspider zu verwenden und die Gültigkeit von URLs zu überprüfen, verwenden Sie einfach den folgenden Befehl:
wget - spider
Dadurch wird geprüft, ob die von Ihnen erwähnte URL vorhanden ist, und Sie erhalten eine Antwort mit den Ergebnissen der Prüfung.
- Positive Antwort:
- Negative Antwort:
5. Unvollständige Downloads fortsetzen
Dies ist eine weitere wirklich coole Sache, die Wget tun kann. Angenommen, Sie haben eine Datei mit Wget heruntergeladen, aber aus irgendeinem Grund mussten Sie Ihren Laptop herunterfahren. Wenn Sie das nächste Mal versuchen, dieselbe Datei herunterzuladen, kann Wget den Download tatsächlich für Sie fortsetzen. Sie müssen lediglich sicherstellen, dass Sie sich in demselben Ordner befinden, in dem Sie die Datei das letzte Mal heruntergeladen haben, und dann den folgenden Befehl verwenden:
wget -c
Wenn Wget feststellt, dass ein Teil der Datei bereits in Ihrem System vorhanden ist, wird der Download automatisch fortgesetzt.
Hinweis : Wenn die Datei auf dem Server seit dem letzten Download-Versuch geändert wurde, sollten Sie diesen Befehl nicht verwenden, da dies zu einer beschädigten Datei führt, die Sie nicht lesen können.
Wenn der Server keine weiteren Downloads zulässt, weigert sich Wget, den Download von Grund auf zu starten. Wenn Sie den Download von Grund auf starten möchten, müssen Sie zuerst die teilweise heruntergeladene Datei von Ihrem System löschen .
Es gibt einige weitere Bedingungen für die Verwendung dieses Arguments. Weitere Informationen hierzu finden Sie auf der Wget-Manpage.
6. Begrenzen Sie die Downloadgeschwindigkeit
Wenn Sie Wget zum Herunterladen von Dateien verwenden und gleichzeitig im Internet surfen, möchten Sie wahrscheinlich nicht, dass Ihre gesamte Bandbreite von Wget verbraucht wird. Glücklicherweise enthält Wget ein Argument, mit dem Sie die Bandbreite begrenzen können, die Wget zum Herunterladen von Dateien auf Ihrem System verwenden kann:
wget --limit-rate =
Hinweis : Beachten Sie, dass die Geschwindigkeit in Bytes und nicht in Bits angegeben wird. Wenn Sie also Wget -limit-rate = 20k verwenden, wird die Bandbreitennutzung auf 20 kB und nicht auf 20 kb begrenzt.
7. Verwenden Sie Wget, um Dateien von FTP-Servern herunterzuladen
Wenn Sie eine Datei von einem FTP-Server herunterladen müssen, können Sie dies auch mit Wget tun. Verwenden Sie einfach den folgenden Befehl, um Dateien von FTP-Servern herunterzuladen:
wget
- Herunterladen von Dateien von FTP-Servern mit Login
Wenn für Ihren FTP-Server ein Login erforderlich ist, um das Herunterladen von Dateien zu ermöglichen, können Sie die Anmeldeinformationen auch einfach mit Wget übergeben. Verwenden Sie einfach den folgenden Befehl:
wget --ftp-username = USERNAME --ftp-password = PASSWORT
Verwenden Sie Wget ganz einfach, um Dateien aus dem Internet herunterzuladen
Sie können Wget verwenden, um Dateien von überall im Internet herunterzuladen. Während Wget fast immer funktioniert, gibt es bestimmte Server, die den Zugriff auf Wget verhindern. In diesem Fall können Sie versuchen, den –user-agent für Ihren Wget-Befehl zu ändern. Dies ist jedoch keine empfohlene Vorgehensweise, es sei denn, Sie wissen absolut, was Sie tun. In Wget können Sie zum größten Teil Dateien aus dem Internet herunterladen, sofern Sie Zugriff auf die Datei und deren URL haben.
Haben Sie jemals Wget verwendet, um Dateien aus dem Internet herunterzuladen? Teilen Sie uns Ihre Erfahrungen mit der Verwendung von Wget zum Herunterladen von Dateien über die Protokolle HTTP, HTTPS und FTP mit. Wenn Sie andere Verwendungsmöglichkeiten von Wget kennen, von denen Sie glauben, dass sie es verdienen, in diese Liste aufgenommen zu werden, teilen Sie uns dies im Kommentarbereich mit.
