wer hat Erfahrung mit den Einstellungen in den Zugangsregeln?
Ich möchte den durch semrush.com verursachten Webtraffic einschränken. Meine
Statistik zeigt mir, dass der Großteil der monatlich mehr als 8 GB Traffic
durch semrush.com (Webcrawler?) verursacht wird.
Mit den Zugangsregeln habe ich bisher noch nicht gearbeitet. Der Aufruf bzw.
deren Aufbereitung dauert sehr lange. Es werden über 1500 Einträge
angezeigt. Wenn ich nach "semrush" filtere, dann erhalte ich 127 Einträge.
- Müssen diese jetzt alle einzeln bearbeitet werden oder gibt es eine
Sammelbearbeitung aller selektierten Einträge?
- Welche Regeleinstellung muss angewandt werden (unbekannt, verweigern,
Webcrawler)?
- Macht es Sinn mit einer robots.txt Datei im Rootverzeichnis zu arbeiten
anstatt der Zugangsregeln in webtrees?
Hallo Peter, da dieser Crawler gerade auch im Forum beschrieben wurde habe ich mal bei mir geschaut und interessanterweise schon folgende, irgendwann mal eingetragene Regeleinstellung gefunden:
0.0.0.0 255.255.255.255 %SemrushBot% verweigern
Die robots.txt zu ändern hat vermutlich wenig Effekt, müsste der Crawler sie doch erst einmal beachten. Eher würde eine Einstellung in der .htaccess wirken. Oder halt in webtrees.
Muss mal schauen, was meine Seite für einen Traffic hat und durch wen ...
Von meinem Provider erhielt ich gestern folgende Nachricht:
hiermit erhalten Sie eine dringende Nachricht zu Ihrem 1&1 IONOS Vertrag.
Vor wenigen Minuten hat unser Anti-Viren-Scanner erkannt, dass eine schädliche Datei auf Ihren Webspace geladen wurde.
Die Datei finden Sie auf Ihrem Webspace unter folgendem Pfad:
~/webtrees/wp-config-sample.php
Um Sie vor gefährlichen Hacker-Angriffen zu schützen, überprüft unser Anti-Viren-Scanner jede Datei auf Ihrem Webspace, die verändert oder neu abgelegt wurde. Werden Anzeichen eines Angriffs erkannt, wird das Ausführen der Datei unterbunden, um gefährliche Folgen abzuwehren. Dazu werden die Dateirechte automatisch geändert, damit ein Aufruf der Datei nicht mehr möglich ist.
Ich habe die Datei gelöscht, sie schien mir auch völlig fremd in dieser Umgebung. Webtrees ist weiterhin ok. Kennt jemand einen solchen Vorgang?
Danke f+r Tipps
Ja, ich habe auch eine WP-Anwendung. Kann natürlich sein, dass ich sie aus Versehen über Filezilla dorthin kopiert habe, Gehört da jedenfalls nicht hin