Wenn ich in Edge nach „GenWiki Künstliche Intelligenz“ suche, kommt als oberster Treffer der gesuchte Inhalt. Soweit perfekt. Allerdings wird kein ergänzender Inhalt angezeigt. Stimmt da etwas mit der robots.txt nicht?
GenWiki
https://wiki.genealogy.net/Künstliche_Intelligenz
wiki.genealogy.net
Hier sollte eine Beschreibung angezeigt werden, diese Seite lässt dies jedoch nicht zu.
Aktuell schaut die robots.txt so aus:
User-agent: *
Disallow: /
Damit wird jeglicher Suchmaschinen-Zugriff verboten. Das war vor einiger Zeit schon mal so, dann wurde es (ich glaube von @robertpaessler ) geändert, und jetzt wohl irgendwie wieder zurück. Derzeit dürfte auch Google wieder nichts mehr finden.
Die aktuelle robots.txt kann man übrigens einfach anschauen unter https://wiki.genealogy.net/robots.txt
Danke für den Hinweis! Wenn wir gar nicht durch Suchmaschinen gefunden würden, wäre das ja furchtbar. Wirklich merkwürdig ist, dass die Datei auf der Festplatte zuletzt am 16. Oktober 2022 geändert wurde und so aussieht:
User-agent: *
Allow: /
also das genaue Gegenteil - @robertpaessler, da musst du wohl mal schauen, wo der Inhalt herkommt, der tatsächlich ausgeliefert wird.
Also das verstehe ich wieder nicht. Jesper, am 16.10.2022 hast du selbst im Genstaff geschrieben, dass du die robots.txt angepasst hast. Ist das die TXT in /root/genwiki/mediawiki?
Am 19.04.2023 hat Bernhard geschrieben, dass wir laut Matomo seit längerer Zeit nicht mehr von Suchmaschinen besucht wurden. Daraufhin habe ich die robots.txt bearbeitet.
Kann es sein, dass die robots.txt beim Erstellen des Images mit den Einstellungen
erstellt wird? Denn das Image wurde vor 3 Tagen neu erstellt.