Anzeige von djvu-Dateien nach GenWiki-Update mit Problemen

CompGen-Projekte genwiki-l
1

Bisher wurden die djvu-Dateien in der DigiBib nach Klick auf das Titelbild in einem Anzeigefenster gezeigt mit der Möglichkeit, darin zu zoomen.
Nach dem Update werden mir nur noch jpg-Vorschaudateien angezeigt, in denen ich nicht zoomen kann.
Als Beispiel hier:
https://wiki-de.genealogy.net/Evangelische_Kirche_Deutschlands/Adressbuch_1937

Helmut (Rier)

1 „Gefällt mir“
2

Hallo,

habe ein Ticket dazu auf gemacht, sonst geht das bei den vielen Listen, doppelt Meldungen am Ende verloren.

Gerhard (Stoll)

1 „Gefällt mir“
3

Hallo Helmut,

als Workaround einfach die URL bearbeiten:
https://wiki-alt.genealogy.net/w/index.php?title=Datei:Ev-Kirche-AB-1937.djvu&page=1

dann klappt es auch wieder mit dem Zoom.

4

Könnt ihr bitte noch einmal testen? Bei mir klappt es jetzt mit den DjVu-Dateien.

5

Leider hier nicht.

Getestet mit https://wiki.genealogy.net/index.php?title=Datei:Schleswig-Amtsblatt-1886.djvu&page=2. Beim ersten Aufruf kam das Bild. Als ich zur Seite 599 springen wollte. Gab es eine lange Wartezeit und dann weißer Bildschirminhalt.
Entsprechnedes verhalten bei anderen Büchern.

Hier mit Apple und Firefox 115.6.0esr.

6

Gleiches Verahlten, wenn ich Seite 15 aufrufe. (Firefox 121.0.1)

Werner

7

Mit MS-Edge konnte ich Seite 1595 aufrufen, allerdings nach mehreren Minuten Wartezeit.

Werner

8

Klappt auch bei mir weiterhin nicht. Seitenaufbau z. B. bei Datei:Schleswig-Amtsblatt-1886.djvu – GenWiki dauert mindestens mehrere Minuten (außer man hat die Seiten vorher schon aufgerufen und noch im Browser-Cache).

Ein guter Test, um zu sehen, ob es läuft: Immer der Vergleich mit der entsprechenden URL https://wiki-alt.genealogy.net (und den Browser-Cache vorher löschen). Auf wiki-alt läuft es so, wie es laufen sollte.

Bitte auf keinen Fall das wiki-alt abschalten, nur um ein paar Euro zu sparen!

9

In Ladezeit von DjVu-Seiten (#49) · Issues · genwiki / GenWiki · GitLab ist die Lösung in Kürze zu finden.
https://genwiki2024.wikidata.dbis.rwth-aachen.de/djvu/Schleswig-Amtsblatt-1886.djvu?page=21 zeigt wie der Prototyp arbeitet

1 „Gefällt mir“
10

Kann mir mal in kuren Worte das folgende aus dem GenWiki Pad erklären?

  1. 4 TByte in die Infrastuktur von CompGen nehmen
    - Robert richtet Wolfgang eine Storage Box bei Hetzner ein, über die Wolfgang die DjVu organisieren kann
  2. Klären ob DjVu und neues Format parallel oder als Ersatz
  3. Arbeitsschritte für Goobi-Übernahme anpassen
  4. Gelegenheit nutzen um über OCR und KI Einsatz zu sprechen

PS.: So langsam ist es nötig in dem Pad statt der Vornamen auch mindestens ein Buchstabe des Nachnamens hinzuzufügen. Ein Unterscheidung wer wer ist, wird immer schwieriger.

11

Keine Ahnung, wo ihr euch gerade austauscht, aber diese Storagebox mit den Bildern haben wir schon!

Ich verstehe auch immer noch nicht, warum die nicht statt der langsamen Verbindung nach Bremen verwendet wird. Bei GEDBAS gab es diese Konstruktion auch. Da war nach dem Wechsel auf die Storagebox der Zugriff 100x schneller.

12

Das stammt aus dem regelmäßigen GenWiki Treff. https://team.genealogy.net/project/genwiki/document/mitschriebe-online-meetings-ab-01082024/edit/

Da bin ich nicht dabei. Das ich eingewisse Hellhörigkeit bekomme, wenn ich den Begriff Goobi lesen sollte mir nicht übel genommen werden.

Yep, habe ich mir auch gedacht.

13
  1. Aktuell befinden sich die DjVu in der Infrastruktur bei den Servern in Bremen. Davon wollen wir ja bekanntlich weg. Also hatten wir in einem ersten Schritt geprüft, ob sich an der Ladegeschwindigkeit etwas ändert, wenn wir die Daten auf eine Storage Box bei Hetzner legen. Deswegen existiert diese Box schon. Leider ändert sich nichts. Wolfgang Fahl bekommt also eine Storage Box mit DjVu, damit er damit seine aufgestellte Idee testen kann.
  2. Da MediaWiki nicht gut mit DjVu umgeht, werden bei der Lösung von Wolfgang die DjVu konvertiert. In diesem Zusammenhang stellte sich die Frage, ob wir überhaupt noch DjVu nutzen wollen.
  3. Um die Migration der DjVu zu Goobi zu beschleunigen, erkundigen wir uns, welche Schnittstellen es für einen Import zu Goobi gibt. Vielleicht lässt sich etwas automatisieren.
  4. Erste Tests zeigten, dass OCR und KI tolle Resultate liefern können. Hier müssen wir Möglichkeiten ergründen.
14

„.… ob wir überhaupt noch DjVu nutzen wollen“ … Ist vielleicht etwas missverständlich, denn das sind zwei verschiedene paar Schuhe:

  1. (= Punkt 1 und 2 im Posting von Robert) Kurzfristiger Schritt: Derzeit, in der alten DigiBib (=Teil des GenWiki) haben wir viele djvus, die hier aufgerufen werden. Wolfgang hat eine Möglichkeit aufgezeigt, in recht kurzer Zeit automatisch alle djvus in PNG umzuwandeln und es erscheint möglich, durch Ändern weniger GenWiki-Vorlagen dafür zu sorgen, dass statt der djvus intern diese automatisch erzeugten PNGs gezogen werden. Das Ziel: Eine relativ schnell umzusetzende Lösung, die für die Anwender fast gleich wie die bisherige aussieht, aber intern die bekannten Probleme mit den sehr langen Ladezeiten von djvus in modernen Wiki-Versionen zu beheben. Das soll getestet und, wenn es funktioniert, möglichst schnell produktiv eingesetzt werden.
  2. (= Punkt 3 und 4 im Posting von Robert) Als längerfristige Lösung ist ja Konsens, dass möglichst alle Werke möglichst bald aus der alten Digibib (=Teil des GenWiki) nach Goobi umzuziehen (und nicht die djvus, das war noch nie geplant, sondern PNGs oder PDFs). Das ist bekanntermaßen ein sehr aufwendiger Prozess mit vielen manuellen Schritten. Wolfgang meint nun, dass es ein Möglichkeit geben könnte, dies mit KI teilweise zu automatisieren und somit zu beschleunigen. Weiterhin schlägt er vor, gleichzeitig beim Migrieren nach Goobi eine OCR-Erkennung durchzuführen. Um die Möglichkeiten hierfür auszuloten, wird Wolfgang mit Intranda sprechen, was überhaupt machbar ist. Das Ergebnis wird er dem Goobi-Kernteam um Gerhard und dem GenWiki-Arbeitskreis vorstellen. Erst nach Vorstellung und Diskussion wird irgendetwas entschieden.

Also nochmal: Schritt 1 (kurzfristig) wird so bald wie möglich umgesetzt. Schritt 2 (längerfristig) ist erst einmal nur eine Abklärung von Möglichkeiten.

15

Vielen Dank, @Christopher_Ernestus, dass du noch weitere Informationen geliefert hast. In der Tat war mein Satz etwas missverständlich.

1 „Gefällt mir“
16

Auf Details werde ich nicht eingehen, da ich annehme das Ihr alle den Prozeß kennt vom Buch bis nach Goobi.

Was für mich am Ende des Tage intersssiert ist:
Sollen die Arbeiten aktuell soweiter gehen oder erwartet man das die Arbeiten erstmal eingestellt werden?

17

Hallo Gerhard,

natürlich kennen die meisten von uns nicht den Prozess vom Buch bis nach Goobi, vor allem nicht im Detail. Und auf keinen Fall sollten Deine/Eure Arbeiten mit Goobi sofort eingestellt werden!

Wie schon geschrieben ist dieser Teil (Schritt 2) erstmal nur eine Idee von Wolfgang für eine längerfristige Vereinfachung der Übernahme in Goobi, zu der Wolfgang erst einmal Informationen bei Intranda recherchieren will (ob sich KI damit irgendwie koppeln lässt). Und danach wird man erst mal weitersehen. Letzlich wird der Prozess, auch wenn er sich teilweise automatisieren lassen sollte, nicht ohne menschliche Kontrolle und Nacharbeit ablaufen können.

18

:+1:

19

und Ladezeit von DjVu-Seiten (#49) · Issues · genwiki / GenWiki · GitLab haben die Dokumentation der bisherigen Schritte. Von meiner Seite aus geht es erst nach meinem Urlaub weiter. Die 4 TB sind für die umgewandelten Dateien - die PNG Dateien brauchen mehr Platz als die DjVu Dateien. DjVu Viewer hat im Moment nur eine Beispiel Datei. Auf meinem RWTH Forschungsserver gibt es im Moment alle ca. 1 Million Seiten auch als PNG-TAR Bündel. Die Datei mit der höchsten Seitenzahl ist https://genwiki2024.wikidata.dbis.rwth-aachen.de/djvu/Reichs-AB-1920-2.djvu mit 2830 Seiten.

20

Zufallsfund zum Thema: Wikisource englisch nutzt auch djvu, anscheinend ohne Probleme:
Page:Norwegian Constitution.djvu/3 - Wikisource, the free online library
@Wolfgang_Fahl