DjVu - es geht voran

CompGen-Projekte genwiki-l
21

Es ist die AG der IT, die treffen sich.
Für den Donnerstag habe ich einen Termin eingestellt.

https://team.genealogy.net/project/genwiki/event/der-erste-donnerstag-im-monat-also-genwiki/?v=3

1 „Gefällt mir“
22

Danke an Wolfgang und Bernhard für die Info.

23

@Wolfgang_Fahl hat mir den Zugang zu den Datenbank-Dumps und eine Einführung gegeben, wie ich dieses nutzen kann. Inzwischen habe ich mich weiter eingearbeitet und kann bezüglich des djvu-Problems erste Analyse-Ergebnisse bekanntgeben. Alles bezieht sich auf den Testserver genwiki39.genealogy.net:

Übersicht

  • 977 Vorlagen (in der Regel = je 1 digitalisierter Buchband) nutzen wiederum bestimmte Vorlagen für den Zugriff auf djvu-Dateien oder aber rufen direkt eine djvu-Datei auf, nämlich:
    • 615 nutzen die Vorlage DigiBibAB
    • 357 nutzen die Vorlage DigiBibBuch
    • 5 nutzen die Vorlage DigiBibBuchtext
    • 38 Vorlagen rufen direkt ihre djvu-Datei ohne weitere Vorlage auf
  • Darüber hinaus rufen 102 Artikel direkt aus dem Artikelnamensraum djvus auf. In der Regel sind das digitalisierte Bücher, die das Cover (Umschlagbilder) direkt als kleines Bild aufrufen.

Zwischenfazit

  • Eine klare Zuordnung, dass eine bestimmte Vorlage auf genwiki39 funktioniert oder nicht, ist leider nicht möglich. Es scheint weitere Faktoren zu geben, von denen dies abhängt.
  • Die vollständigen Listen sind im nächsten Posting zu finden.

Im Einzelnen

… mit Nutzung von Vorlage DigiBuchText
Bei 4 Titeln wird das Cover nicht dargestellt, die djvu-Einzelseiten können aber durchblättert werden:

Bei 1 Band funktioniert es gar nicht (nur wenn man sich händisch bis zum djvu-Viewer durchklickt):

… mit Nutzung von Vorlage DigiBibAB

Stichprobenartig ein sehr gemischtes Bild:

  • Aachen/Adressbuch 1927 => funktioniert gar nicht
  • Aachen/Adressbuch 1936 => Coverbild funktioniert nicht, aber djvu ist anklickbar und öffnet sich GenWiki-Viewer
  • Aachen/Adressbuch 1949 funktioniert
  • Marburg/Adressbuch 1902 – GenWiki funktioniert
  • Düsseldorf/Adressbuch 1911 funktioniert nicht, aber lässt sich über den Viewer öffnen

… mit Nutzung von Vorlage DigiBibBuch
Hier funktionierten alle Stichproben nicht:

… mit direkten Aufrufen aus dem Artikelnamensraum
Bei den 102 Seiten, wo das vorkommt, funktionierte es teils, teils auch nicht:
Beispiele für diese Kategorie sind:

  • Barrenstein/Volkszählung_1890
  • Bayerisches_Zentral-Polizei-Blatt
  • Carl_Knetsch
  • Compgen_vor_Ort
  • Deutsche_Namenkunde_(Kluge)/Umschlag
  • Deutsches_Reich/Reichsadressbuch_1942/Band_7_Ostgebiete
  • Die_Kirchenbücher_in_Baden_(Franz)
  • Die_Probstei_in_Wort_und_Bild/Abbildung_1

… mit direkten Aufrufen aus Vorlagen heraus
Bei diesen 38 Fällen funktioniert es, soweit getestet im genwiki39 gut. Beispiele:

  • Schleswig-Holsteinische Kirchengeschichte/1 (bis 4 und Register)
  • Statistik Regierungsbezirk Düsseldorf 1836 (2 Bände)
  • Strange, Adelige Familien (2 Bände)
  • Strange, Beiträge (12 Bände)
  • Topographie von Holstein 1841 (mehrere Bände)

Beispiel für „funktioniert nicht“

Pasted image 20260207184802
Pasted image 202602071848022608×1377 323 KB

Derzeitiges Fazit
Wir sehen zwar jetzt klarer, welche Vorlagen an dem Djvu-Thema beteiligt sind. Es sind erfreulicherweise weniger, als zunächst vermutet.

Aber was das jetzt für das Umstellungsprojekt bedeutet und wo die Ursachen der Probleme mit den djvu-Aufrufen liegen, da bin ich persönlich ratlos und hoffe auf Unterstützung, besonders von @Wolfgang_Fahl

In manchen Fällen liegt es wohl einfach daran, dass auf (irrtümlich?noch?) djvu-Dateien auf den Server genwiki2024 verwiesen wird und der Zugriff mal verboten, mal nur mit Anmeldung erlaubt ist - das wäre dann nur ein Relikt aus der Testphase, das Wolfgang gut beheben könnte.

24

Nur zur Vervollständigung des vorherigen Postings (die dortigen Fragen bleiben offen) habe ich mal die kompletten Listen zu den einzelnen Aufruf-Arten der etwas über 1000 relevanten Djvus aufgelistet:

Beispiel eines SQL-Aufrufes, mit dem das (mit einer lokalen Kopie aus genwiki39) erzeugt wurde:

SELECT
  p.page_title AS page_title,

  CONCAT(
    SUBSTRING_INDEX(
      SUBSTRING_INDEX(
        REGEXP_SUBSTR(
          CONVERT(t.old_text USING utf8mb4),
          '\\[\\[(Image|Bild):[^\\]|]*\\.djvu'
        ),
        ':',
        -1
      ),
      '.djvu',
      1
    ),
    '.djvu'
  ) AS djvu_file,

  (CONVERT(t.old_text USING utf8mb4) REGEXP '\\[\\[(Image|Bild):[^\\]|]*\\.djvu[^\\]]*page=')  AS has_page,
  (CONVERT(t.old_text USING utf8mb4) REGEXP '\\[\\[(Image|Bild):[^\\]|]*\\.djvu[^\\]]*thumb') AS has_thumb

INTO OUTFILE 'C:/xampp/mysql/data/direct_djvu_articles_flags.tsv'
CHARACTER SET utf8mb4
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'

FROM page p
JOIN revision r
  ON r.rev_id = p.page_latest
JOIN slots s
  ON s.slot_revision_id = r.rev_id
 AND s.slot_role_id = 1
JOIN content c
  ON c.content_id = s.slot_content_id
JOIN text t
  ON t.old_id = CAST(SUBSTRING_INDEX(c.content_address, ':', -1) AS UNSIGNED)

WHERE p.page_namespace = 0
  AND CONVERT(t.old_text USING utf8mb4)
      REGEXP '\\[\\[(Image|Bild):[^\\]|]*\\.djvu'

ORDER BY page_title;
1 „Gefällt mir“
25

Kannst Du auch nach sowas suchen?

[http://wiki-de.genealogy.net/w/index.php?title=Datei:Wismar-Ab-1937.djvu&page=411&page=411      Stadtplan Hannover]
26

Ja klar - dauert halt ggf. nur weil es über 200000 Einträge gibt.

27

Ja, die Methode ist gut geeignet dafür.

@Gerhard_Stoll Was genau soll ich denn suchen? Alles, wo „page=“ in Verbindung mit djvu vorkommt, oder …?

28

Zum aktuellen Stand bei diesem Thema:

  • Zur Zeit gibt es erste Tests mit GenWiki auf einem leistungsfähigereren Server.
  • @Wolfgang_Fahl hatte ja schon vor längerer Zeit die Gründe des djvu-Problems analysiert. Die (vereinfacht ausgedrückt) „problematischen“ djvus werden von ihm mit einem entsprechenden selbst entwickelten Skript neu aufgebaut und ersetzt.
  • Beides zusammen sollte das oben immer wieder beschriebene djvu-Problem nachhaltig lösen. Wobei langfristig das Ziel bleibt, digitalisierte Literatur aus dem GenWiki (wo sie meist als djvu vorliegt) in die „neue DigiBib“ zu migrieren.
  • Wer aktuell Probleme mit nicht ladenden djvus hat, kann es auch einmal auf dem Testserver genwiki39.genealogy.net/ probieren. Das ist nicht der oben genannte, neue und schnelle Testserver und viele Bilder werden noch nicht automatisch angezeigt, aber die meisten (oder alle) djvus lassen sich mit Hilfe eines von Wolfgang entwickelten djvu-Viewers wenigsten durch Anklicken öffnen oder betrachten.
29

Ich würde nach etwas suchen was den Text „http://wiki-de.genealogy.net/“ hat und noch „djvu“ hat. Beim Text auch noch „https“ nehmen.

Die Stellen auf der Seite https://wiki.genealogy.net/Wismar/Adressbuch_1937 habe im produktiv System schon durch einen Vorlage ersetzt.

30

Möglicherweise missverstehen wir uns: Die Suche, die ich hier durchführen kann, bezieht sich immer auf den „Wiki-Quelltext“. Dort steht ja in der Regel nie „http://wiki-de.genealogy.net/“oder „https://wiki-de.genealogy.net/“, sondern eine Vorlage ruft eine Vorlage auf, die eine Vorlage aufruft … und übergibt dabei den Namen eines djvu. Die entsprechenden Quelltexte kann ich suchen und habe sie oben in #23/29 ein wenig klassifiziert.

Also wenn Du mir sagst, welches Muster im GenWik-Quelltext ich suchen soll (das kann auch verbal beschreiben sein), dann kann ich das gerne tun.

31

BTW: es gibt schon lange kein wiki-de.genealogy.net mehr. Das sollte bei Gelegenheit auf wiki.genealogy.net umgestellt werden.

32

Ja, in der Regel ist das so, es gibt aber ausnahmen. Schau Dir den Quelltext dieser Seite an: https://wiki.genealogy.net/index.php?title=Wismar/Adressbuch_1937&action=edit&oldid=2642911

Da wurde nicht über eine Vorlage oder sonstige in einem Wiki üblichen verfahren auf die Datei zugegriffen. Da wird eben mit der URL gearbeitet. Mich persönlich interessieren natürlich nur Dinge mit DjVu. Mich würde es aber nicht wundern, wenn an etlichen Stellen per „http://wiki-de.genealogy.net/“ Links eingefügt sind.

Wie weiter oben beschrieben.

33

Die Migration für genwiki39e ist im Gange siehe z.B. Datei:Frankfurt-AB-1961.djvu – GenWiki

Die Dateien sind entsprechend gross - der Server scheint das aber flott hinzu bekommen:
Originaldatei ‎(3.300 × 2.200 Pixel, Dateigröße: 857,34 MB, MIME-Typ: image/vnd.djvu, 2.455 Seiten)

Voraussichtliche Dauer bis zur Fertigstellung: 5h - d.h. gegen 21-22 Uhr heute abend lohnt es sich mal zu prüfen, wie der Stand der Dinge ist. Morgen stelle ich dann eine Statistik vor, wieviele Dateien noch Probleme machen.

34

99.4 % der Migration scheint erfolgreich zu sein. Es gibt 22 Folgeprobleme

✓ Files found: 4052 / 4074
✗ Error: Files missing: 22 / 4074

⚠ Missing files:
Flugblatt-wk2_illustrierte-gesch-zweier-weltkriege.djvu
Augsburg-AB-1937-1.djvu
Buende.djvu
Kb-verzeichnis-rhld-1934_01.djvu
Luebeck-AB-1897.djvu
Oestliches-Vogtland-AB-1928.djvu
Meerane-AB-1928.djvu
Adressbuch_Westpreußen_1858.djvu
Adressbuch_Westpreussen_1858.djvu
Lueneburg-AB-1930.djvu
Duisburg-Hamborn-AB-1933.djvu
AB-Wetterau-1915.djvu
Nachrichten_GFKW_11.djvu
Robert_d´harcourt.djvu
GFZ-Troisdorf.djvu
Wuerttemberg-Dienerbuch.djvu
SH-Kirchengeschichte-3.djvu
SH-Kirchengeschichte-4.djvu
Oesterreich-12.djvu
Bremen_1700.djvu
!856240-adressbuch.djvu
Topographie_Lueneburg_1858_1.djvu

In Sign in · GitLab sind die Nacharbeiten beschrieben

  1. Datei:Flugblatt-wk2 illustrierte-gesch-zweier-weltkriege.djvu – GenWiki
  2. Datei:Augsburg-AB-1937-1.djvu – GenWiki
  3. Datei:Buende.djvu – GenWiki
  4. Datei:Kb-verzeichnis-rhld-1934 01.djvu – GenWiki
  5. Datei:Luebeck-AB-1897.djvu – GenWiki
  6. Datei:Oestliches-Vogtland-AB-1928.djvu – GenWiki
  7. Datei:Meerane-AB-1928.djvu – GenWiki
  8. Datei:Lueneburg-AB-1930.djvu – GenWiki
  9. Datei:Duisburg-Hamborn-AB-1933.djvu – GenWiki
  10. Datei:AB-Wetterau-1915.djvu – GenWiki
  11. Datei:Wuerttemberg-Dienerbuch.djvu – GenWiki
  12. Datei:Oesterreich-12.djvu – GenWiki
  13. Datei:Bremen 1700.djvu – GenWiki
Adressbuch_Westpreußen_1858.djvu
Adressbuch_Westpreussen_1858.djvu

sind Duplikate und unvollständig die djvu-Detaildateien fehlen. Die Adressbuch_Westpreußen_1858.djvu habe ich gelöscht

Datei:Robert_d´harcourt.djvu gibts auch als pdf und das Sonderzeichen sollte man nicht für Dateien oder Seitennamen verwenden. Die Datei habe ich gelöscht
35

Neuer Stand 99.8%

./check_djvu --query --list
➜ Querying DJVU files from database...
✓ Found 4073 DJVU files in database
➜ Checking DJVU files on filesystem (base: /genwiki/genwiki/images)...
✗ Error: Missing: Adressbuch_Westpreussen_1858.djvu (expected at /genwiki/genwiki/images/6/68/Adressbuch_Westpreussen_1858.djvu)
✗ Error: Missing: Nachrichten_GFKW_11.djvu (expected at /genwiki/genwiki/images/0/0d/Nachrichten_GFKW_11.djvu)
✗ Error: Missing: Robert_d´harcourt.djvu (expected at /genwiki/genwiki/images/c/c4/Robert_d´harcourt.djvu)
✗ Error: Missing: GFZ-Troisdorf.djvu (expected at /genwiki/genwiki/images/2/2f/GFZ-Troisdorf.djvu)
✗ Error: Missing: SH-Kirchengeschichte-3.djvu (expected at /genwiki/genwiki/images/f/fb/SH-Kirchengeschichte-3.djvu)
✗ Error: Missing: SH-Kirchengeschichte-4.djvu (expected at /genwiki/genwiki/images/b/bc/SH-Kirchengeschichte-4.djvu)
✗ Error: Missing: !856240-adressbuch.djvu (expected at /genwiki/genwiki/images/b/bc/!856240-adressbuch.djvu)
✗ Error: Missing: Topographie_Lueneburg_1858_1.djvu (expected at /genwiki/genwiki/images/2/2e/Topographie_Lueneburg_1858_1.djvu)

✓ Files found: 4065 / 4073
✗ Error: Files missing: 8 / 4073

⚠ Missing files:
Adressbuch_Westpreussen_1858.djvu
Nachrichten_GFKW_11.djvu
Robert_d´harcourt.djvu
GFZ-Troisdorf.djvu
SH-Kirchengeschichte-3.djvu
SH-Kirchengeschichte-4.djvu
!856240-adressbuch.djvu
Topographie_Lueneburg_1858_1.djvu
36

Das ist schade, denn es wird auch als Quelle für das GOV benutzt. Das Original ist hier nach wie vor verfügbar:

Link zur Bibliothek

37

Sehr gut dann lässt sich das auch wiederherstellen: Datei:Adressbuch Westpreussen 1858.djvu – GenWiki

Allerdings wird keine Verwendung angezeigt.

38

Die anderen Dateien sind zum Teil hartnäckiger. Ich vertage das erstmal

./script_SH-Kirchengeschichte-3 
[16:39:42] Starting bundling: /f/fb/SH-Kirchengeschichte-3.djvu
[16:39:42] Backup exists, skipping
[16:39:42] Saving timestamps...
[16:39:42] ✓ Timestamps saved
[16:39:42] Converting to bundled format...
ByteStream.open_fail	SH_Kirchengeschichte_3_211_0001.djbz	No such file or directory
39

Doch, hier. Leider geht der Link zum Original beidesmal ins Leere, weil die Bibliothek die URL geändert hat. Evenutell muß die Vorlage ELB mal angepasst werden.

Ob man die Verwendung im GOV auflisten kann, weiß ich nicht. Aber immerhin sind einige Seiten im Adreßbuchprojekt schon erfasst worden.

40

Kann gelöscht werden, ist schon in der neuen DigiBib.

Mindestensd davon habe wir die Bilder. Rest habe ich nicht nachgeschaut.

[quote=„Wolfgang_Fahl, post:37, topic:840440“]
Sehr gut dann lässt sich das auch wiederherstellen
[/quote ]
Einmal, die Dateien (Westpreußen) liegen auch auf unserem Fileserver. Zum anderen würde ich keine Bücher aus anderen Bibliotheken in GenWiki gestellen. Warum dies mal gemacht wurde kann ich nicht sagen. Wenn ich es richtig verstanden habe ist diese DjVu auch nicht weiter genutzt im GenWiki. Meiner Meinung nach also löschen.

Ist geändert, nur müssen auch alle andere Bücher der Bib https://wiki.genealogy.net/Kategorie:Digitalisierte_Literatur_der_Elbinger_Stadtbibliothek mal durch geschaut werden.