Machine Learning und IIIF

Im Rahmen des CLARIAH-AT Projekts „IIIF und Machine Learning“ wurden drei Use Cases entwickelt, die die Anwendung von maschinellem Lernen auf bibliothekarischen Datensätzen illustrieren. Der Zugriff auf diese erfolgt dabei mithilfe des International Image Interoparability Framefowrks (IIIF), eines weit verbreiteten Standards zur Bereitstellung von digitalen Objekten, sodass die entwickelten Anwendungen auch für Ressourcen ausserhalb der ÖNB genutzt werden können.

Dieses Jupyter Notebook verwendet ein vortrainiertes Modell zur Kolorierung von schwarz-weiß Bildern. Als Beispiel wird hierbei das Modell auf eine zufällige Postkarte aus dem AKON Bestand angewendet. Der Zugriff auf diesen Bestand erfolgt über den Link der zugehörigen IIIF Collection, sodass auch beliebige andere Collections eingebunden werden können.
Zudem wurde ein Notebook entwickelt, das es dem Anwender ermöglicht mittels Transfer Learning ein eigenes Modell zur Kolorierung zu entwickeln, die Angabe der Trainingsdaten erfolgt dabei über eine IIIF Collection. (Für akzeptable Trainingsdauer ist allerdings eine GPU erforderlich.)

Ein weiteres Notebook beschäftigt sich mit der Erkennung und Extraktion von Abbildungen aus beliebigen Quellen. Als Modell zum Identifizieren der Abbildungen wurde YOLOv8 verwendet, sechs Büchern aus dem ABO Bestand annotiert und anschließend für weiteres Training des Modells verwendet. Das digitale Objekt aus dem Abbildungen extrahiert werden sollen, kann über den Link zum dazugehörigen IIIF Manifest angesprochen werden, sodass die Applikation auch auf andere Ressourcen außerhalb der ÖNB angewendet werden kann.

Eine Anwendung in Gradio (UI Framework für Machine Learning Anwendungen) wurde erstellt, die es dem User ermöglicht ein Modell zur Bildklassifizierung durch Angabe eines IIIF Manifests auf die enthaltenen Bilder anzuwenden. Die Anwendung verwendet das vortrainierte Resnet18 Modell, das 1000 vordefinierte Klassen von Gegenständen des alltäglichen Lebens erkennen kann. Für die meisten Quellen im bibliothekarischen Bereich gibt die Anwendung daher nur schlechte Ergebnisse, kann jedoch für spezifische Manifeste oder unter Verwendung eines anderen Modells nützlich sein.

Die entwickelten Anwendungen verwenden die machine Learning Bibliotheken Pytorch und Ultralytics (für YOLOv8 Modell), für einfache Handhabung und Wiederverwendbarkeit wurden Jupyter Notebooks und Gradio Komponenten verwendet. Als Nebenprodukt der Arbeit entstand eine kleine Python Bibliothek die Funktionen für das Abfragen, Downloaden und Annotieren von IIIF Manifesten und Kollektionen bereitstellt. Diese liegt jedem der Anwendungen bei und kann in Zukunft als Grundlage für weitere Experimente mit IIIF Ressourcen dienen.

GitLab Link zu den Notebooks: https://labs.onb.ac.at/gitlab/explore/projects/topics/CLARIAH-AT CLARIAH-AT Projektseite: https://clariah.at/iiif-suite/
GLAM Labs community: https://glamlabs.io/computational-access-to-digital-collections/
BVMC.Labs: https://data.cervantesvirtual.com/glam-jupyter-notebooks

Diese Arbeit wurde ermöglicht durch die finanzielle Unterstützung durch CLARIAH-AT