Bilderkennung-mit-Machine-Learning/Farberkennung.md

+Analog zur Wappenerkennung gehen wir vor um die Farben der Einbände mit Wappen zu bestimmen.
+
+Inhalt:
+
+[TOC]
+
+# Zusammenstellen der Groundtruth
+
+Ausgehend vom Datenset der manuell kontrollierten Supralibroseinbänden (bestehend aus 6161 Bänden) wurde ein Groundtruth Datenset (siehe [BE_color.csv](https://labs.onb.ac.at/gitlab/bed/bed-general/-/blob/main/Daten/Groundtruth/BE_color.csv)) zusammengestellt, das je Band den Barcode und die Einbandfarbe beinhaltet. Nach Farben aufgeschlüsselt teilt es sich folgendermaßen auf:
+- Blau: 136 Bilder
+- Gelb: 410 Bilder
+- Rot: 466 Bilder
+
+In Summe beinhaltet das Datenset 1012 Bilder.
+
+# Auswahl des Modells und Training
+
+Wir verwenden das selbe Modell wie für die Wappenerkennung ([resnext50_32x4d](https://pytorch.org/vision/main/models/generated/torchvision.models.resnext50_32x4d.html#torchvision.models.resnext50_32x4d)), ebenso mit einer Aufteilung des Groundtruth Datensets in 80% Trainings- und 20% Testset. Siehe Abbildung 1 für einen Auszug aus den Trainingsdaten.
+
+<figure>
+<img src="../uploads/training/color_sample.jpg">
+<figcaption>Abbildung 1: Auszug der Trainingsdaten aus dem Groundtruth Datenset für die Farbenerkennung.</figcaption>
+</figure>
+
+Mit einem 5-fachen Kreuzvalidierungsverfahren erhalten wir ein Modell mit 99% Genauigkeit auf dem Testset. Siehe [Color_classifier.ipynb](https://labs.onb.ac.at/gitlab/bed/bed-general/-/blob/main/Notebooks/Color_classifier.ipynb) für den Quellcode.
+
+# Anwendung auf Einbände mit Eugen-Wappen
+
+Das trainierte Modell wird angewendet auf den Datensatz der echt positiven Vorhersagen des Wappenklassifizierers, bestehend aus 6161 Bänden. Siehe Abbildung 2 für eine Visualisierung der bestimmten Farben und assoziierten Wahrscheinlichkeiten.
+
+<figure>
+<img src="../uploads/evaluation/color_histogram.png">
+<figcaption>Abbildung 2: Histogramm der Wahrscheinlichkeitswerte je bestimmter Farbe.</figcaption>
+</figure>
+
+<figure>
+<img src="../uploads/evaluation/color_type_bar.png">
+<figcaption>Abbildung 3: Balkendiagramm für die gleichzeitige Darstellung von Einbandfarben und Wappentyp, aufgeschlüsselt zuerst nach Farbe und dann nach Typ.</figcaption>
+</figure>
+
+<figure>
+<img src="../uploads/evaluation/type_color_bar.png">
+<figcaption>Abbildung 4: Balkendiagramm für die gleichzeitige Darstellung von Einbandfarben und Wappentyp, aufgeschlüsselt zuerst nach Typ und dann nach Farbe.</figcaption>
+</figure>