2.9 Lara3D – automatisierte Datenverarbeitung von dreidimensionalen kunsthistorischen Inhalten

Die Erstellung von 3D-Inhalten und die semantisierte Speicherung der dazugehörigen Metadaten als automatisierter Prozess reduziert menschliche Fehler und ermöglicht eine weitergehende maschinelle Verarbeitung von großen bildgebenden Datensätzen.

Die in der NFDI4Cat etablierte Research Data Management Suite LARA (Laboratory Automation Robotic Assistent) wurde für Anwendungsgebiete der digitalen Kunstgeschichte angepasst und nachnutzbar gemacht. Als Output stehen mehrere Komponenten die innerhalb der Lara Suite orchestriert werden und über eine API Daten an einen Viewer sowie einen Triple Store senden.

Die LARA Suite

LARA ist ein flexibles, quelloffenes Forschungsdatenmanagementsystem, das darauf ausgerichtet ist, Forschungsdaten weitgehend automatisiert zu strukturieren und semantisch zu annotieren.

Zu diesem Zweck wurden umfassende Infrastrukturen entwickelt, die bisher vor allem im Life-Science-Bereich erprobt und schrittweise in NFDI4Cat integriert werden. Das System ist so gestaltet, dass es ein breites Spektrum an Forschungsdaten verarbeiten kann – einschließlich solcher aus den Kulturwissenschaften. Die in LARA gespeicherten Metadaten basieren auf Ontologien und sind vollständig mit Semantic-Web-Technologien kompatibel, wodurch sie sich für die Weiterverarbeitung mittels Machine-Learning- und KI-Verfahren eignen.

Webinterface (Front-End)

Für den Datenupload und die teilautomatisierte Metadatenerfassung wurde ein schlankes, performantes Frontend entwickelt. Es ermöglicht das effiziente Hochladen von Bilddaten und erfasst zusätzliche Informationen über einen reduzierten und klar strukturierten Dialog.

Die Bilddaten werden stapelweise georeferenziert, und Angaben zu Data Creator sowie Lizenz werden gespeichert.

Eine zentrale konzeptionelle Entscheidung bestand darin, keine Basisdaten zum dargestellten Originalobjekt direkt im Upload-Prozess zu erfassen. Stattdessen wird der Nutzer aufgefordert, auf bestehende Wikidata-Einträge zu verweisen oder bei Bedarf neue Datensätze in Wikidata anzulegen.

Am Ende des Dialogs wird der 3D-Berechnungsprozess gestartet. Währenddessen können noch weitere – jedoch bewusst reduzierte – Informationen ergänzt werden.

3D-Berechnungprozess mit brush (Back-End)

Die Berechnung der Gaussian-Splatting-Punktwolke erfolgt in einem Docker-Container innerhalb der LARA-Suite. Grundlage sind die frei verfügbaren Softwarekomponenten COLMAP, GLOMAP und brush, die aktiv weiterentwickelt werden.

Der Container übernimmt die vom Webinterface bereitgestellten Daten, führt zunächst das Matching mit COLMAP und GLOMAP durch und berechnet anschließend die Gaussians. Mit CUDA-Unterstützung verkürzt sich der Prozess je nach Datenvolumen deutlich im Vergleich zu klassischen Structure-from-Motion-Ansätzen.

Während der Verarbeitung entsteht eine Logdatei, die u. a. Informationen zu Dateigrößen, Berechnungsdauer und Anzahl der Eingangsquellen dokumentiert.

JSON-LD file

Parallel erzeugt der Orchestrator eine JSON-LD-Datei, in der alle Metadaten aus dem Webinterface sowie die Informationen der Logdatei in einem vorgegebenen Format abgelegt werden. Grundlage hierfür bildet das von der TIB Hannover entwickelte Datenmodell, das auch in Semantik Kompakkt Anwendung findet.

Übergabe an Viewer und Triple Store

Am Ende der Pipeline werden sowohl die erzeugte Splat-Datei als auch alle zugehörigen Metadaten abgelegt. In Kooperation mit der TIB Hannover wurde entschieden, Semantik Kompakkt als Endpunkt zu verwenden. Dies bietet mehrere Vorteile: Die Anwendung ist in der NFDI4Culture-Community etabliert, und es konnte auf bestehende Infrastruktur zurückgegriffen werden.

Die dafür entwickelte API liest die Informationen aus der JSON-LD-Datei aus und legt die Datensätze entsprechend an. Sowohl die API als auch das Format der zu übergebenden JSON-LD-Datei sind bereits grundlegend implementiert, erfordern jedoch noch eine weitergehende Ausarbeitung.

Torsten Veit und Mark Doerr