Forschungswerkzeuge und Datendienste

Im Aufgabenbereich Forschungswerkzeuge und Datendienste beschäftigen wir uns mit Fragen und Herausforderungen rund um das Thema Nachhaltige Softwareentwicklung, Auffindbarkeit, Bereitstellung und Beschreibung von Forschungswerkzeugen und Datendiensten für die Erforschung, Anreicherung, Analyse und Visualisierung materieller und immaterieller Kulturgüter und bedarfsgerechte (Weiter-)Entwicklung dieser Werkzeuge und Dienste in Absprache mit der NFDI4Culture-Community. Zentrales Ziel unseres Aufgabenbereichs ist es, die FAIR-Prinzipien (Findable, Accessible, Interoperable, Reusable) auf Software und Dienste anzuwenden und diese somit leichter auffindbar, zugänglich, interoperabel und nachnutzbar zur Verfügung stellen zu können.

Community-Building

Am 30. November 2021 fand unser erstes Forum „(Weiter-)Entwicklung von Research Tools & Data Services“ statt. In einem dreistündigen, virtuellen Meeting kamen rund 100 Wissenschaftler:innen, Tool- und Infrastrukturentwickler:innen zusammen, um neun vorgeschlagene Projekte zu diskutieren und zu bewerten, die durch NFDI4Culture via FlexFunds gefördert und der Community zur Verfügung gestellt werden sollen. Die Ergebnisse des Forums wurden von uns analysiert. Maßnahmen, die einen Bedarf der Community adressieren, für die es keine alternative freie Software gibt, die nachhaltig weiterentwickelt werden können und im Rahmen eines FlexFunds-Projekts umsetzbar sind, haben wir dem Culture Steering Board zur Förderung vorgeschlagen.

Erfreulicherweise wurde der Antrag angenommen und so können die folgenden vorgeschlagenen Maßnahmen mit einer Summe von insgesamt 93.000 € gefördert werden:

Über vier Jahre werden insgesamt ca. 400.000 Euro über das Forum „(Weiter-)Entwicklung von Research Tools & Data Services“ für die bedarfsgerechte Verbesserung der Tool- und Infrastrukturlandschaft unserer Community verteilt werden.

Nachhaltige Softwareentwicklung

Software spielt in allen Bereichen der Forschung eine grundlegende Rolle. Um Forschungsprozesse transparent, Ergebnisse nachvollziehbar und anschlussfähig zu machen, müssen nicht nur die Daten, sondern auch die eingesetzten digitalen Werkzeuge und Dienste verfügbar sein. Wir fördern daher durch eine Reihe von Maßnahmen Nachhaltigkeitsaspekte von Forschungssoftware und Diensten von der Planung und Entwicklung an, über Betrieb und Bereitstellung, bis hin zur Nutzung.

Unser Team beteiligt sich an verschiedenen Querschnittsthemen in NFDI4Culture, wie z. B. dem Aufbau des NFDI4Culture Portals, der Weiterentwicklung der Helpdesk-Infrastruktur und der Konzeption einheitlicher Workflows zur Verfassung von Guidelines.

Expert:innen-Forum zur nachhaltigen Softwareentwicklung

Eine unserer Aufgaben ist die Einrichtung eines Forums zur nachhaltigen Softwareentwicklung in NFDI4Culture. Das Forum wurde Anfang 2021 konstituiert, indem wir Expert:innen für nachhaltige Softwareentwicklung aus der 4Culture-Community aussuchten und einluden. Das Forum hat 12 Gründungsmitglieder: Felix Bach (KIT-SCC, Karlsruhe), Alexander Czmiel (BBAW, Berlin), Anne Klammt (DFK, Paris), Claes Neuefeind (CCeH/IDH, Universität zu Köln), Anne Neovesky (ADW Mainz), Daniel Nüst (WWU Münster, de-RSE), Gudrun Oevel (IMT, Universität Paderborn), Laurent Pugin (RISM CH, Bern), Matthias Razum (FIZ Karlsruhe), Torsten Roeder (Leopoldina Akademie, Halle), Georg Schelbert (Institut für Kunst- und Bildgeschichte, HU Berlin), Martina Scholger (ZiM/ACDH, Universität Graz). Es wurde festgelegt, dass das Forum zweimal jährlich zusammentreten wird, um sich zur nachhaltigen Entwicklung von Forschungssoftware auszutauschen und über entsprechende Strategien für NFDI4Culture zu beraten. Das erste Forumstreffen fand am 20. April 2021 statt und umfasste eine Vorstellung unseres Aufgabenbereichs, eine inhaltliche Einführung in die nachhaltige Softwareentwicklung sowie eine Vorstellungs- und Diskussionsrunde. Ein ausführlicher Bericht zum ersten Forumstreffen ist hier verfügbar. Das zweite Forumstreffen ist für Ende November 2021 geplant.

Beratungsagentur für nachhaltige Softwareentwicklung

Eine unserer Kernaufgaben besteht in der Förderung von nachhaltiger Softwareentwicklung durch Beratung sowie die Veröffentlichung von Empfehlungen. In enger Abstimmung und teils übergreifender Beratung mit den anderen Aufgabenbereichen von NFDI4Culture, prometheus und ZenMEM werden im Rahmen der Beratungsagentur einzelne Forschende, kleine und große Forschungsprojekte und Initiativen zu Konzeption, Entwicklung und Nutzung nachhaltiger Software beraten. Der Umfang der Beratung umfasst das gesamte Spektrum zwischen der Beantwortung einzelner spezifischer Fragen bis hin zu langfristiger Begleitung von Projekten. Die initiale Kontaktaufnahme erfolgt normalerweise über das Kontaktformular auf dem NFDI4Culture Portal, zuweilen auch über persönlichen Kontakt. Aus der Beratung des Software-Projekts MerMEId (Metadata Editor and Repository for MEI Data) ergab sich bereits eine Einreichung von Ulrike Henny-Krahmer (NFDI4Culture) und Peter Stadler (Universität Paderborn, MerMEId-Koordination) zur DHd2022-Konferenz mit dem Titel „Nachhaltige Softwareentwicklung – Von der Inhouse-Lösung zur Open Source-Community am Beispiel von MerMEId“.

Leitfaden für die nachhaltige Entwicklung und Nutzung von Forschungssoftware

Durch das Zusammentragen, Verfassen und Veröffentlichen von Empfehlungen zu nachhaltiger Softwareentwicklung wollen wir das Bewusstsein für das Thema in der Community stärken und Software als eine herkömmlichen Formen gleichrangige Art wissenschaftlichen Outputs etablieren. Für die langfristige Verfügbarkeit sind Aspekte wie Dokumentation, Software- und Versionsmanagement, Qualitätssicherung, Lizenzierung, Publikation, Archivierung, Zitation und Anerkennung von Software von großer Bedeutung. Zum Thema Softwarezitation wurde bereits eine Pilotstudie durchgeführt, welche die aktuelle (unzureichende) Praxis innerhalb der DH-Community beleuchten und bei der DHd2022 unter dem Titel „Softwarezitation als Technik der Wissenschaftskultur: vom Umgang mit Forschungssoftware in den Digital Humanities“ vorgestellt werden soll.

Culture Registry: Auffindbarkeit von Forschungssoftware und Datendiensten

Die NFDI4Culture Registry ist ein Dienst zur Erfassung und Speicherung von Metadaten über existierende domainspezifische Forschungswerkzeuge und -datendienste. Die Registry soll zukünftig eine einfache Übersicht über die Angebote bieten, welche für Forscher:innen in Hinblick auf das Forschungsdatenmanagement relevant sind. Dabei soll die Registry insbesondere dazu beitragen, die Umsetzung der FAIR-Prinzipien im Bereich der digitalen Forschungswerkzeuge und -datendienste unserer Communities zu unterstützen. In einer späteren Phase wollen wir darüber hinaus ein Modell entwickeln und umsetzen, das zusätzlich die Konformität der aufgenommenen Werkzeuge und Dienste im Hinblick auf die FAIR-Prinzipien evaluieren und zertifizieren soll.

Registryentwicklung - Workflow

Workflow der Culture Registry, CC BY 4.0, Autor:innen: Sven Peter, Anastasia Wawilow

Die im ersten Projektjahr von uns erreichten Meilensteine sind in der Abbildung in Grün dargestellt. In mehreren Phasen haben wir von Oktober 2020 bis Juni 2021 ein semantisches Datenmodell für die in die Registry aufzunehmenden Forschungswerkzeuge und -datendienste iterativ (weiter-)entwickelt und evaluiert. Dabei konnte auch erstes Feedback, beispielsweise aus der Sicht von Betreibenden von Forschungsdatenrepositorien, mit einfließen. Zusätzlich zum Datenmodell haben wir Anwendungsfälle und zu realisierende Funktionen für die Registry ermittelt und die dazugehörigen Programmabläufe modelliert. Diese Modelle dienten uns als Basis für die Erstellung von Webseiten-Mockups, d.h. graphischen Modellen für die Benutzeroberfläche der Registry. Die Mockups haben wir in mehreren Schritten evaluiert und weiterentwickelt, wobei großer Wert auf die Usability gelegt wurde.

Ab August 2021 begann die prototypische technische Umsetzung der Registry in Form einer spezifischen Erweiterung für das CMS TYPO3, die in das bestehende TYPO3-System des Culture Information Portals integriert werden soll. Im weiteren Verlauf der Entwicklung soll auch weiteres Feedback aus den relevanten Fachcommunities einfließen, um Datenmodell und Funktionalität der Registry im Besonderen in Hinblick auf die Unterschiedlichkeit der Bedarfe zu optimieren.

Bedarfsgerechte Weiterentwicklung von Werkzeugen und Services

Ein weiteres wichtiges Ziel unseres Aufgabenbereichs ist es, spezifische und bedarfsorientierte Forschungswerkzeuge und Datendienste weiterzuentwicklen, das schließt auch die Weiterentwickung von Services und Software der bei NFDI4Culture beteiligten Insitutionen und Projekte mit ein. Zum einen werden Dienste an den NFDI4Culture zugehörigen Institutionen weiterentwickelt, zum anderen können sich Projekte im Rahmen des Community Forums „(Weiter-)Entwicklung von Research Tools & Data Services“ für eine Förderung mittels FlexFunds bewerben.

Bildähnlichkeitssuche

Es wurde eine Bildähnlichkeitssuche mithilfe von Bildvektoren, die auf Basis des Self-supervised Learning Algorithmus SwAV (Swapping Assignments between Views) erstellt worden sind, integriert. Der Algorithmus ist in Caron et al. beschrieben, eine Implementation wird von Facebook bereitgestellt. Als Modell wurde ein mit dem ImageNet Datensatz vortrainiertes SwAV Modell verwendet. Resultierende Bildvektoren, die auf für das Ergebnis ausreichende 80 Dimensionen beschränkt wurden, wurden für alle Bilder im Bildarchiv vorberechnet und im Index gespeichert.

Die Anfragen der Suchmaschine reduzieren sich damit auf die Berechnung der Distanz zwischen den im Index gespeicherten Vektoren. Die geringste Distanz kann entweder durch den euklidischen Abstand, die Kosinus-Ähnlichkeit oder die Manhattan-Distanz berechnet werden.
Zur Berechnung der Distanz wird der euklidische Abstand verwendet, eine Evaluation der verschiedenen Verfahren wird im nächsten Schritt erfolgen. Des Weiteren wird eine Hintergrundberechnung der Vektoren als nebenläufiger Prozess implementiert, um diese in den Indexierungsprozess zu integrieren. Die Bildähnlichkeitssuche wurde zunächst auf dem Staging-System getestet und ist nun auch auf dem Produktionsserver verfügbar und für die Öffentlichkeit nutzbar.

Intergration weiterer Formate ins Bildarchiv prometheus

Der 3D-Viewer von kompakkt (Code hier) und die entsprechenden Metadaten zu den 3D-Objekten wurden nun in prometheus integriert. Der neue kompakkt-Index enthält Datensätze mit einer iframe_url, die dann von der Anwendung gerendert wird. Der iframe enthält das kompakkt-Widget, um das 3D-Objekt zu navigieren. Für die Anzeige der Ergebnisliste lässt sich zudem ein Vorschaubild abrufen.

OxGarage/MEIGarage

OxGarage ist eine bewährte Plattform zur Konvertierung verschiedener Datenformate mit besonderem Fokus auf das Text Encoding Initiative (TEI) Format. Die Weiterentwicklung von OxGarage durch zusätzliche Validierungs- und Konversationsdienste und Möglichkeiten zur Qualitätskontrolle für das Music Encoding Initiative (MEI) Format wurde mit der TEI-Community abgestimmt. Zur Verbesserung der Nachhaltigkeit und zur Vereinfachung der Zusammenarbeit wurde die existierende Codebasis modularisiert. Es wurden jeweils Projekte für TEIGarage und MEIGarage erstellt, die auf der gemeinsamen Basis aufbauen, aber unterschiedliche Funktionen je nach ihren Nutzergruppen bieten.

IIIF Annotation Server

Der Fachinformationsdienst Kunst – Fotografie – Design bietet auf seinem Portal arthistoricum.net für die im Bildsuchraum integrierten Datenquellen IIIF-Manifeste, welche mit dem bereitgestellten Bildviewer Mirador 2 verwendet werden können. In einem ersten Schritt wurde der Zugang zum Mirador über die SMArT.Pictures optimiert. Im weiteren Verlauf wurden existierende Bildviewer untersucht und evaluiert, um zu entscheiden, welcher Viewer weiterentwickelt wird. In der näheren Auswahl standen das Kartenannotationstool Recogito von Pelagios und der Bildviewer Mirador 3. Für die weitere Entwicklung wird Mirador 3 verwendet, da dieser neben einer großen Community auch die Voraussetzungen für eine nachhaltige Entwicklung bietet. Derzeit laufen die Vorbereitungen, den Mirador des arthistoricum.net auf die Version 3 zu aktualisieren. In einem nächsten Schritt ist geplant, in den Austausch mit anderen Projekten und Institutionen zu treten, welche ebenfalls den Bildviewer Mirador 3 nutzen.

Dissemination und Outreach

Bei Konferenzen, Summer Schools bzw. Meetings haben wir Workshops und Kurse und Kurse angeboten, u. a. bei der Edirom Summer School (Kurse zu GIT, XSLT, Programmieren), der prometheus-Tagung und im Rahmen des TEI Council Treffens (MEIGarage). Weiterhin haben wir NFD4Culture sowie die Tätigkeit unseres Aufgabenbereichs innerhalb verschiedener Treffen und Veranstaltungen vorgestellt.

Vorträge
Publikationen
  • Präsentationsfolien des Erstes Treffens des Expert:innenforums „Nachhaltige Softwareentwicklung in NFDI4Culture“: http://doi.org/10.5281/zenodo.4723704.
  • Henny-Krahmer / Jettka, Daniel / Dieckmann, Lisa / Röwenstrunk, Daniel: NFDI-Expert:innenforum „Nachhaltige Softwareentwicklung“, in: DHdBlog, 6.5.2021, https://dhd-blog.org/?p=15793.

Ausblick

Für das Jahr 2022 führen wir die Community-Arbeit im Bereich der Weiterentwicklung von Forschungswerkzeugen und Datendiensten im Rahmen der FlexFunds fort. Auch zwei weitere Expert:innenforen zum Thema „Kriterien zur Beurteilung von Forschungssoftware“ und „Professionisierung“ sind geplant. In Ergänzung dazu soll die geplante Handreichung zum Thema nachhaltige Softwareentwicklung publiziert und der Helpdesk in diesem Bereich weiter ausgebaut werden. Zudem soll eine erste Version der Registry in das Portal integriert werden. Auch stehen Weiterentwicklungen von MEIGarage und IIIF-Bildviewer Mirador 3 an.