Hackathon x Vol. 2 – 2021
Vom 25.–27.6.2021 fand der "Hackathon x Vol. 2" als Kooperation zwischen dem Badischen Landesmuseum, Allard Pierson Amsterdam und Hack & Söhne statt. An dem Online-Entwickler*innen-Event nahmen über 140 Personen aus der ganzen Welt teil, die sich unter dem Motto "The Digital Museum" mit Herausforderungen zu den Themen "Games, Plattformen und Künstliche Intelligenz" beschäftigten und in 48 Stunden kreative Lösungen entwickelten. Inspirierende Tech Talks und Mentoring, Online Yoga und Social Gaming auf der digitalen Plattform Gather.Town begleitete das Wochenende. Eingereicht wurden von 100 Personen über 20 Projekte, von denen 6 Gewinnerprojekte in 2 Sektionen eine interdisziplinäre Jury überzeugen konnten.
Kreative Lösungen für Künstliche Intelligenz im Museum
In der Sektion zur Künstlichen Intelligenz im Museum wurden Datensets aus dem Badischen Landesmuseum und Allard Pierson zur Verfügung gestellt. Die Herausforderung war, Konzepte und Anwendungen zu entwickeln, die mit Hilfe von Künstlicher Intelligenz digitale Inhalte des Museums personalisiert für Nutzer*innen zur Verfügung stellen.
Die Gewinnerprojekte der AI Challenge sind:
1. Preis: Etienne Bührle: William: Chat with William III
2. Preis: Andrii Strynzha, Raghavendra Vijayanagaram, Fabian Ulmer, Maxim Popov, Nikita Nesterov: Your Guide - Personalize your visit to museum using generated tour based on your interests
3. Preis: Nandakishor M: Image chat conversational AI app for museum arts
Alle Projekte können hier eingesehen werden:
https://hackathon-x.devpost.com/project-gallery
Ausblick
Die Gewinner*innen und andere Projekte sind eingeladen, ihre Ideen in einer AI-Development Phase weiter auszuarbeiten!
Die Jury der AI Challenge:
- Susanne Schulenburg, Badisches Landesmuseum Karlsruhe
- Wim Hupperetz, Allard Pierson Amsterdam
- Matthias Wölfel, Hochschule Karlsruhe
- Jaap Kamps, Universität von Amsterdam
- Ariana Dongus, Staatliche Hochschule für Gestaltung Karlsruhe
Partner:
Hack & Söhne
Allard Pierson
Gefördert durch:
BKM Staatsministerin für Kultur und Medien
Medienpartner:
DeHub Karlsruhe
AI Development Plan – Gewinnerprojekte
Im Anschluss an Hackathon x – vol 2- waren einige Teams eingeladen, am Development Plan weiter an ihren Ideen und Konzepten zu arbeiten. Zwei Teams stellten sich dieser Herausforderung:
- Nandakishor M – mit „Image Chat“
- Richárd Ádám Vécsey & Axel Ország-Krisz – mit „Pong“
In vier Wochen, in denen die Konzepte entwickelt und Feedback durch User und Heritage-Expert*innen eingeholt wurde konnten die Ideen weiter ausgearbeitet werden. Die Ergebnisse werden als Teil der Entwicklung von „Creative User Empowerment“ verstanden und für das Gesamtprojekt nutzbar gemacht. Die Gewinnerprojekte & Teilergebnisse werden deshalb hier vorgestellt:
Auf dem Weg zu Augmented Reality & AI
Als virtueller Guide im Museum arbeitet das Vorhaben mit einem AR-Audio-Bot (Blenderbot 2.0) mit Internet-Suchfunktion und AWS, um Informationen zu Künstler*innen oder dem Museum zu erhalten. Der Chatbot hat ein Langzeitgedächtnis und die Fähigkeit, auf das Internet zuzugreifen. Er übertrifft bestehende Modelle in Bezug auf längere Unterhaltungen über mehrere Sitzungen hinweg und verfügt laut Gutachtern über mehr Wissen und sachliche Konsistenz als bisher. Das Modell speichert das während des Gesprächs gesammelte Wissen in einem Langzeitspeicher und nutzt diese Erfahrung, um langfristige Gespräche zu führen. Während des Gesprächs durchsucht das Modell das Internet, indem es eigene Suchanfragen stellt, die Ergebnisse liest und sie bei der Formulierung einer Antwort berücksichtigt.
Über den Entwickler:
Nandakishor ist ein Udemy-Lehrer für Künstliche Intelligenz und Geschäftsführer von deepflow technologies Pvt Ltd, einem Deep-Tech-Startup aus Indien. Er ist ein Experte für Computer Vision, NLP, Robotik und IoT. www.deepflow.in
Laudatio:
„Die auf konversationeller KI basierende Bild-Chat-App ist eine ehrgeizige und zeitgemäße Idee, für die es bereits einen funktionierenden Prototyp gibt. Ein Bild als Gesprächsanlass zu nutzen, ist eine großartige Idee, und die Kombination von Text und Bild ist sehr vielversprechend, um zusätzliche Informationen zu liefern oder andere Museumsobjekte zu empfehlen, die für den Nutzer relevant sind.“ (Jaap Kamps, Universität von Amsterdam, Mitglied der Jury)
„Im Development-Plan wurde das Projekt stetig und kreativ weiterentwickelt, neue Features eingebaut und die Möglichkeiten der Bilderkennung, der Sprachausgabe und der Verbindung von Augmented Reality und AI aufgezeigt. Die höchst kreative und zukunftsfähige Entwicklung verdient den Preis!“ (Sonja Thiel, Projektleitung)
https://github.com/kishorkuttan/Image-chat-conversational-AI-app-for-museum-arts-
Diese Arbeit basiert auf den folgenden Papieren:
Internet-Augmented Dialogue Generation. Mojtaba Komeili, Kurt Shuster, Jason Weston: https://parl.ai/projects/sea
Jenseits des Goldfisch-Gedächtnisses: Langfristige Open-Domain-Konversation. Jing Xu, Arthur Szlam, Jason Weston: https://parl.ai/projects/msc
PONG
Pong ist ein KI- und ML-basiertes Kunstwerk-Empfehlungssystem und macht Vorhersagen für Kunstwerke auf der Grundlage verschiedener Ansätze. Empfehlungen sind Teil unseres täglichen Lebens. Von der Auswahl von Musik oder Filmen über das ideale Programm und die Waschzeit von Waschmaschinen bis hin zum Autokorrekturdienst verschiedener Messaging-Apps können wir ständig auf KI-, ML- oder einfache Algorithmus-basierte Empfehlungssysteme treffen. Die Demoversion empfiehlt 27.898 Kunstwerke auf der Grundlage von 2074 Schlüsselwörtern, 7 verschiedenen Farbkategorien oder Ausgaben von KI- oder ML-Modellen. Pong will ein System entwickeln, das leicht zu warten ist und dessen Betriebskosten niedrig sind, da keine Cloud-Infrastruktur oder -Dienste genutzt werden müssen.
Über die Entwickler:
Dr. Ország-Krisz Axel
Axel arbeitet als freiberuflicher Deep-Learning-Entwickler, Datenwissenschaftler und Karrierespringer aus der Rechtswissenschaft. Er ist der Meinung, dass künstliche Intelligenz für jeden zugänglich sein sollte, damit sich die Menschen auf wichtige Dinge wie die Gesellschaft und allgemeine Werte konzentrieren können, anstatt sich mit den Problemen des täglichen Lebens zu beschäftigen.
Dr. Vécsey Richárd Ádám
Richard arbeitet als freiberuflicher Deep-Learning-Entwickler und Datenwissenschaftler, der von der Rechtswissenschaft in die IT wechselte. Er spielt gerne mit KI, um komplizierte Lösungen für einfache Probleme zu finden.
Laudatio:
“Pong hat im Development Plan die Idee der Empfehlung von Kunstwerken weiter entwickelt und sich dafür intensiv mit den Daten und Metadaten des Museums auseinander gesetzt. Ihr Empfehlungssystem wurde im Bezug auf Ratingsysteme differenziert und Möglichkeiten für reaktionsbasiertes Rating und persönlichkeitsbasiertes Rating eingesetzt. Nach einer Warm-Up Phase werden Nutzer*innen Kunstwerke vorgeschlagen, die entweder auf Farbe, Inhalten (Schlagworten) oder auf einer Kombination aufbauen. Die kritische Auseinandersetzung mit Empfehlungsalgorithmen ist ein wichtiger Beitrag zur Zukunft von Museen.“ (Sonja Thiel, Projektleitung)
