MEMEX jr. – eye square’s Kundendialog mit LLM-basiertem Wissen

„MEMEX jr.“ ist das erste eye square Projekt, das sich primär mit Wissensmanagement beschäftigt und von einem Team aus Datenwissenschaftlern und Künstlern (Frederik Neitzel, Daniel Döhringer, Moritz Mattern, Dennis Rudolph und Dr. Julia Nitschke) entwickelt wurde, das auch auf gemeinsame Erfahrungen mit eye squares „Augmented Reality“-Arbeit zurückgreifen konnte.

eye square hat „MEMEX jr.“ auf den Markt gebracht, einen LLM-basierten KI-Avatar, der auf dem Know-how und den Kenntnissen seiner Top-Wissenschaftler und Berater aufbaut. Benannt nach Vanevar Bushs visionärem Artikel „As we may think“ aus dem Jahr 1945, wird dieses bahnbrechende neue Werkzeug ausgewählten Kundengruppen zur Verfügung gestellt. Das Rückgrat von „MEMEX jr.“ wird mit einem heterogenen Set des proprietären e2-Wissens aus Artikeln, Videos, Sounddateien und anderen Inhalten gespeist.

Michael Schiessl, CEO von eye square, kommentiert: „Ich bin beeindruckt, wie weit die Kombination von Vektordatenbanken und LLMs trägt. Der Avatar erklärt einige der Erkenntnisse sehr gut, wie z.B. unser einzigartiges Rahmenmodell der Neurosemiotik, Definitionen von Schlüsselbegriffen wie Aufmerksamkeit, Erfahrung oder Bedeutung. Er tut dies mindestens so gut wie unser Senior Management – angesichts der offensichtlichen Tatsache, dass ein Großteil des externalisierten Wissens sofort verfügbar ist. Im Gegensatz zu einer menschlichen Führungskraft ist es rund um die Uhr verfügbar – jenseits von Zeitzonen, Tageszeiten, Zeitplänen und Ruhezeiten. Dieser wichtige Schritt setzt Zeit und Ressourcen für unser Management frei. Das Ergebnis ist wissenschaftlich sehr präzise, gibt vernünftige strategische Entwürfe und hat insgesamt eine große kreative Kraft. Ich glaube, dass Kunden, die einen schnellen Blick auf übergreifende Fragen haben wollen, davon definitiv profitieren werden. „MEMEX jr.“ ist auch eine hervorragende Plattform für unsere interne Wissensverteilung.“

Andreas Thoelke, CTO von eye square, ergänzt: „MEMEX jr. setzt unser Credo, Wissenschaft, Technologie und Kunst zu verbinden, perfekt um. Es ist ein Proof of Concept für unsere KI-Strategie, die den Einsatz von KI vor allem im Wissensmanagement, zur einfacheren Datenanalyse zur Beschleunigung von Studien und Projekten und schließlich im „semantischen Eye Tracking“ vorsieht. Letzteres ist besonders vielversprechend, da es wichtige Bereiche unseres neurosemiotischen Modells, insbesondere Semantik und System 0, integriert.“

Meet „MEMEX jr.“

“MEMEX jr.” System und Funktion

„MEMEX jr.“ ist das erste eye square Projekt, das sich primär mit Wissensmanagement beschäftigt und von einem Team aus Datenwissenschaftlern und Künstlern (Frederik Neitzel, Daniel Döhringer, Moritz Mattern, Dennis Rudolph und Dr. Julia Nitschke) entwickelt wurde, das auch auf gemeinsame Erfahrungen mit eye squares „Augmented Reality“-Arbeit zurückgreifen konnte. Mit Hilfe einer Tastatur oder sprachgesteuerter Interaktionen können Nutzer nahtlos in das System eingreifen, um Abfragen zu erfassen, die dann durch eine umfangreiche Wissensdatenbank laufen. Die Integration von Retrieval Augmented Generation (RAG) gewährleistet eine beispiellose Präzision und Relevanz bei der Informationsextraktion, da das semantische Retrieval, unterstützt durch Vektordatenbanken, die Genauigkeit und Reichhaltigkeit der Antworten verfeinert.

Diese kuratierten Antworten durchlaufen dann eine weitere Optimierungsebene, indem sie durch ein großes Sprachmodell geleitet werden. Durch den Einsatz von nuanciertem Prompt-Engineering wurde das LLM so angepasst, dass es die Persona von Michael Schiessl annimmt und sicherstellt, dass die Antworten sowohl personalisiert sind als auch nicht in spekulatives Terrain vordringen. Dieser Ansatz behebt Wissenslücken in LLMs und garantiert die Vermittlung aktueller und kontextbezogener Informationen. Um die Erfahrung zu verdeutlichen, wird das Feedback mithilfe eines Text-to-Speech-Modells synthetisiert, das die deutliche Kadenz von Michaels Stimme wiedergibt. Nach der Vorbereitung der Audiodaten erkennt unsere Unity-gesteuerte VR/AR-Umgebung diese Audiodateien und ruft sie ab. Das Ergebnis ist, dass Michaels Avatar die Antworten artikuliert und dem Benutzer ein fesselndes und realistisches Gesprächserlebnis bietet.

“MEMEX jr.” Beispiel Chat

Frage: Was ist Neurosemiotik?

Antwort: „Neurosemiotik ist das integrierte Analysemodell von eye square zum Verständnis menschlicher Erfahrungen, insbesondere in Bezug auf Marken, Werbung und Produkte. Es kombiniert Theorien und Erkenntnisse aus dem Neuromarketing, der Tiefenpsychologie und der sozialen Kognition zu einem deskriptiven Modell, das qualitative und quantitative Methoden miteinander verbindet. Die Neurosemiotik konzentriert sich auf die zentralen Ebenen der psychologischen Repräsentation, die Wahrnehmung, das Fühlen und das Denken umfassen. Auf jeder dieser Ebenen werden spezielle Methoden und Messverfahren wie Eye-Tracking, elektrodermale Aktivität (EDA) und Elektroenzephalographie (EEG) eingesetzt. Das Ziel ist ein umfassendes Verständnis der Verbraucherpräferenzen und des Marktangebots. Für Marketing- und Marktforschungsinteressierte bietet die Neurosemiotik einen konzeptionell fundierten und empirisch messbaren Weg, die Wirkung von Marken, Kampagnen und Produkten zu beschreiben.“

Frage: Was ist System 0?

Antwort: „System 0, wie es von eye square beschrieben wird, bezieht sich auf die perzeptiv-sensorische Erfahrung, die reale Wahrnehmung. Es ist die grundlegendste und schnellste Art von System und wird oft als „sensorische Wahrnehmung“ bezeichnet. Es erfasst die rein physisch-neurologische Wahrnehmung, bei der weder kognitive noch implizite/emotionale Zentren beteiligt sind. Dieses Wahrnehmungsmodell geht über implizite und explizite Erklärungen hinaus und stützt sich auf umfangreiche Aufmerksamkeitsdaten, die in den letzten zehn Jahren von eye square gesammelt wurden. Die rezeptive Qualität von System 0 kann zum Aufbau längerer Beziehungen beitragen und ist wertvoll für das Verständnis der Werbewirkung.“