Meine Forschungs­in­ter­es­sen liegen an der Schnitt­stelle von Reprä­sen­ta­ti­ons­ler­nen, Kausa­li­tät und genera­ti­ven Model­len. Mein Ziel ist es, zur Entwick­lung von Metho­den beizu­tra­gen, die aussa­ge­kräf­tige und inter­pre­tier­bare Merkmale aus hochdi­men­sio­na­len Daten­sät­zen extra­hie­ren, wobei der Schwer­punkt auf der Entde­ckung überge­ord­ne­ter, kausal verbun­de­ner Fakto­ren liegt, die eine sinnvolle Seman­tik der Daten beschrei­ben. Dies wiederum kann uns helfen, tiefere Einbli­cke in die Reprä­sen­ta­tio­nen zu gewin­nen, die in fortge­schrit­te­nen genera­ti­ven Model­len zu finden sind, insbe­son­dere in Basis­mo­del­len und LLMs, mit dem Ziel, deren Effizi­enz und Sicher­heit zu verbessern.

Tiefe neuro­nale Netze haben aufgrund ihrer Fähig­keit, aussa­ge­kräf­tige Merkmale aus komple­xen, hochdi­men­sio­na­len Daten zu lernen, bei verschie­de­nen Aufga­ben große Erfolge gezeigt. Ihre starke Abhän­gig­keit von großen Mengen an Kennzeich­nun­gen zum effek­ti­ven Erler­nen dieser Merkmale schränkt jedoch ihre Anwend­bar­keit in Szena­rien des unüber­wach­ten Lernens ein. Mit dem Reprä­sen­ta­ti­ons­ler­nen wird versucht, diese hochdi­men­sio­na­len Daten­sätze ohne Überwa­chung in niedri­ger dimen­sio­nierte Reprä­sen­ta­tio­nen umzuwan­deln. Durch die Identi­fi­zie­rung des richti­gen Raums, in dem Schluss­fol­ge­run­gen und Berech­nun­gen durch­ge­führt werden können, ermög­licht es auch die Entde­ckung inter­pre­tier­ba­rer Muster und Merkmale in den Daten. In meiner Promo­tion arbeite ich an der Schnitt­stelle von Reprä­sen­ta­ti­ons­ler­nen und Kausa­li­tät. Ich erfor­sche, wie man Daten­re­prä­sen­ta­tio­nen lernt, die sowohl inter­pre­tier­bar als auch kontrol­lier­bar sind, und konzen­triere mich dabei auf die Identi­fi­zie­rung geeig­ne­ter High-Level-Abstrak­tio­nen der Daten, auf denen man kausale Struk­tu­ren model­lie­ren kann.

Paral­lel dazu haben Basis­mo­delle wie Large-Language-Modelle (LLMs) in letzter Zeit stark an Aufmerk­sam­keit gewon­nen. Diese neuro­na­len Netze, die auf massi­ven Daten­sät­zen mit Milli­ar­den von Parame­tern trainiert werden, werden oft als „Black Boxes“ betrach­tet, da wir ihre zugrunde liegen­den Berech­nungs­prin­zi­pien nicht verste­hen. Ein tiefe­res Verständ­nis der von diesen neuro­na­len Netzen imple­men­tier­ten Algorith­men ist von entschei­den­der Bedeu­tung, nicht nur für den wissen­schaft­li­chen Fortschritt, sondern auch für die Verbes­se­rung ihrer Effizi­enz und Sicher­heit. Um diese Heraus­for­de­rung zu bewäl­ti­gen, integriere ich Konzepte aus dem Bereich der Kausa­li­tät und des Reprä­sen­ta­ti­ons­ler­nens, um ein mecha­nis­ti­sches Verständ­nis der hochdi­men­sio­na­len Daten­re­prä­sen­ta­tio­nen zu entwi­ckeln, die in diesen fortschritt­li­chen genera­ti­ven Model­len zu finden sind.