Überwachung und Optimierung moderner KI-Agentensysteme im Produktivbetrieb (m/w/d)

Was du bei uns bewegst Moderne Tracing-Werkzeuge wie MLFlow bieten eine Vielzahl von Metriken, um die Datenflüsse und Verarbeitungsschritte innerhalb eines KI-Agentensystems, das auf Transformern basiert, darzustellen. Je nach Komplexität des Systems fallen zusätzliche Metriken an, die als Ergänzung dienen, um das Systemverhalten insgesamt darzustellen. Hier setzt deine Abschlussarbeit an: Du unterstützt uns bei der Entwicklung von Best-Practice-Ansätzen, um das Systemverhalten auf Basis effektiver Auswertungen und Systemoptimierungen anhand von Nutzerfeedback zu verbessern. Du analysierst State-of-the-Art-Tracing-Werkzeuge und -Methoden, leitest fundierte Handlungsempfehlungen ab und untermauerst diese mit Best-Practice-Beispielen. Zur Bewertung von Traces nutzt du Metriken, die automatisch generiert werden (z. B. heuristische Metriken oder LLM-as-a-Judge) und optional durch Nutzerfeedback ergänzt werden. Ein zentraler Aspekt ist dabei die systematische Verknüpfung dieser verschiedenen Datenquellen und Bewertungsmethoden. Deine Werkzeuge für den M&M Alltag Du bist eingeschriebene:r Student:in (m/w/d) des Studiengangs Allgemeine Informatik, Technische Informatik, Software-Engineering, Wirtschaftsinformatik (oder vergleichbar) Neugierde, Eigeninitiative und Lust auf praxisnahe Arbeit Mehr als nur ein Job Individuelle Unterstützung: Ein/e dedizierte/r Betreuer:in an deiner Seite unterstützt dich bei deinem Projekt und steht für Fragen zur Verfügung Networking: Bei uns kannst du dein berufliches Netzwerk ausbauen und wertvolle Kontakte innerhalb des Unternehmens knüpfen. Diese Masterthesis wird von unseren Expert:innen des Competence Centers Data & AI begleitet. Regelmäßige Feedbackgespräche: Wir werden regelmäßig Feedback austauschen, um deinen Fortschritt zu überprüfen und deine Entwicklung zu fördern Hybrides Arbeiten: In Abstimmung mit deiner Führungskraft wählst du aus einer Kombination von Remote-Arbeit und Büro-Präsenz, für mehr Flexibilität und Freiheit Großzügige Gleitzeitregelung: In Abstimmung mit deiner Führungskraft legst du deine Arbeitszeiten nach deinen Präferenzen fest, um deinen persönlichen Bedürfnissen gerecht zu werden Deine Ansprechpartnerin Fiona Laube, Specialist Recruiting & HR Marketing [email protected] Tel.: +49 7724 9415-36 Bewirb dich gerne per du und nutze unsere Vornamen!