Leistungen / KI-Validierung und Ermittlungen
Für Softwareunternehmen und Organisationen in der Schweiz und im Ausland: LLM-Validierung für Entwicklungsteams und nachträgliche Analyse von KI-Systemen und -Agenten. Fernarbeit richtet sich nach vereinbartem Zugang und Umfang.
01 / AI Validator
Für Teams im Pre-Training, Fine-Tuning oder bei der Domänenanpassung. Ziele, Modellzugang und Prüfungstiefe werden gemeinsam festgelegt.
Eine Evaluationssuite mit geeigneten Benchmarks und repräsentativen Aufgaben: Verständnis, Extraktion, Schlussfolgern oder Generierung, je nach Projekt.
Sie erhalten
Ergebnisse nach Aufgabe, Sprache und Schwierigkeitsgrad, mit vereinbarten Metriken und Fehleranalyse. Fachliche Bewertungen benötigen von Domänenexpertinnen und -experten geprüfte Referenzantworten.
Vergleich des Basismodells, angepasster Versionen und Release-Kandidaten unter ausdrücklich festgelegten, vergleichbaren Testbedingungen.
Sie erhalten
Eine Gegenüberstellung von Verbesserungen und Regressionen. Neben Gesamtwerten stehen Ergebnisse je Kategorie, damit Zielkonflikte sichtbar werden.
Tests mit überprüfbaren Antworten zu Richtigkeit, Konsistenz, Befolgung von Anweisungen und Verhalten bei unzureichender Informationslage.
Sie erhalten
Klassifizierte Fehler, dokumentierte Beispiele und Testergebnisse. Automatische Bewerter werden mit einer menschlich geprüften Stichprobe verglichen.
Vereinbarte Tests mit Eingabevariationen, adversarialen Anweisungen, unangemessenen Antworten und möglicher Offenlegung sensibler Informationen.
Sie erhalten
Testszenarien, Bedingungen und Ergebnisse mit Schwachstellen und Prioritäten. Zugang zu Gewichten und Angaben zu Trainingsdaten bestimmen die möglichen Prüfungen.
Prüfung der Trennung von Trainings- und Testdaten, der Repräsentativität von Stichproben und möglicher Überschneidungen anhand verfügbarer Materialien.
Sie erhalten
Erkenntnisse zu Risiken, die Messungen verzerren können. Ohne Zugriff auf relevante Trainingsdaten lässt sich Kontaminationsfreiheit nicht feststellen.
Wiederholung der Tests mit neuen Versionen und Vergleich mit vereinbarten Akzeptanzschwellen. Modell, Prompts, Generierungsparameter und Umgebung werden dokumentiert.
Sie erhalten
Ein Validierungsbericht mit Ergebnissen, beobachteter Variabilität, Grenzen und offenen Punkten für die Release-Entscheidung des Teams.
Beispielszenario
Ein Evaluationsbeispiel, kein Kundenfall.
Ein Softwareunternehmen passt ein LLM an ein Fachgebiet an. Vor dem Release möchte es den Vergleich zum Ausgangsmodell: bessere Fachantworten? Erhaltene allgemeine Fähigkeiten? Befolgung von Anweisungen? Neue Fehler?
Eine vereinbarte Testsuite misst diese Aspekte getrennt. Der Bericht zeigt Verbesserungen, Regressionen und Ergebnisse mit weiterem Prüfbedarf.
Methode und Ergebnisse
Modell, Version, Domäne, Sprachen, Ziele und Zugangsart: Endpunkt oder vereinbarte Umgebung.
Testdatensätze, Baseline, Metriken, Akzeptanzkriterien und Ausführungsbedingungen.
Geeignete Tests und Wiederholungen, Fehlerklassifikation und menschliche Prüfung relevanter Fälle.
Vergleichsbericht, detaillierte Ergebnisse, Protokoll und die im Auftrag vereinbarten reproduzierbaren Materialien.
Für den Erstkontakt: Basismodell, Trainingsverfahren, Domäne, Sprachen und Evaluationsziel. Proprietäre Gewichte, Datensätze und Zugangsdaten werden nur unter vereinbarten Bedingungen und auf vereinbarten Wegen geteilt.
02 / Forensische Analyse von KI-Vorfällen
Nachträgliche Analyse für Unternehmen, Softwareanbieter und Kanzleien zur Klärung problematischer Antworten, offengelegter Informationen oder unerwarteter KI-Aktionen.
Untersuchung verfügbarer Prompts, Systemanweisungen, Gespräche und verwendeter externer Inhalte. Suche nach möglichen manipulativen Anweisungen oder widersprüchlichen Vorgaben.
Abgleich von Antworten, Werkzeugaufrufen, Operationsergebnissen und Protokollen der beteiligten Systeme. Eine Aussage der KI allein belegt keine tatsächlich ausgeführte Aktion.
Rekonstruktion von Modellversion, Einstellungen, Zugriffen, Berechtigungen und menschlichen Freigaben, soweit dokumentiert. Analyse der Bedingungen, die das beobachtete Verhalten ermöglicht haben.
Zeitliche Ordnung verfügbarer Informationen, Quellenangaben und Trennung von beobachteten Fakten, Hypothesen und Lücken. Reproduktionen werden in einer kontrollierten Umgebung vereinbart.
Beispielszenario, kein Kundenfall.
Welche Anfrage erhielt er? Welche Inhalte nutzte er? Schlug er eine Änderung vor oder führte er sie aus? Mit welchen Berechtigungen und Freigaben? Die Untersuchung sucht nach Belegen in den vorhandenen Protokollen.
Beschreiben Sie Ereignis, Zeitraum und betroffenes System. Geben Sie an, welche Gespräche und Protokolle vorliegen. Vor der Übermittlung vertraulicher Daten oder Zugangsdaten vereinbaren wir Materialien, Zugänge und Übermittlungswege.