Wie gut versteht ORPHEUS medizinisches Diktat? Wir haben es getestet

Kurz gesagt

Wir haben ORPHEUS auf zwei öffentlichen Datensätzen getestet und dabei festgestellt, dass es bei medizinischem Diktat weniger Fehler macht als Echtzeit-Varianten großer Allzweck-Systeme von ElevenLabs und OpenAI. Gleiches gilt auch für gängige offene Modelle wie OpenAI Whisper, Qwen3-ASR oder NVIDIA Parakeet. ORPHEUS liegt laut diesen Benchmarks nah an anderen auf Medizin spezialisierten Spracherkennungsmodellen, etwa Symphony von Corti und Scribe v2 Medical von ElevenLabs.

Hintergrund

ORPHEUS, unsere Software für medizinische Spracherkennung, ist heute in 40+ Kliniken und 500+ Praxen eingeführt. ORPHEUS entwickeln wir als gemeinnützige Tochter des Universitätsklinikums Hamburg-Eppendorf. Auch die KI-Modelle zur Spracherkennung trainieren und testen wir selbst und lokal.

Selbstverständlich können wir unsere Testdaten nicht veröffentlichen, weshalb ein nachvollziehbarer Vergleich mit anderen Spracherkennungssystemen bisher schwierig war.

Im Frühjahr hat die dänische Firma Corti ihr medizinisches Spracherkennungssystem Symphony [1] sowie zwei Datensätze (MedTerm [2], MedDictate [3]) veröffentlicht, auf denen wir ORPHEUS nun auch ausgiebig getestet haben (Stand: 28.09.2026). Beide Datensätze umfassen mehrere Sprachen; da ORPHEUS für deutsches Diktat entwickelt ist, werten wir jeweils nur den deutschen Teil aus.

Erster Datensatz: MedTerm

Die veröffentlichte Version von MedTerm enthält künstlich erzeugte deutsche Aufnahmen klinischer Notizen, die viel von dem abdecken, was medizinisches Diktat schwer macht: seltene Fachbegriffe ("Malgaigne-Beckenfraktur", "serielle transverse Enteroplastie"), Datumsangaben, Dosierungen, Maße, dazu gesprochene Formatierungsbefehle wie "Punkt", "Komma", "neue Zeile" oder "neuer Absatz". Zu jeder Aufnahme gibt es einen formatierten Referenztext und Listen der enthaltenen Fachbegriffe und Zahlenangaben. Abbildung 1 zeigt an einem Beispiel, wie so ein Diktat klingt und wie ORPHEUS es transkribieren würde.

Abbildung 1: Eigenes Beispiel im Stil von MedTerm. Links das Gesprochene mit den Diktatbefehlen, rechts: so würde ORPHEUS es schreiben (⏎ = Zeilenumbruch).

Auch das Bewertungsverfahren ist öffentlich; es umfasst mehrere Metriken:

• Wortfehlerrate (WER): wie viele Fehler auf 100 Wörter der Referenz kommen, in diesem Fall ohne Groß-/Kleinschreibung und Satzzeichen zu werten.
• Trefferquote (Recall) und Präzision (Precision) bei Fachbegriffen: wie viele der gelisteten medizinischen Begriffe exakt richtig herauskommen und ob das System Fachbegriffe dort einsetzt, wo keine gesagt wurden.
• Formatierung: ob Datumsangaben und Zahlen exakt in der Schreibweise der Referenz erscheinen.
• Diktierte Zeichensetzung: ob gesprochene Satzzeichen und Zeilenumbrüche umgesetzt werden und keine Satzzeichen hinzugefügt werden, die niemand gesagt hat.

Corti berichtet diese Werte in Tabelle 4 des Papers [1] für Symphony und für vier Allzweck-Systeme (OpenAI, ElevenLabs, Whisper, Parakeet) auf den 499 deutschen Aufnahmen von MedTerm. Öffentlich verfügbar sind jedoch nur 200.

Methode

Alle von uns gemessenen Werte sind mit Cortis eigener, offen verfügbarer Auswertungsbibliothek bewer [4] berechnet. Um die Werte auf den öffentlichen Aufnahmen besser einordnen zu können, haben wir zusätzlich drei offene Allzweck-Modelle auf denselben 200 Aufnahmen durch die Auswertung geschickt: Voxtral Mini von Mistral [5], Whisper large-v3 von OpenAI [6] und Qwen3-ASR 1.7B von Alibaba [7]. Alle drei liefen in der Standardkonfiguration, ohne Finetuning, extra Prompting oder andere Eingriffe. Sie sind die einzigen Vergleiche auf exakt denselben Aufnahmen und dienen zugleich als grobe Plausibilitätsprüfung. Sie landeten alle in derselben Größenordnung, in der auch das Paper Systeme dieser Klasse einordnet. Unser Whisper-Wert liegt dabei mit 15,9 Prozent nah an den 15,6 Prozent, die das Paper für seine Whisper-Variante nennt. Das spricht dafür, dass sich die öffentlichen Aufnahmen ähnlich verhalten wie die 499 des Papers; belegen lässt es sich damit nicht.

ORPHEUS selbst haben wir in zwei Konfigurationen gemessen, die in der Klinik vorkommen, d. h. sowohl mit als auch ohne Nutzung der Vokabular-Funktion, in die man vor dem Diktat schwierige Begriffe eintragen kann. Für die Messung mit Vokabular haben wir dem System die Fachbegriffe mitgegeben, die der Datensatz selbst zu jeder Aufnahme bereithält (bis zu drei Begriffe pro Aufnahme). Das entspricht dann dem günstigsten Fall, dass jemand ORPHEUS so an den eigenen Sprachgebrauch angepasst hat, indem mit der Zeit bereits die Begriffe eingetragen wurden, die ggf. nicht zuverlässig erkannt wurden. Im Vokabular-Experiment des Corti-Papers, nur auf englischen Daten, bekam jede Aufnahme das gesamte Vokabular des Datensatzes [1, Tab. 7].

Konventionen

Die Referenzen schreiben Datumsangaben als "3. Juli 1995" und Ordnungszahlen bis neun als Wort ("der vierten Woche"). ORPHEUS schreibt "03.07.1995" und "der 4. Woche". Beides ist korrektes Deutsch, aber die Wortfehlerrate zählt solche Abweichungen als Fehler: Beim ausgeschriebenen Datum wären es gleich zwei oder drei. Deshalb nennen wir für unsere Messungen eine stilneutrale Wortfehlerrate, die nur echte Erkennungsfehler zählt: Referenz und Ausgabe werden vor dem Zählen symmetrisch auf eine Konvention gebracht. Ihre Regeln folgen den Kategorien der veröffentlichten Stilvorgabe [1, Abschn. 3.2]. Für die Systeme aus dem Paper lässt sich die stilneutrale Wortfehlerrate nicht berechnen, weil Corti deren ausgegebene Texte nicht veröffentlicht hat. Symphony trifft die Schreibweise der Referenzen bei Datums- und Zahlenangaben zu 99,5 Prozent [1, Tab. 4]; sein Wert ohne Angleichung dürfte daher nah am stilneutralen liegen. Bei den übrigen Systemen enthalten die Werte ohne Angleichung dagegen auch solche Scheinfehler und fallen deshalb vermutlich etwas schlechter aus. Bei allen Systemen, die wir selbst auf MedTerm gemessen haben, macht die Angleichung rund einen Punkt aus.

Die zweite Konvention ist eine Geste. Die Referenzen setzen "neuer Absatz" als Leerzeile und "neue Zeile" als Zeilenumbruch. ORPHEUS wurde darauf trainiert, beide Befehle als eine Geste mit einem Zeilenumbruch zu behandeln. Die stilneutralen Werte zählen deshalb einen Umbruch als Umbruch; Ergebnisse für beide Zählweisen stehen in Tabelle 1.

Ergebnisse auf MedTerm

Stilneutral kommt ORPHEUS auf 4,0 Prozent Wortfehlerrate ohne und 1,8 Prozent mit Vokabular, Symphony laut Paper auf 2,5 Prozent. Die drei offenen Modelle machen auf denselben Aufnahmen stilneutral knapp drei- bis knapp viermal so viele Wortfehler wie ORPHEUS ohne Vokabular und sechs- bis gut achtmal so viele wie ORPHEUS mit Vokabular. Die Echtzeit-Varianten der kommerziellen Systeme von OpenAI und ElevenLabs kommen ohne Angleichung auf 13,0 und 16,4 Prozent. Eine strenge Rangfolge ist das nicht, weil die Aufnahmen nicht dieselben sind. Abbildung 2 stellt die Wortfehlerraten aller Systeme nebeneinander.

Ohne Vokabular findet ORPHEUS 61 Prozent der Fachbegriffe, die Allzweck-Systeme 48 bis 71 und Symphony 76 Prozent. Mit Vokabular gibt ORPHEUS 98 Prozent der Fachbegriffe exakt richtig aus, und die Präzision sinkt dabei nur von 99 auf 98 Prozent. Weil das Vokabular hier nur Begriffe enthielt, die in der Aufnahme auch vorkommen, zeigt das allerdings nicht, wie sich ein großes Vokabular mit vielen nicht gesagten Begriffen verhält. Wie viel Symphonys eigenes Vokabular auf den deutschen Daten bringt, ist nicht veröffentlicht. Abbildung 3 stellt die Trefferquote ohne und mit Vokabular gegenüber.

Abbildung 2: Wortfehlerrate auf MedTerm, deutscher Teil. Für unsere eigenen Messungen zeigen die Balken den stilneutralen Wert, die Rauten den Wert ohne Angleichung. Für die Systeme aus dem Paper gibt es nur den Wert ohne Angleichung (schraffiert), weil ihre Transkripte nicht vorliegen.

Abbildung 3: Trefferquote von ORPHEUS bei Fachbegriffen auf MedTerm, ohne und mit Vokabular.

Bei der diktierten Zeichensetzung setzt ORPHEUS ohne Vokabular stilneutral, also mit dem Absatz-Unterschied herausgerechnet, 95 Prozent der gesprochenen Satzzeichen und Umbrüche um; Symphony kommt auf 94. Allerdings setzt ORPHEUS häufiger auch Satzzeichen, die niemand diktiert hat (Präzision 85 gegenüber 91 Prozent). Die Allzweck-Systeme treffen höchstens rund die Hälfte, vermutlich weil sie Satzzeichen nach eigenem Ermessen setzen, statt auf die gesprochenen Befehle zu hören.

Tabelle 1: MedTerm, deutscher Teil. Werte in Prozent, außer Aufn.

Zweiter Datensatz: MedDictate, echte Stimmen

Kurz vor der Veröffentlichung dieses Beitrags hat ElevenLabs das neue Scribe v2 Medical vorgestellt, eine auf klinisches Audio angepasste Variante seiner Spracherkennung [8]. ElevenLabs berichtet dafür Werte auf dem zweiten öffentlichen Datensatz, MedDictate [3]: auf den deutschen Aufnahmen eine Wortfehlerrate von 7,2 Prozent, für OpenAIs GPT Transcribe 9,6, für das allgemeine Scribe v2 11,7 und für Muse Voice Transcribe 1.0 13,3 Prozent. Die MedTerm-Werte im selben Beitrag fassen Englisch, Französisch und Deutsch zusammen; mit Tabelle 1 sind sie daher nicht vergleichbar.

Der deutsche Teil von MedDictate besteht aus neun echten Diktaten, zusammen 33 Minuten lang. Eingesprochen haben sie u. a. Mitarbeiter von Corti. Jedes ist zwischen knapp zwei und siebeneinhalb Minuten lang und enthält 35 bis 139 Fachbegriffe. Aufbau und Auswertung entsprechen MedTerm. Damit entfällt der wichtigste Vorbehalt gegen MedTerm, die synthetischen Stimmen. Dafür ist der Datensatz klein, und entsprechend breit fallen die von uns berechneten Konfidenzintervalle aus. Für Symphony gibt es auf den deutschen MedDictate-Daten keine veröffentlichten Werte.

Wir haben ORPHEUS hier für bestmögliche Vergleichbarkeit ohne Vokabular gemessen. ORPHEUS kommt dabei stilneutral auf eine Wortfehlerrate von 6,6 Prozent, mit einem Konfidenzintervall von 4,3 bis 9,1. Die 7,2 Prozent, die ElevenLabs für Scribe v2 Medical angibt, liegen in diesem Intervall; beide Systeme liegen also in derselben Größenordnung. Die Werte, die ElevenLabs für GPT Transcribe, das allgemeine Scribe v2 und Muse Voice Transcribe 1.0 nennt, liegen oberhalb unseres Intervalls. Es gilt allerdings auch hier eine wichtige Einschränkung: ElevenLabs hat nicht veröffentlicht, wie die Texte vor dem Zählen normalisiert wurden, und wir haben diese Systeme nicht selbst gemessen. Ob beide Zahlen auf exakt demselben Verfahren beruhen, wissen wir deshalb nicht. Abbildung 4 stellt die Werte nebeneinander.

Von den annotierten Fachbegriffen kommen hier 84 Prozent exakt richtig heraus, die Präzision liegt bei über 99 Prozent. Die diktierte Zeichensetzung trifft ORPHEUS stilneutral zu 95 Prozent.

Abbildung 4: Wortfehlerrate auf MedDictate, deutscher Teil. Für ORPHEUS zeigt der Balken den stilneutralen Wert, die Raute den Wert ohne Angleichung. Die übrigen Werte stammen von ElevenLabs (schraffiert); wie dort normalisiert wurde, ist nicht veröffentlicht.

Tabelle 2: MedDictate, deutscher Teil. Werte in Prozent, außer Aufn.; unsere Zeile berechnet mit bewer [4], die übrigen aus der Veröffentlichung von ElevenLabs [8].

Lesehilfe zu Tabelle 1 und 2

• Aufn.: Zahl der ausgewerteten Aufnahmen. Die mit "(Corti)" markierten Zeilen stammen aus dem Paper [1, Tab. 4].
• WER: Wortfehlerrate, also Ersetzungen, Auslassungen und Einfügungen je 100 Referenzwörter, ohne Groß-/Kleinschreibung und Satzzeichen. Kleiner ist besser.
• Fachbegriffe, Treffer und Präzision: Anteil der annotierten Fachbegriffe, die exakt richtig herauskommen. Ein Begriff zählt nur, wenn jedes seiner Wörter stimmt. Die Präzision zeigt, ob ein System Fachbegriffe setzt, wo keine gesagt wurden; wichtig vor allem bei der Vokabular-Zeile.
• Formatierung: Anteil der annotierten Datums- und Zahlenangaben, exakt wie geschrieben. Die Spalte ist nur eingeschränkt vergleichbar: Whisper large-v3 erreicht auf den 200 öffentlichen Aufnahmen stilneutral 74 Prozent, das Paper nennt für seine Whisper-Variante 82.
• Zeichensetzung, Treffer und Präzision: Anteil der diktierten Satzzeichen und Umbrüche, die umgesetzt werden. Die Referenzen enthalten nur, was gesprochen wurde; selbst hinzugefügte Satzzeichen gehen zulasten der Präzision.
• °: derselbe Wert nach dem Angleichen beider Texte auf eine Konvention (Ordnungszahlen, Zahlwörter, numerische Daten, Uhrzeiten, Maße, Bereiche und Absatz-zu-Zeilenumbruch), symmetrisch, sodass die Angleichung keinen falschen Wert reparieren kann.
• n. b.: ohne Transkripte nicht berechenbar; k. A.: nicht veröffentlicht.
• [a; b]: 95-%-Konfidenzintervall aus 1.000 Bootstrap-Stichproben über die Aufnahmen. Für unsere Messungen haben wir es selbst berechnet, für die Zeilen aus dem Paper ist es aus [1, Tab. 4] übernommen. Aus Platzgründen steht es nur bei der Wortfehlerrate und der Fachbegriff-Trefferquote; für die übrigen Spalten nennt die Tabelle den Punktwert.
• Vokabular: die vom Benchmark zur jeweiligen Aufnahme annotierten Fachbegriffe (bis zu drei), dem System mitgegeben.

Einordnung

Erstens: ORPHEUS macht auf MedTerm deutlich weniger Wortfehler als die Echtzeit-Varianten der kommerziellen Systeme von OpenAI und ElevenLabs sowie frei verfügbare Modelle. Bei der Wortfehlerrate liegt es nah an Cortis Symphony, diktierte Satzzeichen und Umbrüche setzt es zuverlässig um.

Zweitens: Die Messung auf echten Stimmen deutet darauf hin, dass das Ergebnis hält, auch wenn der Datensatz mit neun Aufnahmen klein ist. Auf MedDictate kommt ORPHEUS stilneutral auf 6,6 Prozent Wortfehlerrate und liegt damit in derselben Größenordnung wie das neue Scribe v2 Medical.

Drittens: Ohne Vokabular erkennt ORPHEUS seltene Fachbegriffe zwar weniger zuverlässig als Symphony, die Nutzung der Vokabular-Funktion schließt diese Lücke jedoch: Sie senkt die Fehlerrate und erhöht die Trefferquote bei Fachbegriffen deutlich, ohne dass die Präzision nennenswert sinkt. Im Alltag fällt der Effekt realistischerweise kleiner aus, weil niemand alle schwierigen Begriffe vorher kennt. Die Funktion erlaubt aber eine gezielte Anpassung an den eigenen Sprachgebrauch ohne erneutes Training.

Viertens: Außer ORPHEUS sind alle Systeme, so wie sie hier verglichen werden, Programmierschnittstellen (APIs) oder frei verfügbare Modelle. Eine API oder eine Modelldatei allein ist für eine Praxis oder Klinik noch kein Diktiersystem: Dazu fehlen eine Anwendung am Arbeitsplatz, die Anbindung an Mikrofon und Klinik- oder Praxissoftware, Benutzerverwaltung und Support, bei einem Modell außerdem eigene GPU-Server und deren Betrieb. ORPHEUS ist dagegen eine fertige Software: Es schreibt direkt an der Cursorposition in praktisch jede Klinik- und Praxissoftware, läuft am Rechner und als App und wird in einer deutschen Cloud oder im Rechenzentrum des Hauses betrieben.

Limitationen

Der Vergleich mit Symphony und den übrigen Systemen, die wir nicht selbst gemessen haben, ist eine Annäherung: Aufnahmen, Messmodus und zum Teil die Normalisierung unterscheiden sich. Direkt vergleichbar sind nur unsere eigenen Messungen auf denselben Aufnahmen. Unsere Werte für MedTerm stammen nur von den 200 öffentlichen Aufnahmen. Ob sie unter den 499 des Papers sind und wie sie ausgewählt wurden, ist nicht dokumentiert. Wir haben ORPHEUS nicht im Streamingmodus gemessen; alle mit "(Corti)" markierten Zeilen in Tabelle 1, auch Symphony, stammen dagegen aus Echtzeit-Messungen (Streaming) [1, Tab. 4]. Stilneutrale Werte konnten wir nur für unsere eigenen Messungen berechnen; dass Symphonys Wert ohne Angleichung nah am stilneutralen liegt, ist eine Annahme. Die drei offenen Vergleichsmodelle liefen in Standardkonfiguration und dürften mit gezieltem Finetuning noch einmal besser abschneiden. Etablierte Diktiersysteme anderer Anbieter, wie sie in vielen Kliniken und Praxen im Einsatz sind, fehlen im Vergleich: Werte auf diesen Datensätzen sind uns für sie nicht bekannt, und außer ORPHEUS haben wir nur frei verfügbare Modelle selbst gemessen. Die MedTerm-Aufnahmen sind saubere synthetische Sprache, eine Art von Daten, die im Training von ORPHEUS bisher nicht vorkommt; MedDictate besteht aus echten Stimmen, ist aber sehr klein, und die Vergleichswerte dort stammen von ElevenLabs selbst. Über laute Krankenhausstationen, weiter entfernte Mikrofone oder zögerliche Sprecher sagen beide Datensätze nur wenig aus.

Ausblick

Wir arbeiten laufend an ORPHEUS und werden auch künftig neue Ergebnisse hier zeigen. Die Benchmarks zeigen uns dabei deutlich, wo wir als Nächstes ansetzen: bei der Erkennung seltener Fachbegriffe ohne Vokabular und bei der Zeichensetzung, vor allem darin, keine Satzzeichen zu setzen, die niemand diktiert hat. Unser Ziel bleibt hochwertige, souveräne und transparente medizinische Software und KI für Kliniken und Praxen.

Danke an Corti für die Veröffentlichung von Daten und Verfahren.

Fragen, Kooperationsideen, Kritik: hallo@idmedizin.de

Quellen

Abbildungen herunterladen

Alle vier Abbildungen auf Deutsch und Englisch, als PNG (200 dpi) oder SVG (Vektor). Vor dem Speichern fragt der Browser nach.