Ein neues Preprint auf arXiv will einen Referenz-Benchmark für die automatisierte Segmentierung von COVID-19-Läsionen in CT-Aufnahmen setzen 1. Das Papier vergleicht eine Reihe von CNN-basierten Architekturen – darunter verschiedene U-Net-Varianten – und präsentiert Dice-Scores als Hauptmetrik. Auf den ersten Blick ist das ein nützlicher Beitrag zu einem klinisch relevanten Problem. Auf den zweiten Blick ist es ein Lehrstück darüber, was im medizinischen KI-Benchmarking systematisch schiefläuft.
Das bedeutet konkret:
Wer als Klinik, Hersteller oder Investor einen Dice-Score von 95 Prozent aus einem Preprint liest, kauft keine validierte Leistung, sondern eine Momentaufnahme unter unkontrollierten Bedingungen. Vier strukturelle Lücken – fehlende Datensatz-Transparenz, ausgelassene Transformer-Architekturen, keine Unsicherheitsquantifizierung, nicht standardisierte Metriken – kollidieren ab dem 2. August 2026 direkt mit den Hochrisiko-Pflichten des EU AI Act. Praktisch heißt das: Ein Benchmark, der heute beeindruckt, kann morgen ein Konformitätsproblem sein. Gell, das klingt akademisch – bis es haftungsrelevant wird.
Dieser Artikel übt keine Kritik an den Autorinnen und Autoren des Preprints als Personen. Die identifizierten Schwächen sind strukturell und in der medizinischen KI-Forschung weit verbreitet. Das Preprint dient hier als Fallstudie – als Symptom eines systemischen Problems, nicht als Einzelfall.
Ein Preprint, das mehr verrät als es zeigt
Das Preprint „Pixel Wised Lesion Prediction on COVID-19 CT Imagery” 1 verfolgt ein legitimes Ziel: Es will systematisch vergleichen, welche Segmentierungsarchitekturen bei der Erkennung von COVID-19-Läsionen in CT-Bildern am besten abschneiden. Der Vergleich umfasst klassische CNN-Architekturen und U-Net-Varianten. Die Ergebnisse werden in tabellarischer Form präsentiert, Dice-Koeffizient und IoU als Metriken.
Was das Preprint nicht leistet – und was es damit exemplarisch für ein breiteres Muster macht – ist ebenso aufschlussreich wie das, was es zeigt.
Bemerkenswert ist bereits der institutionelle Rahmen: arXiv versieht alle COVID-19-bezogenen Einreichungen mit einem expliziten Disclaimer, der darauf hinweist, dass die Ergebnisse nicht peer-reviewed sind und nicht als Grundlage für klinische Entscheidungen dienen sollten. Dieser Hinweis ist keine Formalität. Er markiert eine strukturelle Spannung: Preprints werden in der medizinischen KI-Community als De-facto-Referenzen zitiert, bevor irgendeine Form externer Validierung stattgefunden hat.
Das ist der Kern. Ein Dokument mit Warnhinweis wird zur Referenz. Was das in der Praxis bedeutet: Die Schwelle zwischen „interessanter Vorabbefund” und „zitierfähiger Stand der Technik” verschwimmt – und niemand zieht sie nach.
Vier strukturelle Lücken im Benchmark-Design
1. Fehlende Datensatz-Transparenz und Dataset-Leakage-Risiken
Das Preprint benennt die verwendeten Trainingsdaten nicht mit der Präzision, die für eine Reproduzierbarkeit notwendig wäre. Welche CT-Datensätze wurden verwendet? Wurden Patienten-IDs über Trainings- und Testsets hinweg isoliert? Gibt es Überschneidungen mit öffentlich verfügbaren COVID-CT-Korpora, die in anderen Benchmarks ebenfalls verwendet werden?
Diese Fragen sind nicht akademisch. Dataset Leakage – die unbeabsichtigte Kontamination von Testdaten durch Trainingsdaten – ist eine der häufigsten Ursachen für überhöhte Benchmark-Ergebnisse in der medizinischen Bildgebung. Ohne vollständige Datensatz-Dokumentation ist ein Benchmark kein Benchmark, sondern eine Momentaufnahme unter unkontrollierten Bedingungen.
2. Ausgelassene Transformer-Architekturen
Der Vergleich beschränkt sich auf CNN-basierte Modelle. Transformer-basierte Architekturen wie Swin-Transformer oder TransUNet – die seit 2021 zum Stand der Technik in der medizinischen Bildsegmentierung gehören – fehlen vollständig. Ein Benchmark, der den aktuellen Methodenraum nicht abdeckt, kann keine validen Aussagen über den „State of the Art” treffen.
Genau dieses Problem adressiert ein paralleles Preprint direkt: „State-of-the-Art Claims Require State-of-the-Art Evidence” 3 argumentiert, dass SOTA-Behauptungen in der KI-Forschung systematisch unterbewertet werden, weil Vergleichsarchitekturen selektiv ausgewählt werden. Der Befund gilt für die CT-Segmentierung ebenso wie für andere Domänen.
3. Abwesenheit von Unsicherheitsquantifizierung
Klinische Entscheidungsunterstützung erfordert nicht nur eine Vorhersage, sondern auch eine Aussage über die Konfidenz dieser Vorhersage. Ein Segmentierungsmodell, das eine Läsion mit 95 % Dice-Score erkennt, aber keine Unsicherheitsschätzung liefert, ist für den klinischen Einsatz nur bedingt geeignet. Uncertainty Quantification (UQ) – etwa durch Monte-Carlo-Dropout, Deep Ensembles oder Bayesianische Ansätze – ist in keinem der verglichenen Modelle implementiert oder evaluiert.
Was das in der Praxis bedeutet: Ein Modell, das nicht weiß, wann es sich irrt, ist im Operationssaal gefährlicher als ein Modell, das schlechter abschneidet, aber seine Grenzen kennt.
4. Fehlende Standardisierung von Evaluationsmetriken
Dice-Koeffizient und IoU sind nützlich, aber unvollständig. Klinisch relevante Metriken wie Hausdorff-Distanz, Sensitivität bei kleinen Läsionen oder Robustheit gegenüber Bildqualitätsvariationen fehlen. Ohne standardisierte Metrik-Sets sind Vergleiche zwischen Studien strukturell nicht möglich – ein Problem, das die gesamte medizinische Bildgebungsforschung betrifft.
Das Problem ist domänenübergreifend: Benchmarking in der Krise
Die vier identifizierten Lücken sind kein Spezifikum der COVID-CT-Segmentierung. Sie sind ein strukturelles Muster.
Ein aktuelles Audit zu adversarialer Fragilität in klinischer KI 2 zeigt, dass diagnostische Modelle unter imperceptible Perturbations – also minimalen, für Menschen unsichtbaren Bildveränderungen – kollabieren können. Die Benchmark-Ergebnisse, auf denen diese Modelle basieren, spiegeln diese Fragilität nicht wider, weil Robustheitstests in Standard-Benchmarks schlicht nicht vorgesehen sind.
Der MedMeta-Benchmark 4 versucht, Meta-Analyse-Qualität für LLMs in der Medizin zu standardisieren – ein begrüßenswerter Ansatz, der aber selbst mit Limitationen kämpft: Die Auswahl der Referenzstudien ist nicht vollständig transparent, und die Übertragbarkeit auf klinische Entscheidungssituationen bleibt offen.
Eine Taxonomie-Analyse von Safety-Benchmarks für KI-Agenten 8 kommt zu einem ernüchternden Befund: Inkonsistenz ist das domänenübergreifende Muster. Benchmarks messen unterschiedliche Dinge unter demselben Label, ohne dass dies für Nutzerinnen und Nutzer erkennbar wäre.
Selbst in nicht-medizinischen Domänen – etwa dem CAM-Bench für mathematisches Reasoning in Lean 7 – zeigt sich, dass Benchmark-Design oft mehr über die Präferenzen der Erstellenden aussagt als über die tatsächliche Leistungsfähigkeit der evaluierten Systeme.
Die These, die sich aus diesen Befunden ergibt, ist unbequem: Benchmarking ist in weiten Teilen der KI-Forschung zum Reputationsinstrument geworden – zum Mittel, SOTA-Claims zu untermauern -, nicht zum Validierungswerkzeug.
Preprint-Kultur vs. klinische Realität: Eine strukturelle Spannung
arXiv schreibt für alle COVID-19-Einreichungen explizit: Ergebnisse seien nicht peer-reviewed und sollten nicht als Grundlage für klinische Praxis oder gesundheitspolitische Entscheidungen dienen. Dieser Disclaimer ist institutionell ehrlich. Er ist aber auch ein Eingeständnis einer strukturellen Spannung, die die medizinische KI-Forschung insgesamt prägt.
Die Geschwindigkeit der Preprint-Kultur – Einreichung, Sichtbarkeit, Zitation innerhalb von Wochen – steht in direktem Widerspruch zu den Anforderungen klinischer Validierung, die externe Kohorten, prospektive Studien und regulatorische Prüfung erfordern. In der COVID-19-Pandemie wurde diese Spannung besonders sichtbar: Modelle, die auf Preprint-Benchmarks als SOTA galten, erwiesen sich in klinischen Piloten als deutlich weniger robust.
Der Telemedizinkongress 2025 formulierte es treffend: „Strukturen schaffen, bevor wir sie akut benötigen” 9. Gemeint waren Infrastrukturen für Telemedizin – aber der Satz gilt ebenso für Benchmark-Infrastrukturen. Wer wartet, bis ein schlecht validiertes Modell in der Klinik versagt, hat zu lange gewartet.
Kommerzielle Deployments wie Corti AIs „Symphony” für automatisierte medizinische Kodierung 5 illustrieren die Praxisrelevanz: Wenn Produkte auf Benchmark-Ergebnissen aufbauen, die methodisch unzureichend sind, pflanzt sich die Unsicherheit in die klinische Lieferkette fort. Die Lücke zwischen Benchmark-Performance und klinischem Alltag ist nicht nur akademisch – sie ist haftungsrelevant.
AI Act, Anhang III und die Benchmark-Pflicht ab August 2026
Ab dem 2. August 2026 greifen die Hochrisiko-Pflichten des EU AI Act nach Anhang III vollständig 10. Medizinische Bildgebungs-KI – einschließlich CT-Segmentierungssysteme – fällt explizit in diese Kategorie. Was bedeutet das konkret?
Hersteller und Betreiber müssen nachweisen, dass ihre Systeme auf repräsentativen, vollständig dokumentierten Datensätzen trainiert und evaluiert wurden. Robustheitstests unter realistischen Bedingungen sind Pflicht. Transparenz über Leistungsgrenzen – einschließlich Unsicherheitsschätzungen – ist keine Option, sondern Konformitätsanforderung.
Legt man die vier identifizierten Benchmark-Lücken gegen diese Anforderungen:
- Fehlende Datensatz-Transparenz verstößt direkt gegen die Datendokumentationspflichten nach Art. 10 AI Act, der verlangt, dass Trainings-, Validierungs- und Testdaten relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei sind 10.
- Ausgelassene Architekturen untergraben die Anforderung, dass Leistungsbehauptungen den aktuellen Stand der Technik reflektieren müssen.
- Fehlende Unsicherheitsquantifizierung ist ein potenzielles Konformitätsproblem, da der AI Act explizit Transparenz über Systemgrenzen fordert.
- Nicht standardisierte Metriken erschweren die Vergleichbarkeit, die für Konformitätsbewertungen durch Notified Bodies notwendig ist.
Die offene Frage, die Stand Juni 2026 unbeantwortet bleibt: Wer zertifiziert Benchmarks – und nach welchem Standard? Der AI Act reguliert KI-Systeme, nicht die Benchmarks, auf denen ihre Evaluierung basiert. Diese Lücke in der regulatorischen Architektur ist nicht trivial.
Was ein valider medizinischer KI-Benchmark leisten müsste
Aus den identifizierten Schwächen lassen sich konkrete Minimalanforderungen ableiten:
- Datensatz-Transparenz: Vollständige Dokumentation aller Trainings-, Validierungs- und Testdaten, inklusive Herkunft, Preprocessing und Patienten-Isolierung.
- Architektur-Vollständigkeit: Einbeziehung des aktuellen Methodenraums, einschließlich Transformer-basierter Architekturen, als Voraussetzung für valide SOTA-Claims.
- Unsicherheitsquantifizierung: Mindestens eine UQ-Methode als Pflichtkomponente jedes klinisch orientierten Benchmarks.
- Externe Validierungskohorten: Ergebnisse auf internen Testsets allein sind keine ausreichende Evidenz für klinische Tauglichkeit.
- Standardisierte Metrik-Sets: Domänenspezifische Konsensmetriken, die über Dice und IoU hinausgehen.
Institutionell wären zwei Maßnahmen besonders wirksam: eine Peer-Review-Pflicht für Benchmark-Datensätze analog zu klinischen Studienprotokollen sowie eine Registrierungspflicht für Benchmarks, die für regulatorische Zwecke verwendet werden sollen – vergleichbar mit der Registrierung klinischer Studien in ClinicalTrials.gov.
Initiativen wie MedMeta 4 zeigen, dass der Wille zur Standardisierung vorhanden ist. Aber auch MedMeta kämpft mit den gleichen strukturellen Problemen: Auswahl-Bias bei Referenzstudien, begrenzte Übertragbarkeit, fehlende externe Validierung.
Die entscheidende offene Frage, die Stand Juni 2026 ungelöst bleibt: Wer trägt Verantwortung für Benchmark-Qualität in der KI-Lieferkette? Hersteller? Forschungseinrichtungen? Regulatoren? Die Antwort fehlt – und mit dem AI Act wird aus dieser akademischen Unklarheit eine regulatorische Dringlichkeit.
Benchmarks sind keine akademischen Nebenprodukte. Sie sind regulatorische Infrastruktur. Es ist Zeit, sie auch so zu behandeln.
Quellen
- 1 Pixel Wised Lesion Prediction on COVID-19 CT Imagery [https://arxiv.org/abs/2605.20459]
- 2 Adversarial Fragility and Language Vulnerability in Clinical AI [https://arxiv.org/abs/2605.20459]
- 3 State-of-the-Art Claims Require State-of-the-Art Evidence [https://arxiv.org/abs/2605.17273]
- 4 MedMeta Benchmark [https://arxiv.org/abs/2605.09661]
- 5 Corti AI Symphony [https://www.heise.de/news/Corti-AI-bringt-Symphony-fuer-automatisierte-medizinische-Kodierung-11286701.html]
- 7 CAM-Bench [https://arxiv.org/abs/2605.17255]
- 8 Taxonomy and Consistency Analysis of Safety Benchmarks [https://arxiv.org/abs/2605.16282]
- 9 Telemedizinkongress [https://www.heise.de/news/Telemedizinkongress-Strukturen-schaffen-bevor-wir-sie-akut-benoetigen-11282042.html]
- 10 Verordnung (EU) 2024/1689 (KI-Verordnung / EU AI Act), Art. 10 Daten und Daten-Governance [https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng]
