FDA-Leitfaden zur Bewertung der Glaubwürdigkeit rechnerischer Modellierung und Simulation: Übersicht über Glaubwürdigkeitsnachweise | FDA

Inhaltsverzeichnis

Das Food and Drug Administration (FDA oder die Agentur), die US-amerikanische Regulierungsbehörde im Bereich Gesundheitsprodukte, hat ein Leitliniendokument veröffentlicht, das sich der Bewertung der Glaubwürdigkeit von Computermodellen und Simulationen bei der Einreichung von Medizinprodukten widmet.

Das Dokument bietet einen Überblick über die geltenden regulatorischen Anforderungen sowie zusätzliche Klarstellungen und Empfehlungen, die von Herstellern medizinischer Geräte und anderen Beteiligten berücksichtigt werden müssen, um deren Einhaltung sicherzustellen.

Gleichzeitig sind die Bestimmungen der Leitlinien rechtlich nicht bindend und zielen auch nicht darauf ab, neue Regeln einzuführen oder neue Verpflichtungen aufzuerlegen.

Darüber hinaus weist die Behörde ausdrücklich darauf hin, dass ein alternativer Ansatz angewendet werden könnte, sofern dieser mit dem bestehenden Rechtsrahmen im Einklang steht und vorab mit der Behörde abgestimmt wurde.

Einführung in den Glaubwürdigkeitsnachweis in der Computermodellierung 

Zunächst erwähnt die Behörde, dass in einem so anspruchsvollen Bereich der Zulassungsanträge für Medizinprodukte „Glaubwürdigkeitsbeweis„scheint eines der wichtigsten Konzepte zu sein.

Wie die FDA weiter erläutert, deckt es traditionelle Validierungsaktivitäten ab und befasst sich mit allen Belegen, die die Zuverlässigkeit eines Rechenmodells für seinen beabsichtigten Nutzungskontext (Context of Use, COU) unterstützen.

Dieses Beweisspektrum umfasst verschiedene Verifizierungs- und Unsicherheitsquantifizierungsaktivitäten (UQ), die jeweils einzigartige Einblicke in die Genauigkeit des Modells liefern.

Dabei geht es den Leitlinien zufolge nicht nur um die Sammlung von Beweisen, sondern um deren Unterscheidung und systematische Kategorisierung.

Eine solche organisierte Zusammenstellung von Beweisen dient dazu, die Glaubwürdigkeit des Modells zu bewerten und Regulierungsbehörden und Interessengruppen von seiner Präzision und Anwendbarkeit in klinischen Szenarien zu überzeugen.

Verifizierung und ihre Kategorien

Die Verifizierung ist eine entscheidende Komponente der Glaubwürdigkeit und wird in Codeverifizierung und Berechnungsverifizierung unterteilt.

Die Codeüberprüfung ist ein strenger Prozess, der sicherstellt, dass numerische Algorithmen präzise in der Software implementiert werden, ohne Fehler, die die numerische Präzision beeinträchtigen könnten.

Es umfasst eine strenge Software-Qualitätssicherung und eine strenge numerische Code-Verifizierung, wie in ASME V&V 40 beschrieben.

Bei der Berechnungsverifizierung liegt der Schwerpunkt auf der Schätzung numerischer Fehler in der Modellausgabe, die häufig auf Entscheidungen wie die räumliche Diskretisierung zurückzuführen sind.

Diese Form der Verifizierung ist dynamisch und kann in jeder Phase der Simulation integriert werden, sei es während der Validierung oder innerhalb von COU-spezifischen Simulationen.

Durch diese Verifizierungsprozesse wird die numerische Integrität eines Modells überprüft und bestätigt, wodurch ein Grundstein für die Glaubwürdigkeit gelegt wird.

Validierung und ihre Rolle bei der Beurteilung der Glaubwürdigkeit

Die Validierung unterscheidet sich von der Kalibrierung und legt den Schwerpunkt auf den Vergleich von Modellvorhersagen mit Daten, die unabhängig von denen sind, die zur Erstellung des Modells verwendet wurden.

Diese unabhängige Prüfung stärkt die Glaubwürdigkeit eines Modells. Wie die Behörde erklärt, handelt es sich bei der Validierung nicht nur um ein Kontrollkästchen, sondern um eine umfassende Bewertung, die sich auf die Anwendbarkeit des Modells auf die COU erstreckt.

Hierbei handelt es sich um eine Anwendbarkeitsbewertung, die die Relevanz und Übertragbarkeit der Validierungsaktivitäten auf die COU bewertet.

Durch die Bewertung wird sichergestellt, dass Unterschiede zwischen den Validierungsbedingungen des Modells und seiner praktischen Anwendung die Relevanz der Validierung für die COU nicht untergraben und so die Integrität der Glaubwürdigkeit des Modells gewahrt bleibt.

Unsicherheitsquantifizierung und Sensitivitätsanalyse 

Den Leitlinien zufolge ist UQ von zentraler Bedeutung für die Schätzung der Unsicherheit, die den Modellergebnissen innewohnt. Es berücksichtigt die Variabilität der Eingaben und die strukturellen Nuancen des Modells selbst.

UQ ist untrennbar mit der Sensitivitätsanalyse (SA) verbunden, die den Einfluss einzelner Modelleingaben auf die Ausgaben untersucht. SA kann UQ vereinfachen, indem es identifiziert, welche Eingaben sich erheblich auf die Ergebnisse auswirken, wodurch der Fokus für UQ-Bemühungen eingeengt wird.

Das ultimative Ziel von UQ besteht jedoch darin, die Unsicherheit der Modellergebnisse zu quantifizieren und so eine quantitative Grundlage für die Glaubwürdigkeit des Modells zu schaffen.

Sowohl UQ als auch SA können auf Validierungs- oder COU-Simulationen angewendet werden, was ihre Vielseitigkeit bei der Verbesserung der Modellzuverlässigkeit unterstreicht.

Kategorisierung von Glaubwürdigkeitsnachweisen 

Die Kategorisierung von Glaubwürdigkeitsnachweisen in acht verschiedene Kategorien dient der systematischen Anordnung der Beweise, die ein Rechenmodell stützen.

Diese Struktur hilft bei der Organisation der Beweise, ist jedoch weder erschöpfend noch gibt sie Aufschluss über die Qualität oder Genauigkeit der Beweise selbst.

Die Kategorien sind nicht geordnet; Vielmehr dienen sie als Orientierungsrahmen für die Zusammenstellung von Nachweisen und gewährleisten eine umfassende und strukturierte Darstellung in Zulassungsanträgen.

Jede Kategorie von Glaubwürdigkeitsnachweisen wird durch spezifische Merkmale und Anwendungskontexte definiert.

Beispielsweise validieren Code-Verifizierungsergebnisse (Kategorie 1) das Fehlen von Fehlern in der numerischen Implementierung, während In-vivo-Validierungsergebnisse (Kategorie 4) validieren die Vorhersagen des Modells anhand biologischer Daten lebender Organismen.

Die Anwendung dieser Kategorien trägt zu einem detaillierten Verständnis der Arten von Beweisen bei, die die Glaubwürdigkeit eines Modells untermauern können.

Regulatorische Einreichung und Einbeziehung von Beweismitteln 

Wie die FDA erklärt, sollte die Integration von Glaubwürdigkeitsnachweisen in Zulassungsanträge das mit dem Modell verbundene Risiko widerspiegeln.

Diese Leitlinien schreiben keine spezifischen Evidenztypen für die Einbeziehung vor, sondern schlagen einen umfassenden Ansatz vor, der Faktoren wie den Modelltyp und den Reifegrad des Modellierungsbereichs berücksichtigt.

Der Nachweis sollte Aspekte wie Codeverifizierung, Berechnungsverifizierung und Validierung umfassen, um die Fähigkeiten des Modells ganzheitlich darzustellen.

Die Anwendung von Glaubwürdigkeitsnachweisen wird anhand praktischer Fälle veranschaulicht, beispielsweise beim Testen von In-silico-Geräten, bei denen mehrere Formen von Glaubwürdigkeitsnachweisen zur Untermauerung der Anwendung des Modells erforderlich sein können.

Diese Beispiele verdeutlichen die kontextabhängige Natur der Beweisauswahl und die Bedeutung eines maßgeschneiderten Ansatzes für die Integration von Beweisen in behördliche Einreichungen.

Zusammenfassung

Zusammenfassend lässt sich sagen, dass der Glaubwürdigkeitsnachweis für die Unterstützung von Rechenmodellen für Regulierungszwecke von wesentlicher Bedeutung ist. Entwickler werden ermutigt, sich proaktiv an regulatorischen Feedbackprozessen wie dem Q-Submission-Prozess zu beteiligen, um die Zuverlässigkeit des angewandten Ansatzes sicherzustellen.

Quelle

https://www.fda.gov/regulatory-information/search-fda-guidance-documents/assessing-credibility-computational-modeling-and-simulation-medical-device-submissions

Wie kann RegDesk helfen?

RegDesk ist ein ganzheitliches Regulatory Information Management System, das Medizingeräte- und Pharmaunternehmen mit regulatorischen Informationen für über 120 Märkte weltweit versorgt. Es kann Ihnen dabei helfen, globale Anwendungen vorzubereiten und zu veröffentlichen, Standards zu verwalten, Änderungsbewertungen durchzuführen und über eine zentrale Plattform Echtzeitwarnungen zu regulatorischen Änderungen zu erhalten. Darüber hinaus haben unsere Kunden Zugriff auf unser Netzwerk aus über 4000 Compliance-Experten weltweit, um sich bei kritischen Fragestellungen verifizieren zu lassen. Globale Expansion war noch nie so einfach.