Hướng dẫn của FDA về Đánh giá Độ tin cậy của Mô hình và Mô phỏng Tính toán: Tổng quan về Bằng chứng Độ tin cậy | FDA

Mục lục

Sản phẩm Thực phẩm và Cục Quản lý dược (FDA hoặc Cơ quan), cơ quan quản lý của Hoa Kỳ trong lĩnh vực sản phẩm chăm sóc sức khỏe, đã xuất bản một tài liệu hướng dẫn dành riêng để đánh giá độ tin cậy của mô hình tính toán và mô phỏng trong việc gửi thiết bị y tế.

Tài liệu này cung cấp thông tin tổng quan về các yêu cầu quy định hiện hành cũng như các nội dung làm rõ và khuyến nghị bổ sung cần được các nhà sản xuất thiết bị y tế và các bên liên quan khác xem xét để đảm bảo tuân thủ.

Đồng thời, các quy định trong hướng dẫn này không có tính chất ràng buộc về mặt pháp lý và cũng không nhằm mục đích đưa ra các quy định mới hoặc áp đặt các nghĩa vụ mới.

Hơn nữa, cơ quan có thẩm quyền tuyên bố rõ ràng rằng có thể áp dụng một cách tiếp cận thay thế, miễn là cách tiếp cận đó phù hợp với khuôn khổ pháp lý hiện hành và đã được thống nhất trước với cơ quan có thẩm quyền.

Giới thiệu về Bằng chứng đáng tin cậy trong mô hình tính toán 

Trước hết, cơ quan có thẩm quyền đề cập rằng trong phạm vi phức tạp của việc đệ trình quy định về thiết bị y tế, “bằng chứng đáng tin cậy” dường như là một trong những khái niệm quan trọng nhất.

Như FDA giải thích thêm, nó bao gồm các hoạt động xác nhận truyền thống, giải quyết bất kỳ bằng chứng nào hỗ trợ độ tin cậy của mô hình tính toán cho Bối cảnh sử dụng (COU) dự định của nó.

Phổ bằng chứng này bao gồm các hoạt động xác minh và định lượng độ không đảm bảo (UQ) đa dạng, mỗi hoạt động đóng góp những hiểu biết sâu sắc về độ trung thực của mô hình.

Theo hướng dẫn, mục đích của việc này không chỉ đơn thuần là thu thập bằng chứng mà còn để phân biệt và phân loại nó một cách có hệ thống.

Việc tổng hợp bằng chứng có tổ chức như vậy nhằm đánh giá độ tin cậy của mô hình, đảm bảo cho các cơ quan quản lý và các bên liên quan về độ chính xác và khả năng ứng dụng của nó trong các tình huống lâm sàng.

Xác minh và các danh mục của nó

Việc xác minh, một thành phần quan trọng của độ tin cậy, được chia thành xác minh mã và xác minh tính toán.

Xác minh mã là một quy trình nghiêm ngặt đảm bảo rằng các thuật toán số được triển khai chính xác trong phần mềm, không có lỗi có thể ảnh hưởng đến độ chính xác của số.

Nó bao gồm việc đảm bảo chất lượng phần mềm nghiêm ngặt và xác minh mã số nghiêm ngặt, như được nêu trong ASME V&V 40.

Việc xác minh tính toán chuyển sang tập trung vào việc ước tính các sai số số trong đầu ra của mô hình, thường do các quyết định như rời rạc hóa về mặt không gian.

Hình thức xác minh này mang tính động và có thể được kết hợp ở bất kỳ giai đoạn mô phỏng nào, cho dù trong quá trình xác thực hay trong các mô phỏng COU cụ thể.

Thông qua các quy trình xác minh này, tính toàn vẹn về mặt số học của mô hình được xem xét kỹ lưỡng và khẳng định, tạo nên yếu tố nền tảng cho độ tin cậy.

Xác nhận và vai trò của nó trong việc đánh giá độ tin cậy

Việc xác thực khác với hiệu chuẩn, nhấn mạnh vào việc so sánh các dự đoán của mô hình với dữ liệu độc lập với dữ liệu được sử dụng để xây dựng mô hình.

Sự giám sát độc lập này là yếu tố hỗ trợ cho độ tin cậy của mô hình. Theo giải thích của cơ quan có thẩm quyền, việc xác nhận không chỉ đơn thuần là một hộp kiểm mà là một đánh giá toàn diện mở rộng đến khả năng áp dụng mô hình cho COU của nó.

Điều này liên quan đến việc đánh giá khả năng áp dụng, đánh giá mức độ phù hợp và khả năng chuyển giao của các hoạt động xác nhận sang COU.

Việc đánh giá đảm bảo rằng sự khác biệt giữa các điều kiện xác nhận của mô hình và ứng dụng thực tế của nó không làm suy yếu mức độ phù hợp của việc xác thực với COU, do đó duy trì tính toàn vẹn của độ tin cậy của mô hình.

Phân tích định lượng độ không đảm bảo và độ nhạy 

Theo hướng dẫn, UQ có vai trò then chốt trong việc ước tính độ không đảm bảo vốn có trong kết quả đầu ra của mô hình. Nó xem xét sự thay đổi của đầu vào và các sắc thái cấu trúc của chính mô hình.

Về bản chất, UQ được liên kết với phân tích độ nhạy (SA), nhằm giải quyết ảnh hưởng của đầu vào của từng mô hình đến đầu ra. SA có thể đơn giản hóa UQ bằng cách xác định đầu vào nào ảnh hưởng đáng kể đến đầu ra, từ đó thu hẹp trọng tâm cho các nỗ lực của UQ.

Tuy nhiên, mục tiêu cuối cùng của UQ là định lượng độ không chắc chắn của kết quả đầu ra của mô hình, cung cấp cơ sở định lượng cho độ tin cậy của mô hình.

Cả UQ và SA đều có thể được áp dụng để xác thực hoặc mô phỏng COU, nhấn mạnh tính linh hoạt của chúng trong việc nâng cao độ tin cậy của mô hình.

Phân loại bằng chứng đáng tin cậy 

Việc phân loại bằng chứng đáng tin cậy thành tám loại riêng biệt nhằm sắp xếp một cách có hệ thống các bằng chứng hỗ trợ mô hình tính toán.

Cấu trúc này hỗ trợ việc tổ chức bằng chứng, tuy nhiên, nó không đầy đủ cũng như không thể hiện chất lượng hoặc tính chính xác của bằng chứng.

Các danh mục không được xếp hạng; thay vào đó, chúng đóng vai trò như một khuôn khổ để hướng dẫn việc tổng hợp bằng chứng, đảm bảo sự trình bày toàn diện và có cấu trúc trong các bản đệ trình quy định.

Mỗi loại bằng chứng đáng tin cậy được xác định bởi các đặc điểm và bối cảnh áp dụng cụ thể.

Ví dụ: kết quả xác minh mã (Danh mục 1) xác nhận việc không có lỗi trong quá trình triển khai bằng số, trong khi kết quả xác thực in vivo (Loại 4) xác nhận dự đoán của mô hình dựa trên dữ liệu sinh học từ các sinh vật sống.

Việc áp dụng các loại này góp phần hiểu biết chi tiết về các loại bằng chứng có thể chứng minh độ tin cậy của mô hình.

Đệ trình quy định và bao gồm bằng chứng 

Theo giải thích của FDA, việc tích hợp bằng chứng đáng tin cậy vào hồ sơ pháp lý sẽ phản ánh rủi ro liên quan đến mô hình.

Hướng dẫn này không quy định các loại bằng chứng cụ thể để đưa vào nhưng đề xuất một cách tiếp cận toàn diện, xem xét các yếu tố như loại mô hình và mức độ trưởng thành của lĩnh vực mô hình hóa.

Bằng chứng phải bao gồm các khía cạnh như xác minh mã, xác minh tính toán và xác thực để thể hiện một cách tổng thể các khả năng của mô hình.

Việc áp dụng bằng chứng đáng tin cậy được minh họa thông qua các trường hợp thực tế, chẳng hạn như trong thử nghiệm thiết bị silico, có thể liên quan đến nhiều dạng bằng chứng đáng tin cậy để chứng minh việc áp dụng mô hình.

Những ví dụ này nêu bật tính chất phụ thuộc vào bối cảnh của việc lựa chọn bằng chứng và tầm quan trọng của cách tiếp cận phù hợp đối với việc tích hợp bằng chứng trong đệ trình quy định.

Kết luận

Tóm lại, bằng chứng đáng tin cậy là không thể thiếu để hỗ trợ các mô hình tính toán phục vụ các mục đích quản lý. Các nhà phát triển được khuyến khích chủ động tham gia vào các quy trình phản hồi theo quy định, chẳng hạn như quy trình gửi Q, để đảm bảo độ tin cậy của phương pháp được áp dụng.

nguồn

https://www.fda.gov/regulatory-information/search-fda-guidance-documents/assessing-credibility-computational-modeling-and-simulation-medical-device-submissions

RegDesk có thể trợ giúp như thế nào?

RegDesk là Hệ thống quản lý thông tin quy định toàn diện, cung cấp cho các công ty thiết bị y tế và dược phẩm thông tin quy định cho hơn 120 thị trường trên toàn thế giới. Nó có thể giúp bạn chuẩn bị và xuất bản các ứng dụng toàn cầu, quản lý tiêu chuẩn, chạy đánh giá thay đổi và nhận cảnh báo theo thời gian thực về những thay đổi quy định thông qua nền tảng tập trung. Khách hàng của chúng tôi cũng có quyền truy cập vào mạng lưới hơn 4000 chuyên gia tuân thủ trên toàn thế giới của chúng tôi để xác minh các câu hỏi quan trọng. Việc mở rộng toàn cầu chưa bao giờ đơn giản đến thế.