Bayar Sesuai Pemakaian - AI Model Orchestration and Workflows Platform
Kecerdasan buatan (AI) mentransformasi layanan kesehatan, namun hal ini memiliki risiko yang memerlukan pengelolaan yang cermat. AI pada perangkat medis menawarkan kemampuan diagnostik tingkat lanjut, perawatan yang dipersonalisasi, dan pembelajaran berkelanjutan dari data klinis. Namun, sifat dinamisnya menimbulkan tantangan seperti bias algoritmik, penurunan kinerja (penyimpangan model), dan kerentanan keamanan siber. Masalah-masalah ini dapat berdampak langsung pada keselamatan pasien, sehingga manajemen risiko terstruktur menjadi penting.
Sorotan utama:
Untuk mengatasi hal ini, regulator seperti FDA telah menetapkan kerangka kerja seperti Rencana Pengendalian Perubahan yang Telah Ditentukan (PCCPs) dan Praktik Pembelajaran Mesin yang Baik (GMLP). Hal ini memastikan sistem AI tetap aman dan efektif sepanjang siklus hidupnya. Alat penilaian risiko seperti Kerangka Manajemen Risiko NIST AI dan pemantauan real-time yang berkelanjutan sangat penting untuk menjaga keandalan dan kepatuhan perangkat.
Produsen harus memprioritaskan data pelatihan yang berkualitas tinggi dan beragam, menerapkan perlindungan terhadap penyimpangan model, dan menetapkan protokol keamanan siber. Dengan mengintegrasikan strategi ini, organisasi layanan kesehatan dapat menyeimbangkan inovasi dengan keselamatan, memastikan perangkat yang didukung AI memberikan hasil yang dapat diandalkan.
Kategori Risiko AI pada Alat Kesehatan: Tantangan dan Dampak Keselamatan Pasien
Perangkat medis yang didukung AI beroperasi secara dinamis, mengandalkan pengambilan keputusan berdasarkan data, bukan aturan tetap “jika-maka”. Pergeseran ini memperkenalkan tiga bidang risiko utama yang harus diatasi oleh produsen untuk memastikan keamanan dan efektivitas. Di bawah ini, kami mengeksplorasi risiko-risiko tersebut dan potensi konsekuensinya.
Keandalan perangkat medis AI bergantung pada kualitas dan keragaman data pelatihannya. Ketika kumpulan data gagal mewakili berbagai macam pasien – yang mencakup ras, etnis, usia, jenis kelamin, dan konteks klinis – algoritma dapat menghasilkan hasil yang bias, yang berpotensi memberikan hasil yang tidak aman bagi kelompok yang kurang terwakili. Hal ini tidak hanya menimbulkan kekhawatiran akan keadilan tetapi juga menimbulkan risiko nyata terhadap keselamatan pasien dengan memperburuk kesenjangan kesehatan.
Bias dapat berasal dari berbagai sumber, seperti data yang tidak lengkap atau tidak konsisten, bias seleksi ketika data pelatihan tidak mencerminkan populasi dunia nyata, dan bias implisit yang muncul selama pengumpulan data. Faktor tambahan, seperti variabel proksi dan pengaruh perancu, dapat semakin mendistorsi keakuratan model.
__XLATE_8__
“Kinerja dan keamanan sistem komponen AI pada dasarnya bergantung pada kumpulan data berkualitas tinggi dan andal yang digunakan untuk pelatihan, validasi, dan pengujian independen terhadap algoritme AI.” - MDCG, 2025
Ambil contoh, monitor glukosa berkelanjutan yang didukung oleh AI. Perangkat ini telah mencapai tingkat akurasi hingga 98,5% dalam memprediksi kejadian hipoglikemik. Namun, tanpa pemantauan berkelanjutan untuk mengatasi potensi bias, hal ini dapat menghasilkan peringatan yang salah yang dapat membahayakan pasien diabetes. Memastikan keterwakilan demografis dalam kumpulan data pelatihan dan menerapkan praktik pengelolaan data yang kuat sangat penting untuk meminimalkan bahaya tersebut.
Tidak seperti perangkat lunak tradisional, sistem AI beradaptasi dan berkembang dengan data baru. Kemampuan beradaptasi ini, meskipun kuat, menimbulkan risiko penyimpangan model - di mana kinerja sistem menurun karena kondisi dunia nyata menyimpang dari lingkungan tempat sistem pertama kali dilatih. Sistem adaptif yang melakukan pembaruan otomatis bahkan mungkin menyimpang dari kinerja yang divalidasi tanpa pengawasan manusia secara langsung.
Untuk memitigasi hal ini, produsen beralih ke Rencana Pengendalian Perubahan yang Telah Ditentukan (PCCP), yang menguraikan perubahan dan protokol tertentu untuk memastikan pembaruan yang aman. Manajemen siklus hidup yang efektif menjadi sangat diperlukan. Pada bulan September 2025, FDA telah mengesahkan lebih dari 1.350 perangkat berkemampuan AI, yang menggarisbawahi pentingnya pemantauan berkelanjutan dan strategi manajemen perubahan yang kuat.
Seiring dengan meningkatnya konektivitas pada perangkat medis, risiko serangan siber juga meningkat. Serangan permusuhan dapat memanipulasi data masukan untuk memicu keluaran AI yang salah, sementara pelanggaran data dapat mengungkap informasi sensitif pasien dan membahayakan integritas model. Sifat "kotak hitam" yang buram pada beberapa sistem AI dapat mempersulit pendeteksian model yang disusupi atau hasil yang tidak dapat diandalkan.
Untuk mengatasi ancaman ini, produsen harus mengadopsi Kerangka Pengembangan Produk Aman (SPDF). Pendekatan ini mengintegrasikan langkah-langkah keamanan siber di seluruh siklus hidup perangkat, termasuk mengamankan saluran transmisi data, menggunakan sistem otentikasi yang kuat, memantau anomali, dan segera menerapkan patch keamanan tanpa memengaruhi kinerja klinis. Dengan semakin saling terhubungnya sistem layanan kesehatan, kerentanan pada satu perangkat dapat menyebar ke seluruh jaringan, sehingga memperbesar risiko.
Untuk mengatasi tantangan ini memerlukan penilaian risiko berkelanjutan dan strategi mitigasi proaktif untuk menjaga fungsi perangkat dan keselamatan pasien.
Produsen memerlukan strategi yang terstruktur dengan baik untuk mengidentifikasi dan mengatasi risiko terkait AI secara efektif. Berdasarkan standar peraturan yang telah dibahas sebelumnya, kerangka kerja ini memberikan langkah-langkah yang dapat ditindaklanjuti untuk manajemen risiko yang berkelanjutan. Mereka mencapai keseimbangan antara kemajuan teknologi dan menjaga keselamatan, memungkinkan perusahaan untuk menyesuaikan algoritma mereka tanpa mengirimkan aplikasi baru untuk setiap pembaruan. Pendekatan-pendekatan ini menawarkan jalur yang jelas untuk mengevaluasi risiko dalam perangkat lunak AI secara proaktif.
Rencana Pengendalian Perubahan yang Telah Ditentukan (PCCP) telah muncul sebagai alat penting untuk mengelola risiko pada perangkat medis AI. Kerangka kerja ini memungkinkan produsen untuk menguraikan dan mendapatkan persetujuan atas modifikasi terencana pada perangkat lunak berkemampuan AI tanpa memerlukan pengajuan pemasaran baru untuk setiap pembaruan. PCCP beroperasi melalui tiga komponen penting:
"One of the greatest potential benefits of AI and ML resides in the ability to improve model performance through iterative modifications, including by learning from real-world data." – U.S. Food and Drug Administration
"One of the greatest potential benefits of AI and ML resides in the ability to improve model performance through iterative modifications, including by learning from real-world data." – U.S. Food and Drug Administration
Kerangka Kerja Manajemen Risiko NIST AI (AI RMF) melengkapi hal ini dengan berfokus pada empat fungsi utama: Tata Kelola (menumbuhkan budaya sadar risiko), Peta (mengidentifikasi risiko dan dampaknya), Mengukur (mengevaluasi risiko melalui metode kuantitatif atau kualitatif), dan Mengelola (memprioritaskan dan menangani risiko berdasarkan kemungkinan dan dampaknya).
Pendekatan lain, Kerangka Penilaian Kredibilitas Berbasis Risiko FDA, memperkenalkan proses tujuh langkah. Hal ini dimulai dengan mendefinisikan Konteks Penggunaan (COU) dan menilai risiko dengan memeriksa pengaruh model dan konsekuensi dari keputusan yang diambil. Kerangka kerja ini memastikan performa model AI selaras dengan tujuan yang dimaksudkan.
"Credibility refers to trust, established through the collection of credibility evidence, in the performance of an AI model for a particular COU." – FDA
"Credibility refers to trust, established through the collection of credibility evidence, in the performance of an AI model for a particular COU." – FDA
Pada bulan Januari 2025, International Medical Device Regulators Forum (IMDRF) memperkenalkan 10 prinsip panduan untuk Praktik Pembelajaran Mesin yang Baik (GMLP). Pendekatan Total Product Lifecycle (TPLC) lebih menekankan pengelolaan risiko mulai dari pengembangan pra-pasar hingga kinerja pasca-pasar, sehingga menumbuhkan komitmen terhadap kualitas dan keunggulan. Setelah risiko dinilai, strategi mitigasi yang ditargetkan menjadi sangat penting.
Mitigasi risiko yang efektif dimulai dengan pengelolaan data yang kuat. Kumpulan data pelatihan dan pengujian harus relevan – mewakili faktor-faktor seperti ras, etnis, tingkat keparahan penyakit, jenis kelamin, dan usia – dan dapat diandalkan, artinya akurat, lengkap, dan dapat dilacak. Memisahkan kumpulan data pelatihan, penyesuaian, dan pengujian sangat penting untuk memastikan sumber data independen.
Untuk mengatasi bias algoritmik, produsen harus menilai kinerja di seluruh subkelompok demografis dan memastikan bahwa data pelatihan mencerminkan populasi penggunaan yang dimaksudkan. Untuk mengatasi penyimpangan model, pemicu kinerja harus ditetapkan untuk menentukan kapan pelatihan ulang atau intervensi diperlukan.
Pengujian human-in-the-loop (HITL) sangat penting dalam skenario di mana keluaran AI memengaruhi keputusan klinis. Melibatkan dokter selama pengujian dan validasi memastikan keamanan dan efektivitas model dalam aplikasi dunia nyata. Selain itu, antarmuka pengguna harus dengan jelas menguraikan tujuan penggunaan sistem AI, batasan, dan karakteristik data yang digunakan selama pengembangannya.
Untuk memitigasi risiko keamanan siber, produsen harus menerapkan enkripsi untuk transmisi data, protokol autentikasi yang kuat, dan pemantauan anomali secara terus-menerus. Kerangka kerja PCCP juga mewajibkan proses verifikasi dan validasi yang ketat, memastikan pembaruan – baik global maupun lokal – dikelola dengan aman dan efektif.
Produsen dapat memanfaatkan Program Q-Submission FDA untuk mendapatkan masukan mengenai PCCP untuk perangkat berisiko tinggi. Ketidakpatuhan terhadap PCCP yang disetujui, seperti kegagalan memenuhi kriteria pelatihan ulang atau kinerja, dapat mengakibatkan perangkat dianggap "dipalsukan dan diberi merek yang salah" berdasarkan Undang-Undang FD&C. Kerangka kerja dan strategi mitigasi ini penting untuk menjaga keselamatan pasien dalam lingkungan klinis yang dinamis.
Setelah perangkat medis bertenaga AI diterapkan, fokusnya beralih ke manajemen risiko yang berkelanjutan. Pengawasan berkelanjutan ini penting untuk mengatasi tantangan seperti penyimpangan model dan untuk memastikan perangkat tetap menjaga keamanan dan efektivitasnya. Pendekatan Total Product Lifecycle memainkan peran penting, memantau kinerja perangkat ini dalam skenario dunia nyata sekaligus mendukung kepatuhan terhadap standar peraturan. Dengan memanfaatkan praktik penilaian risiko yang sudah ada, pemantauan berkelanjutan memastikan bahwa perangkat tersebut terus memenuhi tolok ukur keamanan dan kemanjuran yang ditetapkan selama pengembangannya.
Model AI menghadapi tantangan unik yang dikenal sebagai model drift, yaitu performanya dapat menurun seiring waktu seiring dengan berkembangnya data di dunia nyata dan menyimpang dari data pelatihan. Menyadari hal ini, International Medical Device Regulators Forum (IMDRF) menekankan pada Prinsip 10 Good Machine Learning Practice (GMLP) mengenai perlunya model yang diterapkan untuk dipantau kinerjanya secara aktif, dengan risiko pelatihan ulang yang dikelola dengan hati-hati.
Real-time monitoring is a key component of post-market surveillance. It continuously evaluates an AI device's accuracy and reliability against pre-established acceptance criteria outlined in its Modification Protocol. If performance metrics fall below these thresholds, it indicates a deviation from the authorized Predetermined Change Control Plan (PCCP). Effective monitoring systems track critical metrics like sensitivity, specificity, and positive predictive value, with the level of scrutiny tailored to the device’s risk profile. Manufacturers must also define clear performance triggers in their Algorithm Change Protocol (ACP) to determine when intervention, such as re-training, is necessary.
__XLATE_28__
"Salah satu manfaat terbesar AI/ML dalam perangkat lunak terletak pada kemampuannya untuk belajar dari penggunaan dan pengalaman di dunia nyata, serta kemampuannya untuk meningkatkan kinerjanya".
Namun kemampuan beradaptasi ini memerlukan perlindungan yang kuat. Sistem pemantauan perlu mendeteksi kegagalan secara otomatis dan, jika perlu, mengembalikan perangkat ke versi stabil atau menghentikan perubahan yang berpotensi tidak aman. Untuk perangkat berisiko tinggi yang digunakan dalam diagnosis atau perawatan kritis, hasil evaluasi klinis harus ditinjau oleh para ahli independen untuk memastikan penilaian tidak memihak.
Untuk lebih meningkatkan pemantauan, produsen dapat mengumpulkan Data Kinerja Dunia Nyata (RWPD). Data ini mencakup catatan keselamatan, hasil kinerja, dan umpan balik pengguna, yang memberikan wawasan tentang cara perangkat beroperasi di berbagai lingkungan klinis. Selain itu, mempertahankan kontrol versi dan dokumentasi terperinci dari semua perubahan akan menciptakan jejak audit yang jelas. Hal ini tidak hanya mendukung kepatuhan terhadap peraturan tetapi juga membantu mengidentifikasi dan mengatasi masalah kinerja secara efisien.
Dengan mendokumentasikan perubahan ini secara cermat, produsen dapat mengubah pemantauan berkelanjutan menjadi langkah-langkah yang dapat ditindaklanjuti guna meningkatkan keselamatan dan kepatuhan.
Dokumentasi modifikasi, penilaian kinerja, dan penyimpangan yang akurat dan konsisten sangat penting untuk memenuhi persyaratan peraturan dan menjaga jejak audit yang transparan.
Prompts.ai menyederhanakan proses ini dengan menawarkan alat tata kelola tingkat perusahaan dan jalur audit otomatis untuk alur kerja AI. Melalui antarmuka terpadu, produsen dapat mendokumentasikan perubahan model, melacak metrik kinerja, dan mengelola kontrol versi di lebih dari 35 model bahasa besar terkemuka – dalam lingkungan yang aman dan terpusat. Fitur-fitur ini memastikan praktik dokumentasi yang konsisten sekaligus memberikan pengendalian biaya FinOps secara real-time, membantu organisasi memenuhi standar transparansi dan pelaporan yang diminta oleh regulator.
The platform’s audit trail capabilities align with Quality System regulations (21 CFR Part 820), which require manufacturers to maintain a detailed "change history" and rigorous version control within the device master record. For organizations managing PCCPs across multiple AI-enabled devices, Prompts.ai’s centralized governance framework streamlines compliance by making all modifications, performance evaluations, and risk assessments easily accessible for regulatory reviews. This approach not only ensures transparency but also fosters trust among regulators and healthcare providers, allowing teams to concentrate on innovation without being bogged down by administrative tasks.
AI-powered medical devices that continuously learn demand a dynamic approach to risk management. The Total Product Lifecycle (TPLC) framework addresses this need by focusing on safety from the design phase all the way through real-world implementation. This method acknowledges that managing AI risks isn’t a one-time task but an ongoing process throughout the device’s lifespan. By connecting the dots between initial design and real-world application, the TPLC framework lays the groundwork for continuous regulatory and clinical integration.
Pembaruan terbaru pada pedoman peraturan, seperti revisi PCCP dan GMLP, memberikan jalur yang lebih jelas bagi produsen untuk memajukan teknologi mereka.
__XLATE_36__
“Visi kami adalah bahwa dengan pengawasan peraturan yang disesuaikan secara tepat, SaMD berbasis AI/ML akan menghadirkan fungsionalitas perangkat lunak yang aman dan efektif yang meningkatkan kualitas layanan yang diterima pasien.” - FDA
Membangun kepercayaan pada perangkat yang mendukung AI memerlukan lebih dari sekadar memenuhi standar peraturan - hal ini bergantung pada transparansi. Mengatasi masalah seperti bias, memantau penyimpangan model, dan mendokumentasikan perubahan secara menyeluruh merupakan komponen penting dari pengawasan pasca pasar. Perusahaan yang menyelaraskan praktik ini dengan standar Sistem Manajemen Mutu yang telah ditetapkan, seperti ISO 13485, akan menciptakan landasan yang kuat untuk pengambilan keputusan berbasis risiko yang menguntungkan semua pemangku kepentingan, termasuk produsen, dokter, dan pasien.
The transition from static, "locked" algorithms to adaptive, continuously learning systems brings both opportunity and responsibility. When paired with ongoing surveillance, these strategies ensure that safety remains a priority over time. By adopting comprehensive risk management approaches aligned with the TPLC framework, healthcare organizations can fully leverage AI's potential while keeping patient safety at the forefront at every stage of a device’s lifecycle.
Produsen dapat mengambil langkah-langkah penting untuk mengatasi bias algoritmik pada perangkat medis AI dengan memulai dengan kumpulan data pelatihan yang beragam dan representatif. Kumpulan data ini harus mencakup berbagai demografi pasien, termasuk variasi usia, jenis kelamin, etnis, dan subkelompok klinis. Memastikan keberagaman ini meminimalkan risiko kurang terwakili, yang dapat menyebabkan hasil yang bias.
Before deployment, it’s essential to test for bias using statistical measures, such as analyzing differences in sensitivity or false-positive rates across groups. This proactive approach helps identify and address potential disparities early. Once the device is in use, continuous monitoring of its real-world performance across all subpopulations is crucial. If any discrepancies emerge, manufacturers can recalibrate or retrain the algorithm using updated, more representative data.
Transparansi juga memainkan peran penting. Dengan memelihara dokumentasi sumber data yang komprehensif, metode pra-pemrosesan, dan proses pelatihan model, produsen memungkinkan audit menyeluruh dan menumbuhkan kepercayaan. Praktik-praktik ini berkontribusi pada pengembangan perangkat medis AI yang lebih aman dan adil, memastikan perangkat tersebut bekerja dengan andal di semua kelompok pasien.
Mengelola penyimpangan model pada perangkat medis bertenaga AI memerlukan kewaspadaan berkelanjutan untuk menjaga keselamatan dan kinerja. Mulailah dengan menetapkan metrik kinerja dasar yang jelas dan distribusi referensi untuk fitur masukan dan keluaran model selama penerapan. Dari sana, perhatikan baik-baik indikator-indikator utama, seperti perubahan pola prediksi, perubahan fitur masukan, tingkat kepercayaan, dan - jika memungkinkan - tingkat akurasi atau kesalahan.
When a metric crosses a predefined threshold (for instance, a drop in accuracy or a noticeable shift in data), trigger an alert to investigate further. Conduct a root-cause analysis to determine the type of drift - whether it’s related to data, concepts, or covariates. After identifying the issue, retrain or fine-tune the model using recent, representative datasets. Make sure to validate the updated model thoroughly, and only redeploy it after confirming it meets all safety and compliance standards.
Every drift event, analysis, and corrective action should be documented as part of the device’s lifecycle management. Adhering to a Predetermined Change Control Plan (PCCP) is critical for regulatory compliance. This plan provides a structured approach for monitoring, retraining, and implementing updates safely, ensuring that manufacturers can uphold patient safety and model reliability in practical, real-world applications.
Keamanan siber yang efektif pada perangkat medis yang didukung AI sangat penting untuk menjaga keselamatan pasien dan melindungi integritas data sepanjang siklus hidup perangkat. Untuk mencapai hal ini, beberapa praktik terbaik harus diikuti, dimulai dengan penilaian ancaman dan kerentanan yang komprehensif. Praktik pengembangan perangkat lunak yang aman, serta enkripsi untuk data baik saat disimpan maupun dalam perjalanan, memainkan peran penting dalam memitigasi risiko. Selain itu, protokol autentikasi yang kuat, kontrol akses berbasis peran, dan tinjauan kode rutin diperlukan untuk memastikan pertahanan yang kuat.
Produsen juga harus memprioritaskan manajemen patch yang aman dan menetapkan mekanisme untuk memperbarui model AI dengan aman setelah penerapan. Pemantauan berkelanjutan terhadap aktivitas yang tidak biasa, pemindaian kerentanan rutin, dan rencana respons insiden yang diuraikan dengan jelas memungkinkan tindakan cepat jika terjadi pelanggaran. Segmentasi jaringan adalah strategi penting lainnya karena mengisolasi lalu lintas perangkat medis dari sistem TI lainnya, sehingga mengurangi paparan terhadap potensi ancaman. Dengan menggabungkan langkah-langkah ini, produsen dapat memastikan perangkat medis yang digerakkan oleh AI tetap aman, dapat diandalkan, dan patuh.
