Човешкият надзор не се постига просто като поставим човек някъде в AI работния процес. Той зависи от това дали човекът разполага с информацията, времето, правомощията и обучението, нужни за разбиране на изхода и действие. В патологията въпросът е как AI помощта подпомага прегледа, без да скрива несигурността или да прехвърля отговорността към непрозрачна система.
Дефинирайте човешката роля преди интерфейса
Работният процес трябва да посочва какво получава AI, какво произвежда, кой го преглежда, кое решение може да подпомогне и какво остава извън обхвата му. Преглеждащият може да провери регион, да оцени предложено измерване, да сравни изхода с оригиналния препарат или да реши, че входът е неподходящ. Това са различни дейности и не трябва да се свеждат до обща стъпка за одобрение.
Направете изходите проверими
- Показвайте изходното изображение и съответния AI резултат заедно, за да може преглеждащият да се ориентира в същия случай.
- Различавайте наблюдения, измервания, класификации и препоръки.
- Показвайте проверки за качеството на входа, известни ограничения, несигурност и условия извън обхвата, когато влияят върху интерпретацията.
- Записвайте версията на модела, контекста на входа, действието при преглед и нужната корекция или override за последващ анализ.
Визуалното обяснение не е доказателство за коректност. Визуалното наслагване може да покаже къде е реагирал моделът, но не обяснява непременно защо реакцията е клинично подходяща. Преглеждащите се нуждаят от достатъчно контекст, за да поставят изхода под въпрос, а не просто да приемат правдоподобна визуализация.
Проектирайте реално работещи точки за преглед
Точката за преглед трябва да се намира там, където изходът все още може да промени следващото действие. Тя трябва да позволява несъгласие, да избягва автоматичното приемане и да предоставя ясен път, когато входът е лош или резултатът е извън предназначения обхват. Необходимото време и информация трябва да се тестват с представителни потребители и реалистични случаи, а не да се предполагат от списък с функции.
Оценката може да включва моделите на съгласие и несъгласие, времето за преглед, пропуснатите грешки, ненужните overrides, причините за отхвърляне и дали потребителите могат да разпознаят известните ограничения. Тези наблюдения не заменят измерванията за техническо представяне. Те добавят доказателства за поведението на системата в средата, в която се вземат решения.
Надзорът продължава и след пускането. Обновяванията на модела, новите входни условия, промените в работния процес и инцидентите могат да променят значението на изхода. Ясната собственост върху мониторинга, прегледа на проблеми, комуникацията и връщането към предишна версия помага човешката преценка да остане активна през целия жизнен цикъл, а не да бъде отметка при старта.
Източници
- Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles (U.S. Food and Drug Administration)
- Ethics and governance of artificial intelligence for health (World Health Organization)
- Artificial Intelligence Risk Management Framework AI RMF 1.0 (National Institute of Standards and Technology)
Автор
Digital Pathology Solutions Editorial Team
Medical AI and digital pathology




