Пристрастия и външна валидация при изкуствения интелект в патологията

Една стойност за точност описва конкретен контекст на оценка. Тя не доказва, че система с изкуствен интелект в патологията ще се държи по същия начин в различни лаборатории, с различни скенери, протоколи за подготовка, честота на заболяванията или пациентски популации. Анализът на пристрастията започва с изясняване на тези контексти и с въпроса кои разлики могат да променят резултата на системата или последиците от него.

Пристрастия могат да възникнат преди обучението на модела

Решенията за извадката, непълната демографска информация, неравномерният подбор на случаи, практиките за етикетиране, вариациите в оцветяването, характеристиките на скенера и клиничният работен процес могат да оформят набора за оценка. Тези фактори не са взаимозаменяеми. Моделът може да изглежда стабилен, защото тестовите данни приличат на обучаващите, а промяна в обекта или подготовката да разкрие различен модел на грешки.

Външната валидация проверява преносимостта

• Разделяйте данните за разработване и оценка на ниво пациенти, проби или препарати според задачата.
• Включвайте обекти, скенери, протоколи за подготовка и състав на случаите, които представят планираната среда.
• Отчитайте представянето по клинично и оперативно значими подгрупи, а не само като обща стойност.
• Включвайте интервали на несигурност, информация за липсващи данни и броя случаи зад всяка оценка.
• Записвайте изключенията и грешките, така че оценката да описва реално тестваната система.

Резултатът за дадена подгрупа не е автоматично заключение за справедливост. Малките извадки могат да дадат нестабилни оценки, а един етикет за подгрупа може да представлява няколко свързани фактора. Интерпретацията трябва да свърже количествените резултати с предназначението, последиците от грешките и ограниченията на наличните данни.

Избирайте метрики според задачата

Чувствителност, специфичност, прогностични стойности, калибрация, метрики за ранжиране и метрики за съгласие отговарят на различни въпроси. Изборът зависи от това дали системата класифицира препарат, открива регион, брои клетки, подпомага триаж или предоставя количествен резултат за преглед. Праговете трябва да се описват с техния контекст, а не като универсални граници за качество.

Външната валидация е момент във времето, а не заместител на надзора през жизнения цикъл. Промени в скенери, реактиви, протоколи, пациентския състав, практиките за етикетиране или работния процес могат да променят връзката между входове и изходи. Плановете за наблюдение трябва да определят какво се проследява, как се разследват проблемите, кой може да предприеме действие и как ограниченията се съобщават на потребителите.

Работата по справедливостта е практика за събиране на доказателства и управление, а не единична оценка. Най-надеждната оценка ясно представя популацията, средата, ограниченията на данните, несигурността и известните модели на грешки. Тя оставя и възможност заключенията да се променят, когато нови външни доказателства променят наличното знание.