С навлизането на AI се увеличават грешките в операционните зали

През 2021 г. подразделението на Johnson & Johnson, Acclarent, интегрира изкуствен интелект (AI) в своята навигационна система TruDi, устройство, използвано за лечение на хроничен синузит, пише "Ройтерс" (Reuters).

Системата, която вече бе на пазара три години, сега използва алгоритми за машинно обучение, за да подпомага хирургическите операции. Преди добавянето на AI, FDA имаше непотвърдени съобщения за седем повреди и една нараняване на пациент. 

След интеграцията на AI, агенцията получи съобщения за поне 100 повреди и неблагоприятни събития, като поне 10 души са пострадали между края на 2021 г. и ноември 2025 г., често поради грешки при указване на местоположението на инструментите. 

Инцидентите включват изтичане на цереброспинална течност, пробив на основата на черепа и инсулти от увреждания на артерии.

FDA предупреждава, че съобщенията за устройства често са непълни и не са предназначени за определяне на причините, така че ролята на AI остава неясна.

Правни случаи и реакция на компаниите

Двама пациенти заведоха дела, твърдейки, че AI е допринесъл за техните наранявания. 

Johnson & Johnson насочи запитванията към Integra LifeSciences, която придоби Acclarent през 2024 г., а компанията заяви, че няма доказателства, свързващи AI с нараняванията.

Инцидентите подчертават рисковете от бързото навлизане на AI в здравеопазването. 

Привържениците твърдят, че той може да ускори разработката на лекарства, да подобри хирургическите операции и да даде повече възможности на пациентите, но данните за безопасност и правните случаи показват, че съществуват опасности. 

FDA е одобрила над 1 350 устройства с AI, което е двойно повече от броя, одобрен до 2022 г. Някои от тях предизвикаха притеснения, включително сърдечни монитори, които пропуснаха аномални ритми, и ултразвукови устройства, които неправилно идентифицираха части от плода. 

Преглед, извършен от университета Джон Хопкинс, Джорджтаун и Йейл, установи, че 60 устройства с AI са свързани с 182 отзовавания, като почти половината са се случили в рамките на една година след одобрението - два пъти повече от типичния процент за други устройства.

Ограничения на регулаторите

FDA среща затруднения да се справи с бързото нарастване на устройствата с AI поради недостиг на персонал. 

Генеративният AI също навлиза в медицината, използван за задачи като транскрибиране на бележки или самодиагностика, което създава нови рискове. 

Използването на AI в здравеопазването датира от десетилетия, като FDA одобрява първите устройства с AI през 1995 г. 

Модерният AI, особено машинното обучение и дълбокото обучение, подпомага радиологията и хирургическите процедури, включително навигацията на инструменти при операции на синусите.

Делата, свързани с TruDi, описват сериозни наранявания по време на процедурите. В един случай, синупластика с TruDi според съобщенията е довела до инсулт, когато устройството е отклонило хирурга близо до каротидната артерия. 

Друг пациент е получил инсулт след увреждане на каротидна артерия по време на операция. Делата твърдят, че Acclarent е понижила стандартите за безопасност, за да въведе бързо AI, и е поставила цел за точност само 80% преди пускането. 

Acclarent отрича, че е проектирала системата с такива рискове и заявява, че няма причинно-следствена връзка между AI и нараняванията, а замесеният хирург преди това е работил като консултант за компанията.

Освен TruDi, съобщения на FDA показват поне 115 проблема с AI софтуер в други устройства, включително софтуер за пренатален ултразвук, който неправилно е маркирал структури на плода, и сърдечни монитори, които не са открили аномални ритми, макар че в тези случаи няма съобщения за наранявания.

Експертите посочват, че ресурсите на FDA за надзор върху AI са ограничени. 

Специализираното звено някога е имало около 40 учени, които тествали производителността на AI и минимизирали фалшивите резултати, но съкращенията намалили капацитета. 

Устройствата с AI често заобикалят клиничните изпитания и вместо това се сравняват с вече одобрени устройства без AI, което поражда опасения, че настоящите регулаторни рамки може да не гарантират достатъчно безопасност.

Снимка: Freepik