Обнаружены сомнительные наборы данных для ИИ-моделей по инсульту и диабет
Группа ученых под руководством Адриана Барнетта из Квинслендского технологического университета обнаружила, что два широко используемых набора медицинских данных с неясным происхождением применяются в десятках исследований, связанных с прогнозированием инсульта и диабета. Анализ выявил серьёзные несоответствия и дублирование данных, что ставит под сомнение точность обученных на них моделей искусственного интеллекта.
- Обнаружено 124 рецензируемых статьи, использующих два проблемных набора данных
- «Набор данных для прогнозирования инсульта» содержит сведения о 5 110 пациентах
- Данные инсульта подозрительно полны, без пропусков, что необычно для реальной практики
- Второй набор с информацией о 100 000 человек для прогнозирования диабета содержит лишь 18 уникальных значений глюкозы в крови
- Модели, построенные на этих данных, могут приводить к ошибочным диагнозам и лечению
- Журнал Scientific Reports уже отозвал три статьи с использованием сомнительных данных
Содержимое обзора:
Проблемы с набором данных для инсульта
Первый набор данных для прогнозирования инсульта был размещён на платформе Kaggle и содержит информацию о здоровье более пяти тысяч человек: показатели ИМТ, историю сердечных заболеваний, семейное положение и уровень глюкозы. Однако, как отмечает Барнетт, полное отсутствие пропусков в данных вызывает сомнения, так как в реальных клинических исследованиях всегда встречаются неполные записи из-за отказа участников или технических проблем.
Этот набор использовался в 104 научных работах, включая проекты для больниц в Индонезии и США. Загрузчиком данных выступил специалист из Мадрида Федерико Сориано Паласиос, который указал, что данные взяты из конфиденциального источника и предназначены только для образовательных целей.
Аномалии в данных для прогнозирования диабета
Второй набор, содержащий сведения о 100 000 человек, был исследован на предмет уникальных значений глюкозы в крови — их оказалось всего 18, что невозможно при разнообразии физиологических показателей у людей. Кроме того, команда Барнетта выявила многочисленные дублирующиеся записи, что снижает качество и достоверность данных.
Этот набор применялся в 21 исследовании, но пока не получил клинического использования. Данные предоставил инженер из Индии Мохаммед Мустафа, который сообщил, что источником являются агрегированные электронные медицинские карты, но отказался раскрывать конкретные источники из-за конфиденциальности.
Последствия и реакция научного сообщества
Исследовател предупреждают, что применение моделей ИИ, обученных на сомнительных данных, может привести к ошибочным диагнозам и неправильным медицинским решениям. В связи с этим журнал Scientific Reports уже аннулировал три статьи, основанные на указанных наборах данных. Некоторые авторы объяснили, что использовали их лишь для проверки алгоритмов, а не для клинической практики.
Пресс-служба платформы Kaggle отказалась от комментариев по данной ситуации.
- Обнаружение сомнительных данных в медицинских наборах для ИИ
- Публикация результатов в журнале Nature
- Отзыв трех научных статей в Scientific Reports
- Продолжающиеся дискуссии о надежности данных и ИИ-моделей