• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Ученые представили новый метод для работы с несбалансированными данными

Ученые представили новый метод для работы с несбалансированными данными

© iStock

Специалисты факультета компьютерных наук НИУ ВШЭ и Лаборатории искусственного интеллекта Сбера разработали геометрический метод расширения данных — Simplicial SMOTE. Тесты на разных наборах данных показали, что он значительно улучшает качество работы AI. Метод особенно полезен в ситуациях, когда редкие случаи очень важны, например в борьбе с мошенничеством или при диагностике редких болезней. Результаты исследования доступны в открытом архиве Arxiv.org и будут представлены на Международной конференции по обнаружению знаний и анализу данных (KDD) летом 2025 года в Торонто.

Проблема несбалансированных данных становится все более актуальной в различных областях, в том числе в банковском секторе и медицине. Традиционные методы — случайное дублирование или глобальное семплирование — часто дают низкокачественную выборку или плохо моделируют данные редких классов.

Предложенный учеными из НИУ ВШЭ и Сбера новый метод — Simplicial SMOTE (Synthetic Minority Oversampling Technique) — решает эти проблемы: обеспечивает более точное моделирование сложных топологических структур данных и увеличивает качество классификаторов на несбалансированных наборах данных.

Он помогает создавать новые примеры редкого класса, используя информацию из нескольких близких примеров («симплекса»), а не только из двух близких точек, как в исходной версии SMOTE и его известных аналогах. Это позволяет лучше понимать данные и улучшать работу AI. Метод помогает усовершенствовать обучение искусственного интеллекта на несбалансированных данных, то есть в таких ситуациях,  когда есть много примеров одного класса (например, нормальных транзакций), но мало примеров другого (например, мошенничества).

Исследователи экспериментально показали на большом количестве тестовых датасетов, что предложенный подход значимо повышает метрики качества (F1-мера, коэффициент корреляции Matthews) как базового SMOTE, так и его модификаций. В том числе зафиксировано улучшение и для градиентного бустинга — часто используемого на практике классификатора.

Андрей Савченко

«Наш метод особенно эффективен в задачах, где распространены несбалансированные данные и где редкий класс более значим. Банки могут использовать Simplicial SMOTE, чтобы лучше выявлять мошенничество, а медицинские центры — чтобы диагностировать редкие заболевания», — комментирует один из авторов статьи Андрей Савченко, ведущий научный сотрудник Лаборатории теоретических основ моделей искусственного интеллекта Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ.

Новый метод можно интегрировать в существующие алгоритмы оверсемплинга (Borderline-SMOTE, Safe-level-SMOTE и ADASYN), повысив их точность без существенного роста вычислительной сложности. Исследователи считают, что разработанный подход может способствовать развитию более точных и надежных моделей машинного обучения и, следовательно, повышению качества аналитики.

Исследование выполнено при поддержке Программы фундаментальных исследований НИУ ВШЭ.

Вам также может быть интересно:

«Когда мир стремительно меняется, важно искать инструменты управления изменениями»

В начале апреля в Высшей школе экономики в Москве состоялась XIX Всероссийская научная конференция с международным участием «Параллельные вычислительные технологии» (ПаВТ). Конференция ПаВТ — ежегодное научное мероприятие, которое проводится в крупных научных центрах России. Форум в НИУ ВШЭ объединил более 200 ученых из пяти стран. Участники конференции представляли 55 организаций из 28 городов, в том числе 15 институтов РАН и НИИ, 30 университетов, 8 предприятий ИТ-индустрии и 2 промышленных предприятия.

ВШЭ — лидер конкурсного отбора Минцифры России по подготовке кадров в области ИИ

Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации и Аналитический центр при Правительстве РФ завершили конкурсный отбор вузов, которые в 2025–2030 годах займутся подготовкой специалистов в сфере искусственного интеллекта. По итогам конкурсного отбора по программам высшего уровня «ТОП ДС» первое место заняла Высшая школа экономики.

Искусственный интеллект помогает точнее прогнозировать риски сложных заболеваний

Разработанные в Центре искусственного интеллекта НИУ ВШЭ нейросетевые модели значительно улучшают прогнозирование риска ожирения, диабета первого типа, псориаза и других многофакторных заболеваний. Совместное исследование с компанией Genotek показало, что алгоритмы глубокого обучения эффективнее традиционных методов, особенно при сложных взаимодействиях генов (эпистазах). Результаты опубликованы в журнале Frontiers in Medicine.

Искусственный интеллект может стать катализатором устойчивого развития

Искусственный интеллект трансформирует все сферы жизни, расширяя наши возможности и границы. В то же время технологии бросают человечеству новые вызовы, связанные с безопасностью, этикой и защитой окружающей среды. На сегодняшний день каждая нейросеть оставляет за собой большой углеродный след. Однако при грамотном управлении ИИ может принести пользу планете и стать залогом устойчивой экономики будущего. Об этом рассказал научный руководитель Лаборатории алгоритмов и технологий анализа сетевых структур НИУ ВШЭ в Нижнем Новгороде Панос Пардалос в рамках XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества.

В Вышке создали собственную MLOps-платформу

Ученые НИУ ВШЭ создали MLOps-платформу SmartMLOps. Она предназначена для исследователей в области искусственного интеллекта, которые хотели бы превратить свое изобретение в полноценный сервис. В будущем на платформе могут быть развернуты ИИ-помощники для упрощения образовательного процесса, оказания медицинской помощи, консультирования и решения многих других задач. Создатели ИИ-технологий смогут получить готовый к работе сервис в течение считанных часов. На суперкомпьютере Вышки этот сервис может быть запущен в несколько кликов.

«От нашей общей работы зависит будущее»: что несет человечеству развитие ИИ

Какие перспективы и вызовы для человечества несет развитие технологий искусственного интеллекта? Как его используют ученые? Каким будет мир, где доминирует ИИ? Эти и другие темы обсудили эксперты на форсайт-сессии «Будущее исследований в сфере искусственного интеллекта», которая прошла в НИУ ВШЭ.

ИИ позволит точно моделировать производительность систем хранения данных

Исследователи факультета компьютерных наук НИУ ВШЭ разработали новый подход к моделированию систем хранения данных на основе генеративных моделей машинного обучения. Он позволяет с высокой точностью предсказывать ключевые характеристики работы таких систем при различных условиях. Результаты опубликованы в журнале IEEE Access.

ИИ в образовании: как преодолеть соблазн готовых решений

Искусственный интеллект уже стал обыденностью для молодежи: как показал опрос, около 87% студентов ведущих вузов используют ИИ в процессе обучения. Большая часть из них отметила, что он помогает им экономить время, при этом они проверяют сделанную ИИ работу. Результаты исследования были представлены на конференции по анализу данных и технологиям ИИ Data Fusion. В ее работе приняли участие научный руководитель НИУ ВШЭ Ярослав Кузьминов и другие эксперты Вышки.

Большинство студентов не верят, что ИИ сможет заменить их на работе

Большинство студентов считают, что ИИ не сможет заменить их на работе в ближайшие десять лет. Низким такой риск называют 27,2% респондентов, 41,5% — крайне маловероятным. Эти оценки были получены НИУ ВШЭ в ходе опроса 4200 студентов в 2025 году. Они приводятся в докладе «Эпоха больших языковых моделей: почему они все еще не профессионалы», подготовленном научным руководителем НИУ ВШЭ Ярославом Кузьминовым и старшим преподавателем кафедры высшей математики НИУ ВШЭ Екатериной Кручинской. Доклад был представлен на XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества, которая проходит с 15 по 18 апреля в НИУ ВШЭ.

Точный ИИ-оракул: какие тренды интересуют бизнес

Современные технологии ежедневно меняют мир, автоматизируя бизнес-процессы в различных отраслях. Специалисты НИУ ВШЭ представили масштабный опыт команды iFORA по реализации ИИ-проектов в интересах крупных компаний и органов власти.