Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в Реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в Реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании.
С момента появления суперкомпьютеров обеспечение эффективности их использования является важнейшей задачей. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана с применением научного подхода и внедрена в 2022 году. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности. Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 года система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в Реестр российского программного обеспечения пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
Далеко не всякая зарегистрированная российская программа может попасть в Реестр российского программного обеспечения. Это видно из статистики: в реестре на сегодняшний день около 18 тысяч программ, а количество обычных свидетельств о регистрации программ, выданных Роспатентом, приближается к 300 тысячам. Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований.
Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ
«Продуктивная работа современного суперкомпьютерного комплекса в многопользовательском режиме невозможна без создания программной системы по контролю и оптимизации потока задач. В Вышке такой системой стал HPC TaskMaster. Над его разработкой на протяжении нескольких лет трудилась команда отдела суперкомпьютерного моделирования, при этом разработка базируется на опыте всего коллектива университета, выполняющего исследования при помощи суперкомпьютера.
В современном мире скорость проверки гипотез, обучения искусственного интеллекта и решения инженерных задач на высокопроизводительных машинах определяет конкурентоспособность организации в целом. Без автоматизации процессов взаимодействия с суперкомпьютером новые задачи могут просто не дождаться своей очереди или потерять актуальность.
Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов.
Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки».
Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ
«Наш отдел не просто вручную администрирует суперкомпьютер. Мы создали систему, которая теперь нам и помогает. Она в сотни раз превосходит инженера по скорости анализа эффективности вычислений, выполняющихся на вычислительном кластере. Соответственно, эффективность работы нашего суперкомпьютерного центра стала выше, чем классического центра с ручным отслеживанием ошибок пользователей.
Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований».
Вам также может быть интересно:
Ученые НИУ ВШЭ исследуют изменения финансовой архитектуры российских компаний с 2022 года
В издательстве НИУ ВШЭ вышла книга «Российские корпорации на пути к антихрупкости. Финансовая архитектура компаний» под редакцией Ирины Ивашковской, ординарного профессора, руководителя Школы финансов НИУ ВШЭ, Ярослава Кузьминова, научного руководителя НИУ ВШЭ, Ровшана Алиева, президента «Экосистемы МТС». В ней собраны результаты второго этапа масштабного исследования процессов адаптации российского бизнеса к шоковым изменениям, вызванным санкционными ограничениями, и новых практик российских корпораций.
ИИ и практика: какой должна быть система подготовки айтишников нового поколения
Какие ИТ-специалисты нужны российской экономике, как правильно их обучать и почему важно включать в образовательный процесс профессионалов из индустрии, обсудили представители госорганов, компаний и вузов на сессии «Кадры для экономики данных. Подготовка ИТ-специалистов нового поколения», прошедшей в рамках десятой ежегодной конференции ЦИПР в Нижнем Новгороде. В работе сессии приняла участие проректор ВШЭ Елена Одоевская.
Вышка на ЦИПР: измерить компетенции и оценить искусство
В Нижнем Новгороде 2 июня начала работу десятая конференция «Цифровая индустрия промышленной России» (ЦИПР). В ее работе участвуют представители НИУ ВШЭ. Научный руководитель университета Ярослав Кузьминов принял участие в дискуссии о национальной системе подтверждения IT-компетенций для разработчиков программного обеспечения. А Анна Назарикова и Пьер-Кристиан Броше из Школы дизайна ВШЭ вместе с другими экспертами обсудили современное цифровое искусство.
Человекоцентричность в здравоохранении: новая модель управления персоналом в медицинских организациях
Лаборатория человекоцентричности и лидерских практик (Лаборатория ЧИЛ) НИУ ВШЭ реализует прикладные научно-исследовательские проекты, призванные сделать систему здравоохранения человекоцентричнее. Один из них, проект «Формирование человекоцентричной модели управления в организациях сферы здравоохранения», направлен на внедрение человекоцентричной модели управления персоналом в медицинских организациях.
Ученые разработали эффективные лазеры размером с пылинку
Исследователи НИУ ВШЭ в Санкт-Петербурге нашли способ создать эффективные микролазеры диаметром всего 5–8 микрометров. Они работают при комнатной температуре, не требуют охлаждения и могут встраиваться в микросхемы. Ученые использовали эффект шепчущей галереи для удержания света и буферные слои для снижения утечек энергии и напряжений. Подход перспективен для интеграции лазеров в чипы, сенсоры и квантовые технологии. Исследование опубликовано в «Письмах в Журнал технической физики».
«Основная отрасль медицины, на которую направлены наши разработки, — кардиология»
Применение математических моделей в диагностике и лечении болезней сердечно-сосудистой системы повышает эффективность выявления у пациентов предрасположенности к заболеваниям, облегчает выбор стратегии излечения. Используя математические модели, можно создать новые диагностические приборы, обучить нейросети для помощи врачам. Такая работа ведется исследователями Вышки в рамках проекта «Зеркальные лаборатории». Подробнее — в интервью Наталии Станкевич, старшего научного сотрудника Международной лаборатории динамических систем и приложений НИУ ВШЭ — Нижний Новгород.
Для технологического лидерства: Вышка создала цифровой Репозиторий социально-экономической информации
НИУ ВШЭ запустил уникальный Репозиторий социально-экономической информации, заменивший устаревшую платформу единого архива экономических и социологических данных. Модернизированы не только внешний вид и функциональные возможности, но и сама концепция платформы.
Более 10 000 студентов завершили обучение в рамках проекта «Цифровая кафедра» в НИУ ВШЭ за год
«Цифровые кафедры» — масштабный образовательный проект в рамках программы стратегического академического лидерства «Приоритет-2030» , который направлен на формирование ИТ-компетенций у студентов разных направлений подготовки и специальностей. В Вышке по согласованию с Минобрнауки России и Минцифры России в рамках этого проекта организуется пять ИТ-модулей. В 2024 году в университете реализовано 106 курсов на программах бакалавриата и специалитета с привлечением более 100 штатных преподавателей и представителей индустрии.
«Конференция “Параллельные вычислительные технологии” — знаковое событие в мире IT»
Вышка готовится к IT-конференции «Параллельные вычислительные технологии — 2025». Тематика форума покрывает все аспекты применения облачных, суперкомпьютерных и нейросетевых технологий в науке и технике. Прием заявок, в том числе от молодых ученых, на участие с докладом открыт до 1 января 2025 года.
Стартовал прием заявок от школьников и студентов на Всероссийский конкурс проектов с открытым кодом — 2025
Кружковое движение Национальной технологической инициативы (НТИ) открыло прием заявок на новый сезон Всероссийского конкурса проектов с открытым кодом. К участию приглашаются школьники и студенты вузов и колледжей, которые разрабатывают собственное программное обеспечение с открытым кодом или участвуют в доработке и развитии уже существующих проектов. Регистрация открыта до 1 марта 2025 года на сайте.