Ученые НИУ ВШЭ создали MLOps-платформу SmartMLOps. Она предназначена для исследователей в области искусственного интеллекта, которые хотели бы превратить свое изобретение в полноценный сервис. В будущем на платформе могут быть развернуты ИИ-помощники для упрощения образовательного процесса, оказания медицинской помощи, консультирования и решения многих других задач. Создатели ИИ-технологий смогут получить готовый к работе сервис в течение считанных часов. На суперкомпьютере Вышки этот сервис может быть запущен в несколько кликов.
Многие исследователи, работающие в области создания ИИ-технологий, не имеют достаточного опыта в разработке веб-сервисов, управлении распределенными вычислительными ресурсами, администрировании, информационной безопасности и автоматизации процессов развертывания. Для этого и была создана SmartMLOps. Платформа поможет избавиться от необходимости изучать дополнительные технологии, а также решить проблему повторяемости и воспроизводимости экспериментов машинного обучения.
Партнерами проекта стали Центр искусственного интеллекта НИУ ВШЭ, департамент программной инженерии ФКН НИУ ВШЭ и Московский институт электроники и математики им. А.Н. Тихонова (МИЭМ). В разработке и развертывании MLOps-платформы участвуют опытные и высококвалифицированные специалисты НИУ ВШЭ.
По словам руководителя проекта Хади Салеха, платформа уже введена в опытную эксплуатацию. Ее основной задачей является сокращение затрат времени и ресурсов для получения продуктовых сервисов. SmartMLOps обеспечивает необходимый уровень надежности, безопасности и прозрачности использования ИИ-технологий. Она позволяет разработчикам экономить на непрофильной деятельности, такой как системное администрирование, DevOps и CI/CD. Работая на платформе, можно через единый графический интерфейс создавать репозиторий с шаблоном ИИ-модуля, получать доступ к моделям, системе мониторинга, оркестраторам и суперкомпьютеру, а также отслеживать метрики своих сервисов и своевременно решать возникающие проблемы.
Чтобы создать многофункциональный, удобный и современный сервис, разработчики платформы решили сложную задачу интеграции вычислительного кластера суперкомпьютера НИУ ВШЭ «cHARISMa» и облачных вычислений. В основе платформы лежит микросервисная архитектура. Основным компонентом является фреймворк, разработанный Центром искусственного интеллекта НИУ ВШЭ.
Хади Салех
«Функциональность платформы включает в себя создание, хранение, версионирование, обучение и дообучение моделей искусственного интеллекта, развертывание готовых моделей в виде продуктовых сервисов с REST API, создание пайплайнов обучения, мониторинг сервисов и общего состояния вычислительных ресурсов, возможность использования данных корпоративных информационных систем НИУ ВШЭ, доступ к облачному хранилищу и ресурсам суперкомпьютера. Уже развернут сам фреймворк и первые ИИ-модули, реализованы аналитические панели для мониторинга состояния платформы. Для экономии ресурсов была разработана и внедрена специальная технология автомасштабирования сервисов», — рассказал Хади Салех.
В отличие от коммерческих решений, таких как Amazon SageMaker и Google AI, SmartMLOps ориентирована в первую очередь на ученых и студентов НИУ ВШЭ. Для получения доступа им будет достаточно оставить заявку и дождаться ее согласования. До конца 2025 года все желающие могут принять участие в опытной эксплуатации системы SmartMLOps.
Для безопасного извлечения и обезличивания информации из корпоративных систем НИУ ВШЭ был разработан специальный ETL-процесс. Это помогает анализировать поведение обучающихся и строить предсказательные модели, например, для прогнозирования карьерных перспектив.
Елена Кожина
«Мы ожидаем, что внедрение системы SmartMLOps станет значимой вехой в ускорении развития сервисов на основе искусственного интеллекта в нашем университете», — отмечает заместитель проректора, куратор проекта Елена Кожина.
На данный момент на платформе развернуты восемь ИИ-моделей, а также проведена интеграция с тремя корпоративными информационными системами НИУ ВШЭ. Две подсистемы MLOps-платформы, в создании которых принимали участие специалисты ФКН и МИЭМ, зарегистрированы в Роспатенте.
Сергей Лебедев
«Разработка такого интересного и перспективного инфраструктурного проекта стала существенным вызовом и назревшей необходимостью для университета. SmartMLOps позволяет одновременно решать различного масштаба и уровня задачи исследовательского, образовательного и административного характера. Нам удалось сформировать уникальную команду профессионалов, привлечь к работе студентов и стажеров-исследователей», — рассказал руководитель департамента программной инженерии ФКН НИУ ВШЭ Сергей Лебедев.
Антон Сергеев
Директор Центра программных разработок и цифровых сервисов МИЭМ НИУ ВШЭ Антон Сергеев подчеркнул, что системная работа с моделями ИИ невозможна без MLOps-платформ, обеспечивающих полный жизненный цикл работы моделей — от импорта и очистки данных до контроля полученных результатов. «Такие высокотехнологичные проекты задают лидерство в сфере ИИ не только для нашего университета, но и для страны в целом, воплощают научное превосходство НИУ ВШЭ в виде системы, которая поможет ML-специалистам в работе с моделями ИИ в самых разных прикладных задачах», — уверен он.
Павел Костенецкий
Начальник отдела суперкомпьютерного моделирования Павел Костенецкий высоко оценивает сервис. «MLOps-платформа упростит ученым Вышки, работающим с ИИ, выход на суперкомпьютерный комплекс и снизит порог вхождения в область высокопроизводительных вычислений. В некотором смысле суперкомпьютер Вышки будет выглядеть как облако в этой MLOps-платформе, и многим это будет удобно», — заключил Павел Костенецкий.
