ИИ Amazon SageMaker
Обзор Цены Вопросы и ответы Клиенты

Ускорьте разработку на основе генеративного искусственного интеллекта с помощью Amazon SageMaker AI и MLflow

Эффективно управляйте жизненным циклом машинного обучения и генеративного искусственного интеллекта в любом масштабе с помощью MLflow 3.0

Начните работу с MLflow на SageMaker

Что дает объединение Amazon SageMaker с MLflow?

Amazon SageMaker предоставляет управляемую возможность MLflow для экспериментов машинного обучения (ML) и генеративного искусственного интеллекта. Эта возможность позволяет специалистам по обработке данных легко применять MLflow в SageMaker для обучения, регистрации и развертывания моделей. Администраторы могут быстро настроить безопасные и масштабируемые среды MLflow в AWS. Специалисты по обработке данных и разработчики машинного обучения могут эффективно контролировать эксперименты машинного обучения и выбирать наиболее подходящую модель для решения бизнес-задачи.

Преимущества Amazon SageMaker AI с MLflow 3.0

Специалисты по обработке и анализу данных с помощью MLflow могут отслеживать все параметры, выделенные на этапе доработки базовой модели, оценивать модель, тестировать модель по тестовым данным, выполнять сравнительный анализ результатов каждой модели в пользовательском интерфейсе MLflow, а затем регистрировать наиболее подходящую модель для своего варианта использования. После регистрации модели инженеры машинного обучения смогут использовать выбранную модель для вывода в SageMaker.
Вам не придется управлять какой-либо инфраструктурой для размещения MLflow. Специалисты по обработке данных могут использовать все возможности MLflow с открытым исходным кодом, не добавляя администраторам забот по управлению инфраструктурой. Это экономит время и средства при настройке сред обработки данных. MLflow интегрируется с сервисом Amazon Identity and Access Management (IAM), что позволяет настраивать для серверов отслеживания MLflow контроль доступа на основе ролей (RBAC).
Зарегистрированные в MLflow модели будут автоматически регистрироваться и в Реестре моделей Amazon SageMaker с соответствующей картой модели Amazon SageMaker. Это позволяет специалистам по обработке данных передавать свои модели инженерам машинного обучения для развертывания в производственной среде без усилий по настройке контекста. Инженеры машинного обучения могут развертывать модели из MLflow на адресах SageMaker, не тратя силы на создание специальных контейнеров или переупаковку артефактов из модели MLflow.
По мере развития проекта MLflow клиенты SageMaker AI смогут воспользоваться инновациями с открытым исходным кодом, созданными сообществом MLflow, сохраняя все преимущества AWS по управлению инфраструктурой.
Возможности отслеживания в полностью управляемом решении MLflow 3.0 позволяют клиентам записывать входные, выходные данные и метаданные на каждом этапе разработки с помощью генеративного искусственного интеллекта, чтобы помочь командам быстро определить источник ошибок или неожиданного поведения. Благодаря ведению записей о каждой модели и версии приложения полностью управляемое решение MLflow 3.0 обеспечивает отслеживание ответов ИИ, а также исходных компонентов, что позволяет разработчикам быстро отслеживать проблему непосредственно с конкретным кодом, данными или параметрами, которые ее вызвали.

Отслеживание эксперименты из любого места

Эксперименты с машинным обучением можно выполнять в любых средах, таких как локальные ноутбуки, среды IDE, код обучения в облаке или управляемые среды IDE в Студии Amazon SageMaker. Сочетание SageMaker AI и MLflow позволяет использовать любую среду на ваш выбор для обучения моделей, отслеживания экспериментов в MLflow и работы с пользовательским интерфейсом MLflow напрямую или через Студию SageMaker для анализа.

Журналы экспериментов

Повышение скорости разработки генеративного искусственного интеллекта с помощью MLflow 3.0

Создание базовых моделей – это итеративный процесс, который включает сотни итераций обучения для поиска оптимального алгоритма, архитектуры и параметров, обеспечивающих оптимальную точность модели. Полностью управляемое решение MLflow 3.0 позволяет отслеживать эксперименты на основе генеративного искусственного интеллекта, оценивать производительность моделей, а также получать более глубокое представление о поведении моделей и приложений искусственного интеллекта от экспериментов до производства. С помощью единого интерфейса вы можете визуализировать прогресс задач обучения, сотрудничать с коллегами во время экспериментов, а также управлять версиями для каждой модели и приложения. MLflow 3.0 также предлагает расширенные возможности отслеживания, которые позволяют записывать входные, выходные данные и метаданные на каждом этапе разработки с помощью генеративного искусственного интеллекта, что дает возможность быстро определить источник ошибок или неожиданного поведения.

Повышение скорости разработки генеративного искусственного интеллекта с помощью MLflow

Централизованное управление метаданными экспериментов машинного обучения

Оценка экспериментов

Чтобы выбрать лучшую модель из нескольких итераций, нужно выполнить анализ и сопоставить производительность моделей. MLflow предлагает для сравнения итераций обучения всевозможные визуализации, например точечные диаграммы, столбчатые диаграммы и гистограммы. Кроме того, MLflow позволяет оценивать предвзятость и справедливость моделей.

Оценка экспериментов машинного обучения

Централизованное управление моделями MLflow

Многие специалисты применяют MLflow для управления экспериментами, выделяя лишь некоторые модели в кандидаты на использование производственной среде. Организациям нужен простой способ отслеживать все модели-кандидаты, позволяющий принимать обоснованные решения о том, какие модели будут запущены в производство. MLflow удобно интегрируется с Реестром моделей SageMaker, что позволяет автоматически передавать модели, зарегистрированные в MLflow, в реестр моделей SageMaker вместе с картой модели SageMaker для управления. Такая интеграция позволяет специалистам по обработке данных и инженерам машинного обучения использовать разные инструменты для решения текущих задач: MLflow для экспериментов или реестр моделей SageMaker для управления жизненным циклом производства с полным отслеживанием линейки моделей.

Общий доступ к обновлениям и результатам

Развертывание моделей MLflow на адресах SageMaker

Развертывание моделей от MLflow на адресах SageMaker выполняется очень легко и устраняет необходимость создавать специализированные контейнеры для хранения моделей. Такая интеграция позволяет клиентам использовать оптимизированные контейнеры SageMaker для логических выводов, сохраняя все удобства интерфейса MLflow для ведения журналов и регистрации моделей.

Воспроизводимость и аудит экспериментов машинного обучения