metaflow.org

Моделирование: Используйте любые библиотеки Python для моделей и бизнес-логики. Metaflow помогает управлять библиотеками локально и в облаке.

Развертывание: Развертывайте рабочие процессы в производство одной командой и интегрируйтесь с окружающими системами без проблем.

Версионирование: Metaflow автоматически отслеживает и хранит переменные внутри потока для простого отслеживания экспериментов и отладки.

Оркестрация: Создавайте надежные рабочие процессы на чистом Python. Разрабатывайте и отлаживайте их локально, развертывайте в производство без изменений.

Вычисления: Используйте облако для выполнения функций в масштабе. Используйте GPU, несколько ядер и большие объемы памяти по мере необходимости.

Данные: Получайте доступ к данным из хранилищ данных. Metaflow передает данные между шагами, версионируя все на пути.

Разработка с Metaflow: Исследуйте с помощью блокнотов, разрабатывайте с Metaflow и тестируйте и отлаживайте локально. Результаты автоматически сохраняются и отслеживаются для простого анализа.

Масштабирование в облако: Выйдите за пределы ноутбука или одного ноутбука. Легко масштабируйтесь в облако, используя GPU, несколько ядер и несколько экземпляров параллельно. Metaflow организует работу для простого сотрудничества.

Уверенное развертывание в производство: Развертывайте эксперименты в производство одним щелчком мыши без изменения кода. Заставляйте потоки автоматически реагировать на обновление данных и другие события.

Используйте свое облако: Начните с ноутбука. Когда вы будете готовы масштабироваться, разверните стек Metaflow на вашей учетной записи в облаке или на локальном кластере Kubernetes. Metaflow легко интегрируется с вашей существующей инфраструктурой, безопасностью и политиками управления данными.

Закаленный в боях в Netflix: Metaflow был первоначально разработан в Netflix, чтобы удовлетворить потребности разработчиков и ученых-данных, работающих над сложными реальными проектами в области машинного обучения, искусственного интеллекта и обработки данных.

Динамические карты в режиме реального времени: Создавайте наблюдаемые системы ML/AI с картами, которые обновляются в режиме реального времени.

Включайте любые пакеты PyPI: Устанавливайте зависимости из PyPI, а также Conda в ваших шагах Metaflow.

Безопасный доступ к секретам: Подключайтесь к внешним сервисам безопасно, используя новый декоратор @secrets.

Создавайте реактивные производственные системы с Metaflow: Metaflow 2.9 позволяет запускать рабочие процессы на основе событий в режиме реального времени.

Быстро загружайте и обрабатывайте табличные данные с Metaflow: Apache Arrow и Metaflow.S3 упрощают быструю обработку данных.

Использование Metaflow для обучения крупной языковой модели: Узнайте, как использовать Metaflow для требовательных задач с использованием GPU.

Metaflow поддерживает Apache Airflow: Разрабатывайте с Metaflow, развертывайте на ваших существующих серверах Apache Airflow.

Metaflow в Google Cloud: Развертывайте и управляйте Metaflow в GCP и на всех других основных облачных платформах.

Metaflow в Azure: Развертывайте и управляйте Metaflow в Microsoft Azure.