metaflow.org

モデリング: Python ライブラリを使ってモデルとビジネスロジックを構築します。Metaflow は、ローカルおよびクラウド上のライブラリの管理を支援します。

デプロイ: 単一のコマンドでワークフローを本番環境にデプロイし、周辺システムとの統合を実現します。

バージョン管理: Metaflow は、実験の追跡とデバッグを容易にするため、フロー内の変数を自動的に追跡および保存します。

オーケストレーション: 標準的な Python で堅牢なワークフローを作成します。ローカルで開発およびデバッグし、変更なしに本番環境にデプロイできます。

コンピューティング: クラウドを活用して、スケールに応じた関数の実行を行います。必要に応じて GPU、マルチコア、大容量メモリを活用できます。

データ: データウェアハウスからデータにアクセスします。Metaflow は、データを各ステップ間で移動させ、すべてをバージョン管理します。

Metaflow で開発: ノートブックで探索し、Metaflow で開発し、ローカルでテストおよびデバッグします。結果は自動的に保存および追跡されるため、簡単に分析できます。

クラウドへのスケールアウト: ラップトップや単一のノートブックの制限を超えます。GPU、マルチコア、複数インスタンスを並列に活用してクラウドにスケールアウトできます。Metaflow は作業を整理し、共同作業を容易にします。

本番環境へ自信を持ってデプロイ: コードを変更することなく、単一クリックで実験を本番環境にデプロイします。フローを更新データや他のイベントに自動的に反応させることができます。

独自のクラウドを活用: ラップトップで簡単に始めることができます。スケールする準備ができたら、クラウドアカウントまたはオンプレミスの Kubernetes クラスターに Metaflow スタックをデプロイします。Metaflow は、既存のインフラストラクチャ、セキュリティ、データガバナンスポリシーと seamlessly に統合されます。

Netflix で実戦投入: Metaflow は元々、過酷な現実世界の ML、AI、データプロジェクトに取り組む開発者およびデータサイエンティストのニーズに対応するために Netflix で開発されました。

リアルタイム、ダイナミックなカード: リアルタイムで更新されるカードを使って、観測可能な ML/AI システムを構築します。

任意の PyPI パッケージを含める: Metaflow ステップで、PyPI およびConda からの依存関係をインストールできます。

安全にシークレットにアクセス: 新しい @secrets デコレーターを使って、外部サービスに安全に接続します。

Metaflow でリアクティブな本番システムを構築: Metaflow 2.9 では、リアルタイムのイベントに基づいてワークフローをトリガーできます。

Apache Arrow と Metaflow.S3 を使ってテーブルデータを高速に読み込みと処理: データを高速に処理できます。

Metaflow を使って大規模な言語モデルをトレーニングする方法: 要求の高い GPU タスクに Metaflow を使う方法を学びます。

Metaflow は Apache Airflow をサポート: Metaflow で開発し、既存の Apache Airflow サーバーにデプロイします。

Google Cloud 上の Metaflow: GCP およびその他の主要クラウド上で Metaflow をデプロイおよび運用します。

Azure 上の Metaflow: Microsoft Azure 上で Metaflow をデプロイおよび運用します。