metaflow.org

Mô hình hóa: Sử dụng bất kỳ thư viện Python nào cho các mô hình và logic kinh doanh. Metaflow giúp quản lý các thư viện cục bộ và trên cloud.

Triển khai: Triển khai các luồng công việc vào sản xuất với một lệnh duy nhất và tích hợp một cách mượt mà với các hệ thống xung quanh.

Phiên bản: Metaflow theo dõi và lưu trữ các biến bên trong luồng một cách tự động để theo dõi và gỡ lỗi thực nghiệm dễ dàng.

Điều phối: Tạo các luồng công việc mạnh mẽ bằng Python thuần túy. Phát triển và gỡ lỗi chúng cục bộ, triển khai vào sản xuất mà không cần thay đổi.

Tính toán: Khai thác cloud để thực thi các chức năng ở quy mô lớn. Sử dụng GPU, nhiều lõi và lượng bộ nhớ lớn khi cần thiết.

Dữ liệu: Truy cập dữ liệu từ các kho dữ liệu. Metaflow chuyển dữ liệu qua các bước, lưu trữ phiên bản của tất cả các thứ trên đường đi.

Phát triển với Metaflow: Khám phá với notebook, phát triển với Metaflow, và kiểm tra và gỡ lỗi cục bộ. Kết quả được lưu trữ và theo dõi tự động để phân tích dễ dàng.

Mở rộng ra cloud: Vượt ra khỏi giới hạn của một laptop hoặc một notebook duy nhất. Mở rộng dễ dàng lên cloud, sử dụng GPU, nhiều lõi và nhiều phiên song song. Metaflow tổ chức công việc để hợp tác dễ dàng.

Triển khai vào sản xuất một cách tự tin: Triển khai các thực nghiệm vào sản xuất với một cú nhấp chuột mà không cần thay đổi bất cứ thứ gì trong mã. Tạo các luồng phản ứng với dữ liệu cập nhật và các sự kiện khác một cách tự động.

Mang theo cloud của bạn: Bắt đầu dễ dàng trên một laptop. Khi bạn sẵn sàng để mở rộng, triển khai chồng Metaflow trên tài khoản cloud của bạn hoặc trên cụm Kubernetes tại chỗ. Metaflow tích hợp một cách mượt mà với cơ sở hạ tầng, bảo mật và chính sách quản trị dữ liệu hiện có của bạn.

Được thử nghiệm tại Netflix: Metaflow ban đầu được phát triển tại Netflix để giải quyết nhu cầu của các nhà phát triển và nhà khoa học dữ liệu làm việc trên các dự án ML, AI và dữ liệu thực tế đòi hỏi cao.

Thẻ động và thời gian thực: Xây dựng các hệ thống ML/AI có thể quan sát với các thẻ cập nhật theo thời gian thực.

Bao gồm bất kỳ gói PyPI nào: Cài đặt các phụ thuộc từ PyPI cũng như Conda trong các bước Metaflow của bạn.

Truy cập Bí mật một cách an toàn: Kết nối với các dịch vụ bên ngoài một cách an toàn bằng cách sử dụng bộ trang trí @secrets mới.

Xây dựng các hệ thống sản xuất phản ứng với Metaflow: Metaflow 2.9 cho phép bạn kích hoạt các luồng công việc dựa trên các sự kiện thời gian thực.

Tải và xử lý dữ liệu bảng nhanh với Metaflow: Apache Arrow và Metaflow.S3 giúp xử lý dữ liệu nhanh chóng.

Sử dụng Metaflow để đào tạo một mô hình ngôn ngữ lớn: Tìm hiểu cách sử dụng Metaflow cho các tác vụ GPU đòi hỏi cao.

Metaflow hỗ trợ Apache Airflow: Phát triển với Metaflow, triển khai trên các máy chủ Apache Airflow hiện có của bạn.

Metaflow trên Google Cloud: Triển khai và vận hành Metaflow trên GCP và tất cả các cloud chính khác.

Metaflow trên Azure: Triển khai và vận hành Metaflow trên Microsoft Azure.