Desbloquear el poder del código abierto: cómo IBM Watson X aprovecha la innovación

IBM tiene una larga historia de contribuir y aprovechar el código abierto en sus ofertas. Esta tradición continúa con Watson X, la nueva plataforma empresarial de IBM para IA y datos. Al abrazar el código abierto, Watson X se beneficia de la mejor IA, innovación y modelos disponibles.

El uso de código abierto en Watson X abarca tres aspectos clave: entrenamiento y validación de modelos, ajuste e inferencia de modelos, y recopilación y análisis de datos.

Para el entrenamiento y la validación de modelos, Watson X aprovecha el proyecto de código abierto Codeflare. Codeflare proporciona abstracciones fáciles de usar para escalar, poner en cola y desplegar cargas de trabajo de aprendizaje automático, integrándose con Ray, Kubernetes y PyTorch.

PyTorch, el marco de aprendizaje automático de código abierto, se utiliza para representar los modelos en Watson X. PyTorch ofrece características clave como soporte de tensores, aceleración de GPU y entrenamiento distribuido, lo que permite un manejo eficiente de modelos grandes y complejos.

Para el ajuste y la inferencia de modelos, Watson X utiliza los proyectos de código abierto KServe y Model Mesh. Estas tecnologías permiten servir de manera eficiente miles de modelos de IA en la plataforma OpenShift. Además, el proyecto de código abierto KKIT proporciona API para el ajuste de indicaciones, lo que mejora aún más las capacidades de inferencia.

Finalmente, para la recopilación y el análisis de datos, Watson X aprovecha el motor de consultas SQL de código abierto Presto. El alto rendimiento, la escalabilidad y la capacidad de Presto para consultar datos donde se encuentran lo convierten en un componente valioso del ecosistema de datos de Watson X.

Al abrazar las tecnologías de código abierto, Watson X se beneficia de la mejor IA, innovación y modelos disponibles, lo que permite a los usuarios construir y desplegar aplicaciones inteligentes a escala.

El entrenamiento y la validación de modelos pueden requerir una gran cantidad de recursos de clúster, especialmente cuando los modelos son modelos de fundación enormes con miles de millones de parámetros. Para usar eficientemente un clúster y facilitar el trabajo de los científicos de datos, IBM tiene un proyecto de código abierto llamado Codeflare.

Codeflare proporciona abstracciones fáciles de usar para escalar, poner en cola y desplegar cargas de trabajo de aprendizaje automático. Se integra con Ray, Kuberay y PyTorch para proporcionar estas funciones. Con Ray, proporciona una abstracción de trabajo, y Kuberay permite que Ray se ejecute en plataformas Kubernetes como OpenShift.

En un caso de uso típico de Codeflare, primero inicia un clúster de Ray. El científico de datos puede entonces enviar trabajos de entrenamiento al clúster. Si el clúster de OpenShift se utiliza intensivamente y no hay recursos disponibles, Codeflare puede poner en cola los trabajos y esperar hasta que haya recursos disponibles. En algunos casos, incluso puede escalar el clúster para acomodar la carga de trabajo. Cuando se completa el entrenamiento y la validación, Codeflare puede eliminar los trabajos de Ray y eliminarlos del clúster.

El principal beneficio de Codeflare es que permite a los científicos de datos usar eficientemente un clúster, o incluso varios clústeres de OpenShift, sin preocuparse por la infraestructura subyacente.

PyTorch proporciona características clave para representar modelos, incluido el soporte de tensores, el soporte de GPU y el entrenamiento distribuido.

Los tensores son matrices multidimensionales que almacenan los valores ponderados o las probabilidades que se ajustan con el tiempo para mejorar las capacidades predictivas del modelo. El soporte de tensores de PyTorch permite una representación eficiente de estos parámetros de modelo complejos.

El soporte de GPU de PyTorch permite un cálculo altamente eficiente durante el entrenamiento del modelo, lo cual es crucial para modelos grandes y complejos. Además, las capacidades de entrenamiento distribuido de PyTorch permiten el entrenamiento de modelos que son demasiado grandes para caber en una sola máquina, al distribuir el entrenamiento en varias máquinas.

Otras características clave de PyTorch para la representación de modelos incluyen:

• Creación de redes neuronales: PyTorch facilita la creación de varios tipos de redes neuronales.
• Carga de datos: PyTorch proporciona capacidades de carga de datos fáciles de usar.
• Bucles de entrenamiento: PyTorch incluye bucles de entrenamiento integrados que actualizan eficientemente los parámetros del modelo para mejorar la precisión predictiva.
• Ajustes de modelos: La característica de cálculo de gradiente automático de PyTorch simplifica el proceso de realizar ajustes menores al modelo para mejorar su rendimiento.

Al aprovechar estas capacidades de código abierto proporcionadas por PyTorch, Watson X puede representar y entrenar de manera eficiente modelos de IA complejos como parte de su plataforma empresarial de IA y datos.

Queremos poder servir a un gran número de modelos de IA y hacerlo a escala en OpenShift. Los proyectos de código abierto que aprovechamos para esto son KServ Model Mesh y KKit.

KServ Model Mesh nos permite servir de manera eficiente miles de modelos en un solo pod. Originalmente, KServ solo podía servir un modelo por pod, lo que no era muy eficiente. Al fusionar KServ con el proyecto Model Mesh, ahora podemos servir a un gran número de modelos de manera eficiente en un clúster de OpenShift.

Para encontrar estos modelos, aprovechamos el repositorio de Hugging Face, que tiene más de 200,000 modelos de código abierto. IBM tiene una asociación con Hugging Face, lo que lo convierte en una excelente fuente de modelos para usar en nuestras ofertas de Watson X.

Además, utilizamos KKit, un proyecto de código abierto que proporciona API para el ajuste de indicaciones. Esto nos permite ajustar los modelos en el lado de la inferencia para mejorar los resultados.

Juntas, estas tecnologías de código abierto nos permiten servir y ajustar una gran cantidad de modelos de IA a escala en OpenShift, lo que alimenta las capacidades de inferencia de modelos de Watson X.

Presto es el proyecto de código abierto que IBM aprovecha para la recopilación y el análisis de datos en Watson X. Presto es un motor de consultas SQL de alto rendimiento que permite el análisis de datos abiertos y alimenta el data lakehouse de datos abiertos.

Las características clave de Presto incluyen:

• Alto rendimiento: Presto es altamente escalable y proporciona una ejecución de consultas rápida, lo que lo hace adecuado para el análisis de datos a gran escala.

• Consultas federadas: Presto le permite consultar datos de múltiples fuentes de datos, proporcionando una vista unificada de sus datos.

• Consultar datos donde se encuentran: Presto puede consultar datos directamente en su ubicación de origen, eliminando la necesidad de mover datos a un repositorio centralizado.

Al usar Presto, Watson X puede recopilar y analizar eficientemente datos de varias fuentes, lo que permite obtener información basada en datos y alimentar las capacidades de IA y aprendizaje automático de la plataforma.