Construye un LLM-OS: Desbloquea Asistentes de IA con Memoria, Conocimiento y Herramientas

Para ejecutar el LLM-OS localmente, sigue estos pasos:

1. Crea un entorno virtual de Python para mantener aisladas tus dependencias.
2. Instala los paquetes necesarios, incluidas las bibliotecas opcionales de AWS para el marco de trabajo FI-Data.
3. Instala Docker Desktop si aún no lo has hecho.
4. Crea el código base de LLM-OS usando el comando fi workspace create y selecciona la plantilla "LLM-OS" para clonar.
5. Exporta tu clave de API de OpenAI, ya que utilizarás GPT-4 como modelo de lenguaje.
6. Exporta tu clave de API de Anthropic para el asistente de investigación (Exa).
7. Ejecuta fi workspace up para iniciar la aplicación LLM-OS, lo que creará los contenedores de Docker necesarios para la base de datos y la aplicación LLM-OS.
8. Abre tu navegador web y ve a http://localhost:8501 para acceder a la interfaz de LLM-OS.
9. Ingresa un nombre de usuario y comienza a interactuar con el LLM-OS, que tiene acceso a una calculadora, sistema de archivos, búsqueda web y Yahoo Finance.
10. También puedes agregar otros miembros del equipo de asistentes, como un asistente de Python, un analista de datos o un asistente de inversiones, como se demuestra en otros ejemplos.

Para probar el LLM-OS, intenta agregar una publicación de blog a la base de conocimientos y hacerle una pregunta, como "¿Qué le gustaría saber a Sam Altman?". El LLM-OS buscará en su base de conocimientos y utilizará la generación aumentada por recuperación para proporcionar la respuesta.

También puedes probar la calculadora preguntando "¿Qué es 10 factorial?", y el LLM-OS utilizará la calculadora para proporcionar el resultado.

La configuración local mantiene todo contenido dentro de Docker, lo que facilita su gestión y despliegue.

Para ejecutar el LLM-OS en AWS, sigue estos pasos:

1. Exporta tus credenciales de AWS instalando la CLI de AWS y ejecutando aws configure.
2. Agrega tus ID de subred al archivo workspace_settings.py.
3. Agrega una contraseña para tu aplicación y base de datos en el archivo workspace_settings.py.
4. Crea tus recursos de AWS ejecutando fir workspace up --prod-infra-aws. Esto configurará la infraestructura necesaria, incluidos los grupos de seguridad, los secretos, la instancia de base de datos, los balanceadores de carga y el clúster de ECS.
5. Una vez creados los recursos, obtendrás un DNS de balanceador de carga que puedes usar para acceder a tu LLM-OS en ejecución en AWS.
6. También puedes acceder a la API de LLM-OS agregando /api al DNS del balanceador de carga.
7. Prueba el LLM-OS agregando una publicación de blog y haciéndole preguntas. También puedes probar tareas más complejas, como comparar acciones utilizando las herramientas de Yahoo Finance.

Recuerda revisar la documentación de Fi Data para obtener instrucciones más detalladas e información sobre cómo personalizar y ampliar el LLM-OS.

Ahora que tenemos el LLM-OS en ejecución en AWS, probemos su funcionalidad. Realizaremos algunas tareas para ver cómo funciona el sistema.

Primero, agreguemos una publicación de blog a la base de conocimientos y luego hagamos una pregunta al LLM-OS sobre el contenido:

1. Agrega una nueva publicación de blog a la base de conocimientos:

   • El LLM-OS procesará la publicación de blog y almacenará la información en la base de datos de vectores.

2. Haz la pregunta: "¿Qué le gustaría saber a Sam Altman?"

   • El LLM-OS buscará en su base de conocimientos, recuperará la información relevante y utilizará la generación aumentada por recuperación para proporcionar la respuesta.

A continuación, probemos la funcionalidad de la calculadora:

3. Pregúntale al LLM-OS: "¿Qué es 10 factorial?"
   • El LLM-OS utilizará sus capacidades de calculadora para calcular el factorial y devolver el resultado.

Finalmente, exploremos la capacidad del LLM-OS para realizar tareas más complejas:

4. Pídele al LLM-OS que "Escriba una comparación entre NVIDIA y AMD utilizando datos de Yahoo Finance".
   • El LLM-OS aprovechará su acceso a los datos de Yahoo Finance, así como sus capacidades de generación de lenguaje natural, para proporcionar un análisis comparativo de las dos empresas.

Al probar estas diversas funcionalidades, puedes ver cómo el LLM-OS puede servir como un asistente de IA poderoso, capaz de acceder e integrar múltiples recursos para resolver problemas complejos. La integración fluida del modelo de lenguaje grande, la base de conocimientos y las herramientas externas demuestra el potencial de este marco de trabajo para construir aplicaciones de IA avanzadas.

El sistema operativo de modelos de lenguaje grande (llm OS) es un marco de trabajo poderoso que te permite construir asistentes de IA con memoria a largo plazo, conocimiento contextual y la capacidad de realizar acciones mediante la llamada de funciones. Al integrar el marco de trabajo Fi-data con el llm OS, puedes crear una solución escalable y práctica para tus necesidades de IA.

Los aspectos clave de la implementación del llm OS cubiertos en este tutorial son:

1. Aprovechar GPT-4 como el Modelo de Lenguaje Grande: El llm OS utiliza GPT-4 como el modelo de lenguaje subyacente, proporcionando capacidades avanzadas de procesamiento de lenguaje natural.

2. Acceso a Herramientas de Software 1.0: El llm OS le da al asistente de IA acceso a varias herramientas de software, como una calculadora, un sistema de archivos y una búsqueda web, para mejorar sus capacidades de resolución de problemas.

3. Memoria Persistente y Almacenamiento de Conocimiento: El llm OS utiliza una base de datos Postgres y PGVector para almacenar la memoria y el conocimiento del asistente de IA, lo que permite la retención y recuperación a largo plazo.

4. Capacidades de Navegación por Internet: El asistente de IA puede navegar por Internet para recopilar información adicional, ampliando su base de conocimientos.

5. Delegación a Asistentes Especializados: El llm OS permite que el asistente de IA delegue tareas a otros asistentes especializados, como un asistente de Python o un analista de datos, para obtener capacidades más específicas.

6. Despliegue en AWS: El tutorial demuestra cómo implementar el llm OS en AWS, aprovechando la infraestructura como código para configurar los recursos necesarios, incluida la base de datos, los balanceadores de carga y el clúster de ECS.

Siguiendo las instrucciones proporcionadas en la documentación de Fi-data, puedes configurar y ejecutar fácilmente el llm OS de forma local o en AWS, lo que te permitirá explorar las capacidades de este poderoso marco de trabajo y construir tus propios asistentes de IA.