Instalemos un bot completamente local similar a ChatGPT en un teléfono Android - con unos pocos comandos, lo siento usuarios de iPhone..
septiembre 30, 2024 #Android LLMs #Generative A.I #A.INo hay preguntas tontas, cualquier duda o conexión que quieras aclarar es bienvenida. Tenemos acceso premium y normalmente acceso anticipado a los últimos y mejores modelos y chatbots, así que si quieres saber cómo podrían ser sus respuestas y cómo funcionan, solo menciónalo cuando hagas la pregunta. Envía un mensaje en Matrix o Instagram. ¡Puedes permanecer anónimo o simplemente usar un apodo!
P: ¿Entonces, qué es Ollama?
R: Ollama es un wrapper / framework para otro framework / biblioteca que de alguna manera se convirtió en su propio framework. (Sí, lo sé) Y los LLMs son en realidad archivos binarios, por lo que necesitas una forma de leerlos / ejecutarlos. ChatGPT es esencialmente la idea de Google (documento de Transformers) con el framework de Facebook (Pytorch, que por cierto es mucho más completo que Ollama. Porque permite no solo usar archivos LLM, sino también entrenarlos / crearlos). Y como ChatGPT (o cualquier LLM) es solo una manera ingeniosa de mapear valores de texto a valores numéricos y continuar la secuencia en función de todo lo que has mapeado hasta ese momento ("La fase de entrenamiento" – Por cierto, hay mucho ajuste humano, etiquetado y afinación que intervienen en la fase de entrenamiento (el mapeo) antes de obtener algo como ChatGPT, que probablemente ni siquiera es un único LLM. Solo para que no pienses que algo como esto imita tan bien las respuestas e interacciones humanas por pura casualidad). En resumen, Ollama es como un libro, una computadora o incluso un teléfono que te permite leer tu forma inteligente de mapear e interactuar con números. Pytorch sería más como una mochila con libros, bolígrafos y lápices en esta analogía, pero está lejos de ser perfecto. Vamos a revisar muchas herramientas, así que prepara tu Nix con flakes si quieres.
P: ¿Qué es Nix?
R: Puedes pensar en Nix como algo similar a una tienda de aplicaciones, solo que funciona a un nivel mucho más bajo. Tenemos un post completo sobre eso, así que ¡échale un vistazo!