Installiamo un bot completamente locale simile a ChatGPT su un telefono Android - con pochi comandi, scusate iPhone utenti..
settembre 30, 2024 #Android LLMs #Generative A.I #A.INon ci sono domande stupide, tutto ciò che vuoi chiarire o collegare è ben accetto. Abbiamo accesso premium e di solito accesso anticipato a tutti gli ultimi e migliori modelli e chatbot, quindi se vuoi sapere come potrebbero rispondere e come si comportano, basta menzionarlo quando fai la domanda. Invia un messaggio su Matrix o su Instagram. Puoi rimanere anonimo o usare un soprannome!
D: Cos'è Ollama?
R: Ollama è un wrapper / framework per un altro framework / libreria che in qualche modo è diventato un proprio framework. (Sì, lo so) E alla fine della giornata, gli LLM sono solo file binari, quindi serve un modo per leggerli / eseguirli. ChatGPT è essenzialmente l'idea di Google (documento sui Transformers) con il framework di Facebook (Pytorch, che tra l'altro è molto più completo di Ollama, perché permette di allenare / creare file LLM, non solo usarli). E dato che ChatGPT (o qualsiasi LLM) è solo un modo intelligente di mappare valori testuali in valori numerici e continuare la sequenza basata su tutto ciò che hai mappato fino a quel punto ("La fase di allenamento" – A proposito, c'è molto tweaking umano, etichettatura e rifinitura che avviene durante la fase di allenamento (il mapping) prima di ottenere qualcosa come ChatGPT, che probabilmente non è nemmeno un singolo LLM). Solo per chiarire che qualcosa di simile non imita così bene le risposte e le interazioni umane in modo casuale. In breve, Ollama è come un libro, un computer o persino un telefono che ti permette di leggere il tuo modo intelligente di mappare e interagire con i numeri. Pytorch sarebbe più come uno zaino con libri, penne e matite in questa analogia, ma è tutt'altro che perfetto. Esamineremo molti strumenti, quindi prepara il tuo Nix con flakes se vuoi.
D: Cos'è Nix?
R: Puoi pensare a Nix come qualcosa di simile a un app store, ma che funziona a un livello molto più basso. Abbiamo un intero post a riguardo, quindi dagli un'occhiata!