Laten we een volledig lokale ChatGPT-achtige bot installeren op een Android-telefoon - met een paar commando's, sorry iPhone-mensen.. >>> Q&A
september 30, 2024 #Android LLMs #Generative A.I #A.IEr zijn geen domme vragen, alles wat je wilt verduidelijken of verbinden is welkom. We hebben premium toegang en meestal vroege toegang tot de nieuwste en beste modellen en chatbots, dus als je wilt weten hoe hun antwoorden eruitzien of hoe ze presteren, vermeld dat gewoon wanneer je je vraag stelt. Stuur een bericht op Matrix of Instagram. Je kunt anoniem blijven of gewoon een bijnaam gebruiken!
V: Wat is Ollama?
A: Ollama is een wrapper / framework voor een ander framework / een andere bibliotheek dat op de een of andere manier zijn eigen framework is geworden. (Ja, ik weet het) En LLM's zijn uiteindelijk gewoon binaire bestanden, dus je hebt een manier nodig om ze te lezen / uit te voeren. ChatGPT is in wezen het idee van Google (Transformers-paper) met het framework van Facebook (Pytorch, wat trouwens veel completer is dan Ollama. Want het staat niet alleen het gebruik van LLM's toe, maar ook het trainen / maken van LLM-bestanden). En omdat ChatGPT (of elk LLM) gewoon een slimme manier is om tekstwaarden naar numerieke waarden om te zetten en de reeks voort te zetten op basis van alles wat je tot dan toe hebt verzameld ("De trainingsfase" - Trouwens, er gaat veel menselijke afstemming, labeling en verfijning in de trainingsfase (het mapping) voordat je iets als ChatGPT krijgt, dat waarschijnlijk niet eens een enkel LLM is. Alleen zodat je niet denkt dat zoiets menselijke reacties en interacties zo goed nabootst, het ontwikkelt zich gewoon toevallig. Kortom, Ollama is als een boek, computer of zelfs een telefoon die je in staat stelt om slim te werken met cijfers. Pytorch zou in deze analogie meer lijken op een rugzak met boeken, pennen en potloden, maar het is verre van perfect. We zullen veel tools doorlopen, dus maak je klaar met je Nix en flakes als je wilt.
V: Wat is Nix?
A: Je kunt Nix zien als iets vergelijkbaars met een app store, maar dan op een veel lagere laag. We hebben een hele post erover, dus kijk daar zeker even naar!