LLama sie die Sprachmodelle von Meta (ex. Facebook).
Ollama#
Diese können einfach in einem Service namens Ollama gestartet werden. Ollama ist eine kleine, aber relativ ausgereifte Plattform.Grundoperationen#
Mit dem Commandline-Tool namens "ollama" kann das System konfiguriert werden:- Modelle lokal herunterladen (ollama pull)
- Modelle auflisten (ollama ls)
- Modelle mittels eines Modelfile importieren, z.B. GGUF
Modelfile#
Ein Modelfile sieht im einfachsten Fall so aus:FROM ./<name>.gguf
Dann kann das Model importiert werden:
ollama create <name> -f Modelfile