LLama sie die Sprachmodelle von Meta (ex. Facebook).

Ollama#

Diese können einfach in einem Service namens Ollama gestartet werden. Ollama ist eine kleine, aber relativ ausgereifte Plattform.

Grundoperationen#

Mit dem Commandline-Tool namens "ollama" kann das System konfiguriert werden:
  • Modelle lokal herunterladen (ollama pull)
  • Modelle auflisten (ollama ls)
  • Modelle mittels eines Modelfile importieren, z.B. GGUF

Modelfile#

Ein Modelfile sieht im einfachsten Fall so aus:
FROM ./<name>.gguf

Dann kann das Model importiert werden:

ollama create <name> -f Modelfile