This page (revision-2) was last changed on 11-Oct-2024 08:53 by Dieter Käppel

This page was created on 11-Oct-2024 08:48 by Dieter Käppel

Only authorized users are allowed to rename pages.

Only authorized users are allowed to delete pages.

Page revision history

Version Date Modified Size Author Changes ... Change note
2 11-Oct-2024 08:53 1 KB Dieter Käppel to previous
1 11-Oct-2024 08:48 627 bytes Dieter Käppel to last

Page References

Incoming links Outgoing links

Version management

Difference between version and

At line 4 changed one line
Diese können einfach in einem Service namens Ollama gestartet werden. Ollama ist eine kleine, aber relativ ausgereifte Plattform.
Diese können einfach in einem Service namens Ollama gestartet werden. Ollama ist eine kleine, aber relativ ausgereifte Plattform.
At line 6 added 9 lines
!!Service
Der Service gibt nach einiger Zeit den GPU-Speicher frei, wenn keine Anfragen eintreffen. So kann der Service auf einem Anwenderrechner permanent im Hintergrund laufen, ohne dass es zu Einschränkungen des Systems kommt. So können auch verschiedene Modelle betrieben werden, ohne dass der GPU-Speicher überläuft.
Normalerweise wird der Server als Service in Windows oder Linux installiert. Er kann allerdings auch manuell gestartet werden:
{{{
ollama serve
}}}
At line 25 removed one line