Markus Diederich berichtete von seinen Versuchen, ein lokales LLM mit dem neuen FileMaker-Server 22 einzusetzen.

In der Admin-Konsole gibt es einen neuen Reiter “KI-Dienste”. Dort lassen sich Einstellungen für den integrierten KI-Modellserver vornehmen, wie zum Beispiel der API Endpunkt sowie die zu verwendenden Dienste, Serverkonfigurationen und vorgeladenen Modelle.

Im Abschnitt “Modelle” können weitere KI-Modelle hinzugefügt und verwaltet werden. Dies können Modelle zur Erzeugung von Embeddings aus Texten oder Bildern sowie LLMs für Textgenerierung sein, wie man sie von ChatBots kennt. Diese Modelle werden lokal auf dem Server gespeichert und dort ausgeführt.

Zu den Vorteilen von lokalen Modellen gehört, dass keine Online-Verbindung für die KI-Funktionen erforderlich ist. Somit werden auch keine sensiblen Daten zum KI-Anbieter übertragen, da die Verarbeitung ausschließlich auf dem eigenen Server passiert. Außerdem fallen keine zusätzlichen Kosten für den Verbrauch von Tokens an. Auf der anderen Seite braucht es natürlich ausreichend Speicher- und Rechenkapazität, um die lokalen KI-Modelle zu betreiben. Auch gilt es, ein ausreichend starkes Modell passend zum jeweiligen Verwendungszweck zu finden.

Erst kürzlich hat OpenAI eine Open-Source-Version von ChatGPT bereitgestellt. Diese lässt sich über HuggingFace herunterladen und lokal installieren. Der Funktionsumfang entspricht etwa dem öffentlichen ChatGPT-Stand von vor einem Jahr.

Marcus stellte jedoch fest, dass sich das ChatGPT-Modell nicht in den FileMaker-Server laden ließ. Die Admin-Konsole zeigte lediglich eine unspezifische Fehlermeldung. Nach einigen Recherchen und Rückfrage bei Claris wurde klar, dass für das neue Modell eine neuere Version der Schnittstelle im Modellserver erforderlich ist. Hier muss Claris mit einem nächsten Update des FileMaker Servers nachbessern.

Marcus wies außerdem darauf hin, dass die geladenen Modelle viel Speicherplatz auf der Festplatte des Servers belegen, auch wenn sie deaktiviert oder entladen wurden. Hier muss man selber aufräumen, da der FileMaker-Server die Modelle nach dem Entladen nicht komplett löscht. Die Modelle befinden sich in einem unsichtbaren Verzeichnis unter folgendem Pfad: Library/FileMakerLLM/.cache/huggingface/hub/

Insgesamt eröffnet der Betrieb lokaler Modelle einige interessante Anwendungsfälle. Weitere Infos finden sich unter den folgenden Links.

Hugging Face
https://huggingface.co

OpenAI gpt-oss
https://huggingface.co/openai/gpt-oss-20b

FileMaker 22 and AI on FMS with Wim Decorte - Types of Models
https://youtu.be/4G4H0uwRfDk?si=Q25nEywc6nNF-Lnt&t=1921