Nachdem wir uns bei den vergangenen Stammtischen bereits viel mit Online-KI Modellen wie ChatGPT befasst hatten, was es spannend, nun eine Lösung für den lokalen Betrieb eines KI-Modells im Zusammenspiel mit FileMaker kennen zu lernen.

André Kopietz stellte uns eine Demo-Anwendung vor, die er auf seinem MacBook mit den KI Modellen “Llama 2” und “Mistral” umgesetzt hat. Zunächst zeigte André, wie einfach die Installation der lokalen Modelle mit Hilfe des “Ollama” Frameworks ist. Ollama läuft unter MacOS, Windows und Linux und bietet eine ganze Reihe von Modellen für die lokale Installation an.

Für die Einbindung in FileMaker hat André zwei verschiedene Ansätze implementiert. Zum einen den Austausch von Prompts und Ergebnissen über Textdateien, die per Python-Script an das KI-Modell übergeben werden. Zum anderen per HTTP-Request mittels CURL Befehl direkt aus FileMaker. Beide Verfahren bieten prinzipiell die gleiche Funktionalität. Der Vorteil beim Aufruf mittels Python erlaubt jedoch eine asynchrone Übertragung der Ergebnisse, so dass die FileMaker-Anwendung nicht auf die z.T. erst mit deutlicher Verzögerung bereit stehenden Antworten des KI-Modells warten muss.

Die Ausführungsgeschwindigkeit der Abfragen ist dabei stark abhängig von der verwendeten Hardware. Verlässt man sich allein auf die vorhandene CPU des Rechners, können je nach Umfang des Modells und des Prompts deutliche Laufzeiten entstehen. Mehr Performance lässt sich durch die Einbindung einer dafür geeigneten Grafikkarte mit KI-Treibern (z.B. von NVIDIA) erreichen.

In seiner Demo hat sich André von den Claris Beispiel-Dateien inspirieren lassen. Er konnte eindrucksvoll zeigen, dass eine lokale KI in der Lage ist, einige der ChatGPT-Beispiele auszuführen. Darüber hinaus demonstrierte er, wie sich mit dem Mistral Modell Kontakt-Informationen aus einer gescannten Visitenkarte extrahieren lassen.

Weitere Infos finden sich unter den nachfolgenden Links und in den Stammtisch-Folien.

Llama 2
https://llama-2.ai/

Ollama Models
https://ollama.com/library

github: Llama
https://github.com/meta-llama