Christian Schmitz präsentierte neue MBS-Plugin-Funktionen für die Integration lokaler Sprachmodelle via llama.cpp direkt in FileMaker. Die Modelle laufen komplett lokal — auf macOS mit Metal-GPU-Beschleunigung, auf Windows über CPU oder optional über Nvidia-GPUs.

Lokale KI ohne Cloud

In der Live-Demo lud Christian ein 1 GB großes Gemma-Modell von Google und führte es direkt in FileMaker aus. Die Modelle müssen im GGUF-Format vorliegen, Konverter für andere Formate sind verfügbar. Die Implementierung umfasst:

  • Laden der llama.cpp-Bibliotheken und des Modells
  • Konfiguration von Kontextgröße und Session-Parametern
  • Sampler-Definition für die Token-Selektion
  • Chat-Funktionen für Text-Ein/Ausgabe mit Token-Count-Spezifikation

Die benötigten Bibliotheken sind klein — ein Ordner mit ca. 10 DLLs plus Modelldatei. Vorteil der Ansteuerung per MBS ist, dass das verfügbare Backend automatisch erkannt wird. Christian erläuterte, dass llama.cpp ausschließlich GGUF als Container-Format nutzt, intern aber verschiedene Backends unterstützt: Metal am Mac für GPU-Beschleunigung, CPU als Fallback unter Windows.

Kennzahlen:

  • Ein 20B-Parameter-Modell benötigt rund 14 GB Arbeitsspeicher
  • Die Leistung ist stark hardwareabhängig — auf älteren Rechnern oder Intel-Macs kann die Verarbeitung deutlich langsamer sein
  • Christian zeigte den Unterschied zwischen Floating-Point-16-Bit- und quantisierten 4-Bit-Integer-Modellen: Das quantisierte Modell lief spürbar schneller, obwohl beide gleich groß waren 

Vorteile:

  • DSGVO-konforme lokale Verarbeitung sensibler Daten (PDFs, Firmenwissen) ohne Cloud
  • Kostenersparnis gegenüber Cloud-APIs — keine Token-Kosten bei lokaler Ausführung

Weitere MBS-Neuheiten in Version 16.1

Christian kündigte zusätzliche Insert/Update-Funktionen für MBS 16.1 an: SQL-Ergebnisse können im Speicher gehalten und dann per Insert oder Update nach FileMaker oder in eine SQL-Datenbank geschrieben werden — sowohl als reguläre SQL-Ergebnisse als auch in Matrix-Form mit optimierter Speicherablage.

MBS – New in version 16.1 (Pre-Release)
https://www.mbsplugins.eu/newinversion161.shtml

Ausblick

Die lokale KI-Integration eröffnet besonders für FileMaker-Lösungen mit sensiblen Firmendaten interessante Möglichkeiten ohne externe Abhängigkeiten. Je nach Hardware-Ausstattung können unterschiedlich große Modelle zum Einsatz kommen. Durch Fortschritte bei den Modellen sind inzwischen auch Spezial-Anwendungen mit kleineren Modellen lokal möglich. Eine große Auswahl von Modellen steht zum Beispiel auf Hugging-Face für den Download zur Verfügung.

llama.cpp
https://github.com/ggml-org/llama.cpp

Hugging Face
https://huggingface.co