Llama

Christian Schmitz präsentierte neue MBS-Plugin-Funktionen für die Integration lokaler Sprachmodelle via llama.cpp direkt in FileMaker. Die Modelle laufen komplett lokal — auf macOS mit Metal-GPU-Beschleunigung, auf Windows über CPU oder optional über Nvidia-GPUs. Lokale KI ohne Cloud In der Live-Demo lud Christian ein 1 GB großes Gemma-Modell von Google und führte es direkt in FileMaker aus. Die Modelle müssen im GGUF-Format vorliegen, Konverter für andere Formate sind verfügbar. Die Implementierung umfasst:...

Nachdem wir uns bei den vergangenen Stammtischen bereits viel mit Online-KI Modellen wie ChatGPT befasst hatten, was es spannend, nun eine Lösung für den lokalen Betrieb eines KI-Modells im Zusammenspiel mit FileMaker kennen zu lernen. André Kopietz stellte uns eine Demo-Anwendung vor, die er auf seinem MacBook mit den KI Modellen “Llama 2” und “Mistral” umgesetzt hat. Zunächst zeigte André, wie einfach die Installation der lokalen Modelle mit Hilfe des “Ollama” Frameworks ist....