DuckDB

Jörg Köster berichtete von seinen Erfahrungen mit der AI-gestützten Analyse von FileMaker Server Logdateien. Inspiriert von Marcels DuckDB-Ansatz aus dem Vormonat hatte er eine eigene Umgebung aufgesetzt und die Server-Logs per AI analysieren lassen. Analyse mit DuckDB und Claude Code Jörg nutzt Claude Code in Kombination mit DuckDB, um die FileMaker Server Logs systematisch auszuwerten. Claude schrieb dafür ein Python-Skript, das die Log-Zeilen automatisch in eine DuckDB-Datenbank importierte. Ab diesem Punkt konnte Jörg einfach Fragen in natürlicher Sprache stellen – Claude formulierte eigenständig die passenden SQL-Queries, führte sie auf der DuckDB aus und lieferte eine strukturierte Analyse zurück....

Marcel Moré zeigte die weiterentwickelte Architektur seines DuckDB-basierten Analyse-Tools für FileMaker-Lösungen. Im Vergleich zum ersten Teil lag der Fokus diesmal auf dem neuen REST-API als Integrationsschicht und den praktischen Anwendungsmöglichkeiten. Architektur und REST-API Die Pipeline: fmp12 → SaveAsXML → SQL Parser (XPath) → DuckDB (lokale Datei) → REST API → UI / AI Agent Das zentrale SQL-Template für die Konvertierung umfasst mittlerweile fast 2.000 Zeilen — entwickelt im Dialog mit Claude....

Marcel Moré demonstrierte eine innovative Methode, um die interne Struktur von FileMaker-Lösungen zu untersuchen. Dabei kombinierte er die FileMaker-Funktion „Kopie speichern als XML“ (Save Copy as XML) mit der Leistungsfähigkeit von DuckDB, um komplexe Abfragen auf die Metadaten einer Lösung auszuführen. Grenzen herkömmlicher Analyse-Tools FileMaker bietet mit der XML-Speicherung eine umfassende Strukturbeschreibung, die jedes Detail einer Datei – von Tabellendefinitionen und Feldern bis hin zu Scripts, Layout-Objekten und Custom Functions – in einem standardisierten Format abbildet....

Marcel Moré berichtete von aktuellen Neuerungen in DuckDB. Einfache Installation Unter anderem gibt es seit Version 1.2 einen sehr einfachen Installations-Mechanismus auf MacOS und Linux Systemen per CURL Aufruf. Unter einer eigens dafür eingerichteten Domain liegt ein Installer-Script, welches sich ohne sudo-Rechte ausführen lässt: curl https://install.duckdb.org | sh Damit lässt sich eine aktuelle DuckDB Version blitzschnell auf dem eigenen Laptop oder einem Server installieren. Zugriff auf Excel-Dateien integriert Eine weitere Neuerung besteht in der Integration der Excel Extension....

Ausgehend von einem aktuellen Vorfall in einem Projekt erläuterte Marcel Moré die Herausforderungen, welche durch die zunehmende Verwendung von AI-Bots entstehen. Nicht nur die Bots der grossen AI Anbieter, welche zum Training der LLM Sprachmodelle verwendet werden, crawlen beständig das Netz nach Inhalten. Inzwischen beinhalten die ChatBots auch Tools, die für den User eigenständig Inhalte aus dem Netz recherchieren. Die neueste Variante davon sind AI Bots mit Zugriff auf API-gesteuerte Web-Crawler zum Lesen und Verarbeiten kompletter Websites, die sich zunehmender Beliebtheit in der SEO-Szene (Search Engine Optimierer) erfreuen....

Marcel Moré stellte das Tool ‘SQL Workbench’ vor, welches sich zur Darstellung, Analyse und Visualisierung von unterschiedlichen Datenformaten per SQL eignet. Zwar wird das Tool über eine Webadresse im Internet aufgerufen, die Anwendung läuft jedoch per Web-Assembly (WASM) vollständig lokal im eigenen Browser. Es werden also keinerlei Inhalte mit dem Server des Anbieters ausgetauscht. Das Tool basiert im Kern auf der OpenSource Datenbank-Engine DuckDB, welche über ein komfortables GUI im Browser gesteuert wird....

Marcel Moré stellte das Framework Evidence.dev vor, mit welchem sich auf einfache Art und Weise komplexe interaktive Dashboards erstellen lassen. Neben einer Erläuterung von Aufbau und Funktionsweise des Frameworks zeigte Marcel den Prototyp eines eigenen Projekts, das auf Basis von Evidence und DuckDB innerhalb einer bestehenden FileMaker-Lösung umgesetzt wird. Technische Grundlagen Einige Besonderheiten unterscheiden Evidence von anderen verfügbaren Dashboard-Lösungen. Insbesondere die Tatsache, dass jegliche Ausgaben in Form von sehr einfach strukturiertem Code definiert werden, ist zunächst ungewöhnlich, bringt aber eine Reihe von Vorteilen mit sich....

User Interface Practical UI - UI DESIGN BOOK https://www.practical-ui.com Apple Human Interface Guidelines – Menus https://developer.apple.com/design/human-interface-guidelines/menus Dashboards mit Evidence Evidence https://evidence.dev/ Installations-Anleitung https://docs.evidence.dev/install-evidence/ HowTo Guide: Build Your First App https://docs.evidence.dev/build-your-first-app/ Dokumentation https://docs.evidence.dev/ github: evidence https://github.com/evidence-dev/evidence Weitere Links aus dem Chat Implementing Hardware-Friendly Databases with DuckDB co-creator, Hannes Mühleisen Spotify: https://t.co/mAJhkAvBEV Overcast: https://overcast.fm/+ABBSPGdNgQg Youtube: https://youtu.be/pZV9FvdKmLc Parquet https://parquet.apache.org Apache ECharts https://echarts.apache.org/en/index.html Kyubit Business Intelligence https://www.kyubit.com Plotly Open Source Graphing Libraries https://plotly.com/graphing-libraries/ Plotly JavaScript Open Source Graphing Library...

Marcel Moré ergänzte seine Präsentation zu DuckDB vom vorigen FileMaker Stammtisch mit Einblicken in ein Projekt aus der Praxis. Zunächst wurden noch einmal die grundlegenden Schritte erläutert, wie sich DuckDB in einer FileMaker Lösung per REST API integrieren lässt. Eine ausführliche Schritt-für-Schritt Anleitung ist inzwischen online abrufbar: https://blog.marcel-more.de/2024/07/11/building-a-rest-api-for-duckdb/ Marcel berichtete von einem Projekt, das ohne den Einsatz von DuckDB kaum lösbar gewesen wäre. Zu erstellen war eine komplexe Auswertung eines umfangreichen Datenbestands mit mehr als 10 Jahren Transaktionsdaten, die in einer FileMaker Datenbank vorliegen....

Marcel Moré stellte die Datenbank DuckDB vor und zeigte einen Weg, wie sich DuckDB mit einem einfachen Setup per REST API Abfrage mit Hilfe von Node.js in FileMaker integrieren lässt. Anschließend demonstrierte er anhand einiger Beispiele die besonderen Stärken von DuckDB und erläuterte, welche Möglichkeiten sich durch den Einsatz von DuckDB eröffnen. Zunächst ging es um die Frage, was die Besonderheiten von DuckDB ausmacht, und warum man überhaupt eine weitere Datenbank benötigt, um Dinge zu tun, die sich prinzipiell auch in FileMaker lösen lassen....