Marcel Moré demonstrierte Claude Computer Use – eine neue Funktion, die Anthropic wenige Tage vor dem Stammtisch freigegeben hatte. Das Besondere: Claude kann über diese Funktion den Computer direkt fernsteuern, also Maus und Tastatur bedienen, Fenster erkennen, in Menüs navigieren und Software wie jeder menschliche Anwender bedienen. Die Idee für die Demo war einfach und direkt: Kann Claude auf Zuruf eine komplette FileMaker-Datenbank anlegen – ohne jedes Vorwissen, nur mit einem einzigen Prompt?

Wie Computer Use funktioniert

Computer Use ist in die Claude Desktop App integriert, die es für macOS und Windows gibt. In der App existieren drei Bereiche: Chat (der klassische Dialog), Code (vergleichbar mit Claude Code in einer Sandbox) und Cowork – letzteres ist ein Claude-Agent mit Zugriff auf Skills, Dateisystem und lokale Tools. In Cowork ist jetzt die Computer-Use-Funktion verfügbar.

Damit Claude den Rechner steuern kann, müssen auf dem Mac zwei Systemberechtigungen erteilt werden:

  • Bedienungshilfen – Apple stellt über die Accessibility-API eine maschinenlesbare Repräsentation aller UI-Elemente bereit. Buttons, Menüs, Eingabefelder und Scroll-Bereiche lassen sich darüber gezielt ansteuern, statt allein auf Pixel zu achten.
  • Bildschirmaufnahme – Claude macht zusätzlich Screenshots, um visuell zu erfassen, was aktuell auf dem Bildschirm zu sehen ist.

Nach der Aktivierung erscheint während der Fernsteuerung ein orangener Rahmen um den kompletten Bildschirm – ein visueller Hinweis, dass Claude gerade die Kontrolle übernommen hat. Maus und Tastatur sollte man in dieser Phase nicht nutzen, sonst kommen sich Nutzer und Agent in die Quere.

Zusätzlich lässt sich festlegen, auf welche Anwendungen Claude zugreifen darf, welche Programme ausgeschlossen sind und ob der Rechner während der Fernsteuerung wach gehalten wird.

Die Demo – FileMaker-Datenbank per Prompt

Marcel hatte einen Test-Ordner vorbereitet und im Hintergrund ein leeres FileMaker Pro laufen. Der Prompt war bewusst schlicht:

Erstelle eine FileMaker-Datenbank auf dem Desktop. Erstelle Felder für eine Adressverwaltung, platziere diese auf einem neuen Layout, speichere die Änderungen, lege einen neuen Datensatz an und trage Beispieldaten ein.

Keine Skills, keine detaillierten Anleitungen, keine Vorgaben zur Bedienung. Einfach nur der Prompt – und schauen, was passiert.

Claude begann seine Arbeit mit einer Erkundung des Bildschirms, fragte Schritt für Schritt nach Berechtigungen und arbeitete sich in FileMaker ein. In einem vorab durchgeführten Testlauf kurz vor dem Stammtisch hatte die Demo tadellos funktioniert: Claude öffnete FileMaker, legte die Datenbank an, definierte die Felder per Tastatureingabe, wechselte in den Layout-Modus, selektierte die Felder per Shift-Klick, zog sie per Drag & Drop ins Layout, legte den Datensatz an und trug die Daten ein.

Wenn Zoom sich einmischt

Live beim Stammtisch geriet die Demo allerdings in Schwierigkeiten: Das Zoom-Overlay der Videokonferenz blockierte die Klicks auf den “Erstellen”-Button. Claude versuchte sich durch verschiedene Alternativrouten – über das Menü, per Tastaturkombination, sogar per AppleScript – blieb aber an der Zoom-Overlay-Schicht hängen. Ein typischer Fall von “Vorführ-Effekt”, der die Demo abrupt beendete.

Marcel beschrieb deshalb den erfolgreichen Lauf aus dem Vortest im Detail: Besonders interessant war eine zweite Aufgabe, bei der Claude ein bestehendes Layout als Mobilversion duplizieren und schmaler ziehen sollte. Auch das gelang – zwar nicht pixelgenau, aber die richtigen Schritte waren erkennbar. Auf eine dritte Aufforderung hin recherchierte Claude eine Firmenadresse per Google, besuchte das Impressum der Website und trug die Daten in die Datenbank ein.

Claude Cowork war also in der Lage, eine leere Datenbank-Datei zu erstellen, neue Felder anzulegen mit der richtigen Benennung. Die neuen Felder ins Layout zu ziehen. Den Blätter-Modus zu aktivieren. Einen neuen Datensatz anzulegen und passende Daten in die Felder einzugeben.

Auch die Erstellung eines Scripts war möglich. Hierbei verhaspelte sich der Agent allerdings mehrfach, schaffte es nach mehreren Fehleingaben aber trotzdem die erforderlichen Scipt-Schritte und Parameter zu erstellen. Dies ist somit zwar nicht sonderlich effizient, aber es zeigt, dass der Agent in der Lage ist, sich auch ohne Vorkenntnisse schrittweise bis zum Ziel vorzuarbeiten.

Zugriff auf bestehende Lösungen

Genauso spannend ist der Zugriff auf bestehende Anwendungen. Marcel zeigte einen weiteren Test: Er öffnete eine lokale FileMaker-Lösung - bestehend aus zahlreichen Modulen mit einer Navigations-Palette und gab Claude Zugriff. Die AI beschrieb dann selbstständig, was sie sah – Navigation, Module, Buttons, Datensätze, Tabellen – und begann eigenständig Hypothesen über die Funktionsweise der Anwendung zu bilden.

Ein weiterer Anwendungsfall war eine Kombination aus mehreren Werkzeugen: Marcel hatte sich zuvor mit DuckDB eine Analyse-Umgebung aufgebaut, die das komplette XML einer FileMaker-Lösung in Sekundenbruchteilen durchsuchbar macht. Mit einem einzigen Prompt konnte er Claude dazu bringen, ein bestimmtes Skript über DuckDB zu identifizieren, anschließend per Computer Use ins richtige Modul zu wechseln, den Script Workspace zu öffnen und über die Suche im Script Workspace direkt zu der gefragten Stelle zu navigieren. Das funktionierte auf Anhieb und schließt damit eine noch existierenden Lücke für den AI-gestützten Entwickler-Workflow.

Einordnung und Ausblick

Computer Use ist aktuell behäbig – für produktives Arbeiten im Vergleich zu Jörgs MCP-Ansatz deutlich langsamer. Der große Wert liegt aber darin, dass Claude so eine Brücke bauen kann zu Teilen der FileMaker-Entwicklung, die bisher nicht über APIs zugänglich sind. Alles, was im Script Workspace, in der Datenbankdefinition oder in den Layout-Werkzeugen nur manuell bedient werden kann, rückt plötzlich in Reichweite agentenbasierter Workflows.

Marcel wies darauf hin, dass die Kombination verschiedener Ansätze die eigentliche Richtung ist: Claude plant und analysiert mit schnellen Werkzeugen wie MCP, ai2fm oder XML-Analyse und nutzt Computer Use nur dort, wo es wirklich sein muss – für den letzten Schritt im Interface von FileMaker. Durch passende Skills und Anleitungen kann man der AI Leitplanken geben, um die richtige Abfolge der Schritte zu erlernen.

Vorsicht und Risiken

In einschlägigen Kreisen wird Computer Use aktuell stark gefeiert – als “Moment, in dem die AI unsere Arbeit übernimmt”. Marcel mahnte zur Vorsicht: Es gibt dokumentierte Fälle, in denen das Werkzeug Fehler macht und etwa Dateien löscht. Die Empfehlung: Computer Use zunächst auf einem separaten Rechner oder in einer virtualisierten Umgebung einsetzen, mit begrenzten Zugriffsrechten. Vertrauen lässt sich dann schrittweise aufbauen.

Perspektive

Computer Use öffnet eine neue Dimension für AI-gestütztes Arbeiten mit Desktop-Software – und das nicht nur in FileMaker. Claude kann jedes Programm bedienen, das Betriebssystem nutzen und im Internet recherchieren. In Zukunft könnten statt reiner Coding-Sandboxes auch vollständige virtualisierte Umgebungen mit grafischer Oberfläche zum Einsatz kommen, in denen Agenten komplexe Aufgaben autonom erledigen können.

Als proof of concept zeigt die Demo: Die Lücke zwischen AI-Entwicklung und FileMaker-Programmierung schließt sich – auch an den Stellen, an denen Claris bislang keine API bereitstellt.

Let Claude use your computer in Cowork – Claude Help Center
https://support.claude.com/en/articles/14128542-let-claude-use-your-computer-in-cowork

Claude is now YOUR computer - by Ruben Hassid
https://ruben.substack.com/p/claude-computer