Hochgeschwindigkeits Gen-AI
Swen Bauer zeigte zum Abschluss des Themenblocks eine beeindruckende Demo: Ein AI-Modell, das komplett in Hardware gegossen – also als ASIC realisiert – wurde. Das Projekt Taalas stammt aus dem Umfeld eines Kunden, dessen Firma Sicherheitstechnik entwickelt. Hardware-beschleunigte AI-Inferenz In der Live-Demo war der Geschwindigkeitsunterschied zu herkömmlichen Modellen sofort sichtbar: Die Antworten erschienen nahezu in Echtzeit, deutlich schneller als bei GPU- oder CPU-basierter Inferenz. Das Modell läuft auf dedizierter Hardware, die speziell für die Ausführung von Sprachmodellen optimiert ist....