Intention-Based
Interface
Unsere Forschungsfrage: Lassen sich Menüstrukturen und Tastenkombinationen durch reine Absicht — semantisch erfasst, KI-vermittelt, lokal ausgeführt — ersetzen, und in welchem Umfang ist diese Substitution belastbar?
Forschungsmatrix
Chat-Eingabe, KI-Vision und Spracheingabe — drei Modalitäten, die wir parallel und in unterschiedlichen Reifegraden untersuchen.
Chat Mode
Das Gehirn
Textbasierter Dialog zwischen Anwender und DAW. Forschungsfrage: Wie reliabel lässt sich musikalische Intention aus freier deutscher Sprache extrahieren — und welche systematischen Grenzen hat dieses Vorgehen bei domänenspezifischer Terminologie?
AI Vision
Die Augen
Screenshot-Analyse, OCR und KI-gestützte Bilderkennung als methodischer Ansatz, um UI-Elemente jenseits offizieller Schnittstellen adressierbar zu machen. Funktioniert die Drei-Tier-Grounding-Kaskade — Accessibility-API → OCR-BBox → Vision-Language-Modell — verlässlich genug für den produktiven Einsatz? Eine offene Frage.
Voice Control
Die Stimme
Sprach-zu-Text-Steuerung als mögliche Erweiterung der Eingabemodalität. Ob und wann diese Modalität sinnvoll erforscht werden kann, hängt von Förderzusagen sowie den Befunden der Chat-Modus-Forschung ab.
Nicht Bestandteil der aktuellen Förderphase. Fortgesetzte Förderung und methodische Vorarbeiten erforderlich.
Alle Befehle auf einen Blick
50 Aktionen · 18 Pre-Intent-Abfänger
Was der Prototyp gegenwärtig dokumentiert demonstriert (Phase 0)
Transport
5 Befehle- „abspielen“Wiedergabe starten
- „stopp“Wiedergabe stoppen
- „aufnahme“Aufnahme starten
- „zurückspulen“An den Anfang springen
- „gehe zu Takt 5“Zu einem Takt springen
Spuren
10 Befehle- „wähle Spur 3“Spur per Nummer wählen
- „wähle Bass“Spur per Name — Fuzzy-Match
- „Spur 2 stumm“Mute
- „Spur 2 solo“Solo
- „Lautstärke auf –6 / lauter 3 dB“Volume absolut + relativ
- „Pan links“Panorama setzen
- „neue MIDI-Spur“Spur anlegen
- „Spur 3 umbenennen Bass“Spur umbenennen
- „nächste Spur“Zur nächsten Spur
- „vorherige Spur“Zur vorherigen Spur
Tempo & Projekt
7 Befehle- „tempo“Tempo abfragen
- „schneller“Tempo +1 BPM
- „langsamer“Tempo –1 BPM
- „tempo auf 140“Tempo setzen
- „speichern“Speichern
- „speichern unter MeinSong“Speichern als
- „metronom / klick“Klick an/aus
Cycle & Loop
3 Befehle- „cycle / loop“Schleife an/aus
- „loop von Takt 5 bis 12“Loop-Bereich setzen
- „cycle bereich“Bereich abfragen
Bearbeiten
2 Befehle- „rückgängig“Undo — Edit-Stack
- „wiederherstellen“Redo
Vision · Bildschirm
7 Befehle- „was siehst du“Screenshot → OCR
- „beschreib“OCR → Vision-Modell Qwen3-VL
- „lies vor“Erkannten Text vorlesen
- „klick auf {X}“Klick — 3-Tier-Kaskade
- „doppelklick auf {X}“Doppelklick
- „rechtsklick auf {X}“Kontextklick
- „wo ist {X}“Position auf dem Schirm finden
Plugins & Sends
9 Befehle- „welche plugins“Plugin-Liste der Spur
- „füge EQ / Compressor hinzu“Plugin einfügen
- „plugin 3 bypass“Bypass per Slot oder Name
- „öffne plugin 3“Plugin-Oberfläche öffnen
- „instrument bypass“Instrument-Slot steuern
- „öffne instrument“Instrument-Oberfläche öffnen
- „welche sends“Send-Liste der Spur
- „send 1 auf –6“Send-Lautstärke setzen
- „send 1 stumm“Send stummschalten
Plugin-Presets
2 Befehle- „plugin presets“Preset-Liste
- „lade preset 5“Preset laden
Import, Export & Status
5 Befehle- „importiere Audio“Audio-Datei importieren
- „exportiere / bounce“Mixdown erzeugen
- „status“Transport-Status ansagen
- „welche spuren“Spurliste vorlesen
- „hilfe“Befehlsübersicht
Wo PapoNox ansetzt
Wie sich der methodische Ansatz von bestehenden Werkzeugen für blinde Anwenderinnen und Anwender unterscheidet — als dokumentierter Forschungsstand, nicht als Produktversprechen.
Alleinstellungsmerkmal
Eine professionelle DAW ohne offene Hersteller-Schnittstelle bildschirmlos bedienbar machen
Logic Pro besitzt — anders als Reaper oder Ableton Live — keine offene Steuerungs-Schnittstelle. PapoNox untersucht, ob sich vergleichbare Tiefe dennoch erreichen lässt: über öffentlich dokumentierte Laufzeit-Schnittstellen, eine Grounding-Kaskade aus Accessibility-API, OCR und Vision-Modell sowie exakte, auditiv bestätigte Werte. Diese Kombination — deutschsprachig, bildschirmlos, jenseits offizieller Schnittstellen — deckt in dieser Form kein bestehendes Werkzeug ab.
| Kriterium | PapoNox | Logic Pro + VoiceOver | OSARA (Reaper) | AbletonMCP | VoiceOver (generisch) |
|---|---|---|---|---|---|
| Ziel-DAW | Logic Pro | Logic Pro | Reaper | Ableton Live | alle Apps |
| Für blinde Bedienung ohne Bildschirm konzipiert | Ja | Teilweise | Ja | Nein | Generisch |
| Deutschsprachige Textbefehle | Ja | Nein | Nein | Teilweise | Nein |
| Exakte Werte (dB/Pan) auditiv bestätigt | Ja | Teilweise | Ja | Nein | Nein |
| Plugin-Parameter semantisch steuerbar | Ja | Mühsam | Teilweise | Nein | Nein |
| UI jenseits offizieller API adressierbar (OCR/Vision) | Ja | Nein | Nein | Nein | Nein |
| Modale Dialoge automatisiert | Ja | Nein | Teilweise | Nein | Nein |
| Funktioniert ohne offene Hersteller-API | Ja | — | — | Nein | — |
Diese Übersicht zeigt den methodischen Forschungsstand (erste Machbarkeit) — kein abgeschlossenes Produkt. „Ja“ bedeutet hier: im Prototyp dokumentiert demonstriert, noch nicht unabhängig validiert.
Methodische Grundprinzipien
Wie wir die Forschungsfrage operativ angehen — vier Prinzipien, die der Prototyp bereits empirisch umsetzt.
On-Device-Inferenz
Lokal & kostenfreiWir nutzen Apples FoundationModels als geräteinternes Sprachmodell — vollständig lokal ausgeführt. Forschungsprämisse: keine Cloud-Anbindung, keine Datenweitergabe, keine laufenden Inferenzkosten.
Process Injection
Direkter Zugriff erforschtDirekte Integration in den DAW-Prozess über Apples dokumentiertes DYLD_INSERT_LIBRARIES sowie die öffentliche Objective-C-Laufzeit — methodischer Ansatz zur Erforschung, in welchem Umfang interne Datenmodelle ohne Zugeständnisse an die Bedienung erschlossen werden können.
Echtzeit-IPC
Niedrige Latenz im FokusBidirektionale Inter-Process-Communication via Unix-Domain-Socket im JSON-Lines-Format. Wir untersuchen, wie niedrig die End-to-End-Latenz bleiben kann, wenn alle Komponenten lokal und synchron operieren.
Privacy by Design
Keine DatenweitergabeForschungsethisches Prinzip: Sämtliche Daten verbleiben auf dem Endgerät der Nutzerin. Kein Account, kein Tracking, kein Upload. Vision-Modul, Sprachmodell und Sprachausgabe operieren ausschließlich lokal.
Vom Chat zur DAW
Vier Schichten. Der Prototyp belegt: Im Prinzip ist das Verfahren tragfähig. Die Detail-Operationalisierung ist Gegenstand der laufenden Forschung.
Chat-CLI
Textbasierte Befehle in deutscher Sprache
PapoNox Core
Intent-Engine + On-Device-LLM-Fallback
IPC-Brücke
Unix-Domain-Socket + JSON-Lines
Logic Pro
Objective-C-Laufzeit + CGEvent-Synthese
Meilensteine
Was bislang erreicht wurde — und was methodisch noch zu vermessen ist.
Architektur-Machbarkeit
- Forschungsfrage präzise formuliert
- Prototyp als dokumentierter Proof-of-Concept
- On-Device-LLM und öffentliche Laufzeit-Schnittstellen empirisch validiert
- Lizenzierung als Open-Source-Forschung (MIT für Code, CC-BY-4.0 für Dokumentation)
DAW-Steuerung — Validierungsphase
- Genauigkeitsvermessung kontinuierlicher Werte über das gesamte Wertespektrum
- Empirische Bestimmung der methodischen Grenzen
- Validierung der Drei-Tier-Grounding-Kaskade (AX → OCR → Vision)
- User-Studien, externes Accessibility-Audit, Konferenz-Einreichung — Förderung in Vorbereitung
Universelle Barrierefreiheit
- Übertragbarkeit der Methodik auf andere geschlossene Anwendungen
- Klassifikation adressierbarer Anwendungs-Domänen
- Kontextsensitivität als offene methodische Forschungsfrage
- Keine Zusage, sondern eine dokumentierte Perspektive
Fragen zum Forschungsprojekt??
Wir forschen offen und methodisch transparent. Schreib uns — wir freuen uns über Feedback, fachlichen Austausch und Kooperationsinteresse.
Kontakt