35. Merkblatt zu Lives MIDI-Engine

Im Zusammenhang mit den Tests der Audio-Engine hat Ableton auch Lives MIDI-Timing analysiert und - wo erforderlich - Verbesserungen vorgenommen. Wir haben dieses Merkblatt geschrieben, um den Anwendern beim Verständnis der Probleme zu helfen, die es beim Einrichten eines zuverlässigen und akkuraten Rechner-basieren MIDI-Systems gibt. Gleichzeitig wollen wir erläutern, welchen Ansatz Live zum Lösen dieser Probleme verfolgt.

Anmerkung: Die in diesem Merkblatt besprochenen MIDI-Timingprobleme betreffen Anwender mit hochwertiger Audio- und MIDI-Hardware im Allgemeinen nicht. Falls Sie bereits Geld und Zeit in die Optimierung dieser Faktoren Ihres Studios investiert haben und keine Probleme mit MIDI-Timing haben, werden Sie diese Informationen wahrscheinlich nicht benötigen.

35.1 Ideales MIDI-Verhalten

Um zu verstehen, wie MIDI innerhalb einer digitalen Audio-Workstation (DAW) funktioniert, ist es hilfreich, sich einige gebräuchliche Begriffe und Konzepte zu vergegenwärtigen. Eine DAW muss in der Lage sein, drei verschiedene MIDI-bezogene Szenarien zu bewältigen:

1. 1) Beim Aufnehmen müssen MIDI-Noten und -Controller-Informationen, die von einem Hardware-Gerät (etwa einer MIDI-Tastatur) gesendet werden, in einer DAW gespeichert werden. Eine ideale Aufnahme-Umgebung würde diese empfangenen Informationen mit perfektem Timing in Beziehung zum Zeitlineal des Songs aufzeichnen -- genauso akkurat wie eine Audioaufnahme.
2. 2) Bei der Wiedergabe hat man es in einer DAW mit zwei verwandten Szenarien zu tun. Das erste bezieht sich auf das Senden der MIDI-Noten und -Controller-Informationen von der DAW zu einem Hardware-Gerät, etwa einem Synthesizer. Das zweite bezieht sich darauf, dass gespeicherte MIDI-Informationen innerhalb des Rechners in Audiodaten umgewandelt werden, die von einem Plug-in-Gerät wie zum Beispiel dem Synthesizer Operator wiedergegeben werden. In beiden Fällen würde eine ideale Wiedergabe-Umgebung eine perfekte Reproduktion der gespeicherten Informationen ausgeben.
3. 3) Beim Spielen in Echtzeit werden die von einem Hardware-Gerät (etwa einer MIDI-Tastatur) gesendeten MIDI-Noten und -Controller-Informationen in die DAW und dann in Echtzeit weiter an einen Hardware-Synthesizer oder an ein Plug-in innerhalb der DAW geleitet. Eine ideale Umgebung für das Spielen in Echtzeit würde sich genauso akkurat "anfühlen" und so schnell ansprechen wie ein physikalisches Instrument, etwa ein Klavier.

35.2 MIDI-Timingprobleme

Die Wirklichkeit von Rechner-basiertem MIDI ist komplex und schließt so viele Variablen ein, dass die oben beschriebenen idealen Szenarien unmöglich umzusetzen sind. Es gibt zwei fundamentale Probleme:

1. 1) Latenz bezeichnet die konstante Verzögerung, die einem System innewohnt. Sie ist in einer DAW ein typisches Problem, da Audiodaten nicht einfach in Echtzeit von oder zu einer Audio-Hardware geleitet werden können, sondern gepuffert werden müssen. Doch selbst akustische Instrumente besitzen eine gewissen Latenz; bei einem Klavier beispielsweise gibt es eine kleine Verzögerung zwischen dem Anschlagen einer Taste und dem Moment, in dem der Hammer tatsächlich die Saite in Schwingung versetzt. Im Hinblick auf das Spielen des Instruments ist eine kleine Latenz im Allgemeinen kein Problem, da Musiker üblicherweise das Timing ihres Spiels so anpassen können, dass die Verzögerung kompensiert wird -- vorausgesetzt sie ist konstant.
2. 2) Jitter bezeichnet eine nicht konstante oder zufällige Verzögerung in einem System. In einer DAW kann dies ein heikles Problem sein, da unterschiedliche Funktionen innerhalb des Systems (zum Beispiel MIDI, Audio und die Benutzeroberfläche) separat abgearbeitet werden. Dabei muss oft Information von einem solchen Prozess zu einem anderen übertragen werden -- zum Beispiel dann, wenn MIDI-Daten in die Wiedergabe eines Plug-ins umgewandelt werden. Ein Jitter-freies MIDI-Timing erfordert eine akkurate Umwandlung der Takte von verschiedenen Komponenten des Systems -- des MIDI-Interfaces, des Audio-Interfaces und der DAW selbst. Die Genauigkeit dieser Umwandlung hängt von verschiedenen Faktoren ab, darunter das Betriebssystem und die verwendete Treiberarchitektur. Jitter erzeugt viel stärker als Latenz den Eindruck, dass das MIDI-Timing ungenau oder "schlampig" ist.

35.3 Lives Lösungsansätze für MIDI

Abletons Ansätze hinsichtlich des MIDI-Timings basieren auf zwei entscheidenden Annahmen:

1. Latenz ist Jitter in jedem Fall vorzuziehen. Da Latenz konstant und vorhersehbar ist, können sowohl Rechner als auch Mensch besser damit umgehen.
2. Wenn Sie während des Spielens in Echtzeit auch aufnehmen, dann werden Sie das aufnehmen wollen, was Sie hören -- auch wenn dies, wegen der Latenz, etwas später eintritt als das, was Sie spielen.

Live geht mit den Problemen beim Aufnehmen, Wiedergeben und Spielen in Echtzeit so um, dass das MIDI-Timing akkurat und die Verzögerungen klein und zuverlässig konstant sind. Damit empfangene MIDI-Ereignisse an der korrekten Position des Zeitlineals in einem Live-Set aufgezeichnet werden können, muss Live genau wissen, wann diese Ereignisse von der MIDI-Tastatur empfangen wurden. Live kann diese Ereignisse jedoch nicht direkt empfangen -- sie müssen zunächst vom MIDI-Interface-Treiber und vom Betriebssystem verarbeitet werden. Um dieses Problem zu lösen, versieht der MIDI-Interface-Treiber alle MIDI-Ereignisse beim Empfang mit einem Zeitstempel. Diese Zeitstempel werden zusammen mit den Ereignissen an Live übermittelt, sodass Live genau weiß, an welcher Stelle des Clips die Ereignisse eingefügt werden sollten.

Beim Spielen in Echtzeit muss eine DAW ständig mit Ereignissen umgehen, die so schnell wie möglich hörbar werden sollen, die aber aufgrund der Latenz und der Verzögerungen im System unvermeidlich in der Vergangenheit aufgetreten sind. Hier muss eine Entscheidung getroffen werden: Sollen die Ereignisse im Moment ihres Empfangs gespielt werden (was zu Jitter führen kann, falls das System in diesem Moment gerade stark belastet ist) oder sollen sie verzögert werden (was die Latenz erhöht)? Ableton hat sich für eine erhöhte Latenz entschieden, da wir der Meinung sind, dass es für die Anwender einfacher ist, sich auf eine konstante Latenz als auf zufälligen Jitter einzustellen.

Ist das Monitoring während der Aufnahme aktiviert, fügt Live den Zeitstempeln der Ereignisse eine zusätzliche Verzögerung hinzu, die der Puffergröße Ihrer Audio-Hardware entspricht. Diese hinzugefügte Latenz macht es möglich, die Ereignisse zu dem Zeitpunkt in den Clip aufzunehmen, in dem Sie sie hören -- und nicht zu dem Zeitpunkt, in dem Sie sie spielen.

Beim Spielen externer Hardware-Geräte erzeugt Live ebenfalls Zeitstempel, die es an den MIDI-Interface-Treiber zu kommunizieren versucht, damit dieser die ausgehenden Ereignisse entsprechend ausgeben kann. MME-Treiber unter Windows können jedoch keine Zeitstempel verarbeiten. Für Geräte, die diese Treiber verwenden, verwaltet Live die ausgehenden Ereignisse intern.

Live empfängt auch dann ankommende MIDI-Ereignisse, wenn die Systemlast so hoch ist, dass es zu Audio-Aussetzern kommt. Während solchen Audio-Aussetzern kann es beim Spielen in Echtzeit zu Timingfehlern und Verzerrungen kommen, aber Live sollte die MIDI-Ereignisse trotzdem weiterhin korrekt in die Clips aufnehmen. Nachdem sich das System von den Aussetzern erholt hat, sollte die Wiedergabe dieser aufgezeichneten Ereignisse akkurat sein.

35.4 Variablen außerhalb von Lives Kontrolle

Zeitstempel sind im Allgemeinen ein sehr zuverlässiger Mechanismus für den Umgang mit dem Timing von MIDI-Ereignissen. Allerdings sind Zeitstempel nur auf die Daten innerhalb des Rechners anwendbar. MIDI-Daten außerhalb des Rechners können diese Information nicht nutzen, darum werden von externer Hardware gesendete oder empfangene Daten im Moment des Auftretens von der Hardware verarbeitet und nicht nach Maßgabe von Zeitstempeln. Zudem arbeiten MIDI-Kabel seriell, es wird also immer eine Information nach der anderen übertragen. In der Praxis bedeutet dies, dass mehrere gleichzeitig gespielte Noten nicht gleichzeitig, sondern nacheinander durch ein MIDI-Kabel übertragen werden. In Abhängigkeit der Anzahl von Ereignissen kann dies zu MIDI-Timingproblemen führen.

Ein anderes Problem, dass insbesondere bei Synthesizern aus der Frühzeit von MIDI auftreten kann, ist die vergleichsweise niedrige Scan-Frequenz der Geräte. Die Scan-Frequenz kennzeichnet die Häufigkeit, mit der der Synthesizer seine eigene Tastatur nach Betätigungen abfragt. Ist diese Abfragehäufigkeit zu gering, kann dies zu Jitter führen.

Natürlich können sich solche Timingprobleme im Zusammenhang mit Hardware multiplizieren, falls weitere Geräte zu der Kette hinzugefügt werden.

In Abhängigkeit der MIDI-Hardware-Qualität, von Fehlern in der Treiber-Programmierung etc. kann auch innerhalb des Rechners die Genauigkeit von Zeitstempeln stark variieren. Live muss annehmen, dass die Zeitstempel empfangener MIDI-Ereignisse akkurat sind und dass ausgegebene Ereignisse von externer Hardware akkurat verarbeitet werden. Beides kann Live jedoch nicht verifizieren.

Tests und Ergebnisse

Unser Aufbau für den Test des Timings von empfangenen MIDI-Ereignissen ist im folgenden Diagramm dargestellt:

Der Ausgang einer MIDI-Quelle (eine Tastatur oder eine andere DAW, die lange Sequenzen zufälliger MIDI-Noten abspielt) wird in einen latenzfreien MIDI-Splitter geleitet. Ein Ausgang des Splitters wird in einem neuen MIDI-Clip in Live aufgenommen. Der andere Ausgang wird in einen MIDI-zu-Audio Konverter geleitet. Dieses Gerät wandelt das elektrische Signal von der MIDI-Quelle in einfaches Audio-Rauschen um. Da das Gerät die MIDI-Daten nicht interpretiert, führt es diese Umwandlung ohne jede Latenz aus. Der Ausgang des Konverters wird dann in einem neuen Audio-Clip in Live aufgenommen. In einem idealen System müsste jedes MIDI-Ereignis zeitgleich mit dem entsprechenden Ereignis im Audio-Clip auftreten. Der Zeitunterschied zwischen dem MIDI- und dem Audio-Ereignis kann also gemessen werden, um Lives Genauigkeit zu bestimmen.

Um Lives MIDI-Verhalten unter verschiedenen Bedingungen beurteilen zu können, haben wir alle Tests mit drei verschieden teuren kombinierten Audio/MIDI-Interfaces getestet, alle von bekannten Herstellern. Alle Tests wurden bei einer CPU-Belastung von etwa 50% sowohl auf macOS- als auch auf Windows-Rechnern durchgeführt, einmal mit 44.1 und einmal mit 96 kHz Sampling-Rate, jeweils bei drei verschiedenen Audio-Puffergrößen -- insgesamt waren es 36 einzelne Tests.

Windows:

• Interface A: Der maximale Jitter lag bei +/- 4 mS, der Hauptteil des Jitters bei +/- 1 mS.
• Interface B: Bei den meisten Tests lag der maximale Jitter bei +/- 3 oder 4 mS. Bei 96 kHz und einer Puffergröße von 1024 Sample gab es eine geringe Anzahl von Ereignissen mit einem Jitter von +/- 5 mS. Bei 44.1 kHz und einer Puffergröße von 512 gab es gelegentlich Ereignisse mit +/- 6 mS Jitter. In allen Fällen lag der Hauptteil des Jitters bei +/- 1 mS.
• Interface C: Bei den meisten Tests lag der maximale Jitter bei +/- 5 mS. Bei 96 kHz und einer Puffergröße von 512 Sample gab es eine geringe Anzahl von Ereignissen mit einem Jitter von +/- 6 und 8 mS. Bei 44.1 kHz und einer Puffergröße von 1024 gab es gelegentlich Ereignisse mit +/- 10 mS Jitter. In allen Fällen lag der Hauptteil des Jitters bei +/- 1 mS.

macOS:

• Interface A: Bei 44.1 kHz und einer Puffergröße von 512 Samples war der Jitter ziemlich gleichmäßig zwischen +/- 4 und 11 mS verteilt. Bei allen anderen Tests lag der maximale Jitter bei +/- 5 mS. In allen Fällen lag der Hauptteil des Jitters bei +/- 1 mS.
• Interface B: Bei den meisten Tests lag der maximale Jitter bei +/- 4 oder 5 mS. Bei 44.1 kHz und einer Puffergröße von 512 Samples war der Jitter ziemlich gleichmäßig zwischen +/- 2 und 11 mS verteilt. In allen Fällen lag der Hauptteil des Jitters bei +/- 1 mS.
• Interface C: In allen Tests lag der maximale Jitter bei +/- 1 mS, die meisten Ereignisse traten ohne Jitter auf.

Mit einem ähnlichen Aufbau haben wir auch das Timing gesendeter MIDI-Ereignisse getestet. Der Aufbau ist im Diagramm dargestellt:

In allen Fällen erbrachten die MIDI-Ausgabe-Tests ähnliche Ergebnisse wie die Empfangs-Tests.

35.5 Tipps für ein optimales MIDI-Timing

Um Ihnen beim Erreichen eines optimalen MIDI-Timings mit Live zu helfen, haben wir eine Liste mit empfehlenswerten Vorgehensweisen und Programmeinstellungen zusammengestellt.

• Verwenden Sie die kleinstmögliche Puffergröße für Ihre Audio-Hardware, um die Latenz so gering wie möglich zu halten. Die Einstellmöglichkeiten für den Audio-Puffer sind auf der Audio-Seite von Lives Voreinstellungen zu finden und hängen vom Typ der verwendeten Hardware ab. Mehr Information hierzu finden Sie im Kurs "Einrichten der Audio Ein/Ausgabe."
• Verwenden Sie ein hochwertiges MIDI-Interface mit den aktuellsten Treibern, um zu gewährleisten, dass Zeitstempel so akkurat wie möglich erzeugt und verarbeitet werden.
• Aktivieren Sie das Monitoring der Spur nicht, falls Sie MIDI aufnehmen und das externe Gerät, etwa einen Synthesizer, dabei direkt abhören (im Gegensatz dazu, sein Audiosignal über ein External-Instrument-Gerät durch Live abzuhören). Lassen Sie das Monitoring der Spur auch dann aus, wenn Sie MIDI-Daten aufnehmen, die von einem anderen MIDI-Gerät erzeugt werden (zum Beispiel von einem Drumcomputer). Wenn das Monitoring aktiv ist, fügt Live etwas Latenz hinzu, um den Jitter beim Spielen durch den Rechner zu kompensieren. Darum ist es wichtig, das Monitoring nur dann zu aktivieren, wenn tatsächlich etwas in Echtzeit durch den Rechner gespielt wird.

35.6 Zusammenfassung und Schluss

Ableton hat dieses Merkblatt verfasst, um Anwendern beim Verständnis verschiedener verwandter Punkte zu helfen:

• den inherenten Problemen Rechner-basierter MIDI-Systeme;
• unserem Ansatz zum Lösen dieser Probleme in Live;
• den weiteren Variablen, an denen wir nichts ändern können.

Wie bereits erwähnt, können Sie MIDI-Timingprobleme in Ihrem Studio am besten dadurch vermeiden, dass Sie so hochwertige Hardware-Komponenten wie möglich einsetzen. Mit solchen Komponenten werden alle Software-MIDI-Systeme ohne wahrnehmbare Probleme arbeiten. Anwendern nicht-optimaler Hardware bietet Live trotzdem ein zusätzliches Maß an Genauigkeit durch das Vermeiden von Jitter, wenn auch um den Preis einer geringfügig erhöhten Latenz.

Wir ermuntern Sie in diesem Merkblatt nachzuschlagen, falls Sie Fragen zu Lives Umgang mit MIDI-Timing haben, aber wir freuen uns auch über eine Kontaktaufnahme (siehe https://www.ableton.com/help/), falls Sie Fragen oder Sorgen haben, die hier nicht angesprochen wurden.