DETAILS:
Im Laufe der Jahre erblickten einige neue Stand-Alone-Versionen und letztlich auch eine Plug-In-Variante das Licht der Welt. Dabei wurden das Handling, der Pitchshifting-Algorithmus und einiges mehr stetig verbessert.
Die Musikmesse 2008 in Frankfurt markierte dann für Celemony den bisherigen Höhepunkt öffentlichen Interesses. Publikumszeitschriften wie Der Spiegel, internationale Nachrichtenagenturen und -Sender baten um Interviews – ungewöhnlich für ein Software-Unternehmen aus dem Audiobereich. Was war passiert?
Peter Neubäcker, Celemony-Gründer und geistiger Vater von Melodyne, hatte gerade seine neueste Technologie vorgestellt: Direct Note Access. Und die weitet das Melodyne-Betätigungsfeld auf musikalisch polyphone Passagen aus. Das scheint wie die Überwindung der Physik und rief die Weltpresse auf den Plan. Niemand konnte sich vorstellen, dass es möglich ist, einen gespielten Akkord mithilfe von Software in seine Einzelteile zu zerlegen und die Töne unabhängig zu manipulieren. Neubäcker sprach bei dieser Premiere davon, dass die DNA-Technologie etwas theoretisch Unmögliches tue, das in der Praxis aber gut funktioniere.
Produktstart
Bis zur Produktreife dauerte es nach der Ankündigung der DNA-Technologie noch ein Weilchen. Wie mir Celemony bestätigte, lag das aber nicht daran, dass die neue Technologie nicht rechtzeitig fertig wurde. Die meiste Zeit wurde darauf verwendet, die DNA für den Benutzer gut bedienbar zu gestalten und die Software von Grund auf neu zu programmieren. Seit Herbst 2009 ist Melodyne Editor verfügbar und kommt als Stand-Alone-Software sowie als Plug-In in den Formaten VST, AU und RTAS, selbstverständlich für Windows und Mac. Ein wesentlicher Unterschied: Die Stand -Alone-Version importiert Audiodateien in allen üblichen Auflösungen und Dateiformaten, während beim Plug-In immer eine „Transfer“ genannte Echtzeitüberspielung des Audiomaterials erforderlich ist.
Nach dem Import der Audiodaten nimmt sich Melodyne Editor einen kurzen Augenblick, um das Material zu analysieren. Die Dauer dieses Vorgangs hängt nicht ganz unwesentlich von der Spielzeit der Audiodatei, aber auch der Geschwindigkeit des verwendeten Rechners ab. Anschließend wird das Material in einem Piano-Roll-Editor mit den bekannten Melodyne Blobs dargestellt (siehe Abbildung). Die Software bietet drei verschiedene Algorithmen: „Melodisch“ (natürlich monophon) und „Perkussiv“ gab es schon vorher, neu ist die Variante „Mehrstimmig“ – die mit der DNA-Technologie.
Notenerkennung
Wer Melodyne schon länger benutzt, der weiß, dass der Schlüssel zur erfolgreichen Arbeit in der Notenerkennung liegt. Nur wenn Melodyne alles richtig erkannt hat, was man hört, kann die Bearbeitung optimal verlaufen. Die automatische Erkennung ist gut, aber nicht unfehlbar. Zum Glück gibt es die Möglichkeit, manuell nachzubearbeiten. Bei monophonem Material ist das in der Regel kein Problem. Meist gibt es nur ein paar Töne, die in der falschen Oktave erkannt wurden. Das ist schnell korrigiert. Und zur Sicherheit besitzt Melodyne Editor einen eingebauten Synthesizer, der dem Nutzer die Melodie zur Überprüfung vorspielen kann.
Bei mehrstimmigem Material ist die Notenerkennung eine ungleich komplexere Aufgabe für Melodyne Editor, aber auch für den Benutzer. Erkennt Melodyne Editor bei einem vierstimmigen Akkord nur drei Töne, besteht einer der drei Blobs aus zwei Tönen. Wird dieser Blob verschoben, ändern sich beide Töne, weil Melodyne Editor nicht „weiß“, dass es sich beispielsweise um den gleichen Ton in verschiedenen Oktavlagen handelt. Um gute Ergebnisse zu erzielen, ist es also unerlässlich, gleich nach dem Transfer in den Notenerkennungs-Modus zu wechseln und dort die notwendigen Anpassungen vorzunehmen.
Den Notenerkennungs-Modus erreicht man per Klick auf das Pfeilwerkzeug mit dem +/– Symbol. Zunächst ist es sinnvoll, mit dem Schieberegler die allgemeine Empfindlichkeit der Notenerkennung zu justieren. Ist der Schwellwert richtig gesetzt, hat man anschließend deutlich weniger Arbeit mit einzelnen Noten. Der rechte Teil des Schiebereglers, das Klammer-zu-Symbol, bestimmt dabei die Anzahl der angezeigten potentiellen Noten. Der linke Teil ändert die Wahrscheinlichkeitsschwelle. Zusätzlich gibt es jalousienähnliche Begrenzungen am oberen und unteren Rand der Pianorolle. Damit lässt sich der Bereich begrenzen, in dem Melodyne Editor Noten erkennen soll.
Sobald diese globalen Parameter optimal eingestellt sind, geht es an die Feinarbeit: Jeder sichtbare Blob kann per Doppelklick einzeln inaktiv oder aktiv geschaltet werden. Trotzdem kann es Noten geben, die auch in der feinsten Auflösung nicht als einzelne Note erkannt werden. Auch dafür gibt es eine Lösung: Melodyne Editor zeigt ein „Energiebild“, das einer Wellenformdarstellung ähnelt, wenn die Erkennungs-Empfindlichkeit auf maximal gestellt ist. Das Energiebild zeigt auch solche Noten, die weder als aktiv noch als potentiell erkannt wurden. Ist die fehlende Note identifiziert, lässt sie sich einfach per Doppelklick aktivieren.
Insgesamt ist mir beim Test aufgefallen, dass die Notenerkennung bei polyphonem Material eine sehr komplexe Aufgabe ist, für Melodyne Editor wie den Anwender. Neben der Tonhöhe aller einzelnen Noten geht es auch um die Erkennung der exakten Start- und Endpunkte, welche die Ergebnisse erheblich beeinflussen. Ein geschultes Ohr ist für die Bearbeitung nicht ganz unwichtig. Ich jedenfalls bekam im Laufe der Zeit immer mehr Übung und betrachte die Bearbeitung der polyphonen Notenerkennung als ein neu zu lernendes Handwerk.
Die verschiedenen Melodyne-Werkzeuge
Der Spaß beginnt natürlich erst, wenn die Notenerkennung abgeschlossen ist. Für alle, die sich bisher noch nicht mit Melodyne beschäftigt haben, an dieser Stelle eine kurze Zusammenfassung dessen, was Melodyne schon lange mit monophonem Material machen kann:
Pitchshifting
Die Tonhöhen können verschoben, aber auch quantisiert werden, zum Beispiel zum Stimmen einer Note oder zur Anpassung an verschiedene Skalen. Außerdem lässt sich die Geschwindigkeit eines Tonhöhenübergangs detailliert beeinflussen, vielleicht um möglichst natürliche Ergebnisse zu erzielen. Leichte Tonhöhenschwankungen, wie etwa bei einem Vibrato, lassen sich gezielt verstärken oder abschwächen und die Formanten können unabhängig bearbeitet werden. Das hilft vor allen Dingen bei größeren Tonhöhenveränderungen.
Timing und Lautstärke
Die Start- und Endpunkte der Noten können extrem flexibel beeinflusst werden. Sie können im Timing quantisiert werden, aber auch die Notendauer lässt sich extrem längen oder kürzen. Das Amplituden-Werkzeug macht es möglich, den Pegel jeder Note unabhängig einzustellen – aus meiner Sicht eine in der Praxis nicht zu unterschätzende Funktion.
Neben diesen sehr detaillierten Eingriffsmöglichkeiten gibt es beim Plug-In auch Echtzeit-Drehregler für Pitch, Formant und Amplitude, die sich über die Automation des Sequenzers fernsteuern lassen.
All diese Bearbeitungsmöglichkeiten sind in den vergangenen Jahren immer weiter verbessert worden. Die Qualität der Algorithmen „Melodisch“ und „Rhythmisch“ ist sehr ordentlich und steht an dieser Stelle nicht wirklich zur Debatte. Die spannende Frage lautet: Wie gut arbeiten die genannten Werkzeuge mit polyphonem Audiomaterial im Modus „Mehrstimmig“?
Die Möglichkeiten von Direct Note Access
Direct Note Access ist ohne Übertreibung eine Revolution im Bereich der Audio-Bearbeitung. Während sicherlich jeder Nutzer zu Beginn verschiedene Transpositions- und Timing-Experimente anstellt, lohnt es sich, einen Blick auf mögliche Anwendungen im Alltag zu richten. Hat sich beispielsweise die Gitarre während der Recording-Session verstimmt? Mit Melodyne Editor ist es kein Problem, die verstimmten Töne wieder ins Lot zu bringen. Ähnliches gilt natürlich für Aufnahmen analoger Synthesizer oder anderer Instrumente, die sich leicht verstimmen. Hat der Pianist einzelne Töne in seiner Performance zu laut oder zu leise gespielt? Mit dem Amplituden-Werkzeug sind diese Töne leicht anzupassen. Ebenso einfach ist es, einzelne Noten zu muten, zum Beispiel wenn das Spiel des Pianisten mit der linken Hand im Zusammenhang eher stört. Akkord-Erweiterungen sind genauso so schnell hinzugefügt (durch Kopieren) wie ausgemerzt (durch Muten der Noten). DNA bietet für Audio-Aufnahmen mehr oder weniger alle Möglichkeiten, die dem MIDI-Musiker zur Verfügung stehen.
Damit bieten sich natürlich auch erweiterte Möglichkeiten zur Nutzung von Sample-Librarys, die mehrstimmiges Material enthalten. Zwar sagen die Celemony-Mitarbeiter, dass DNA „nur“ zur Bearbeitung einzelner Instrumente gedacht ist, aber bis zu einem gewissen Grad lassen sich auch Aufnahmen eines Ensembles mit Melodyne Editor bearbeiten. Während das bei kleinen Gruppen (String-Quartett) mehr Erfolg verspricht als bei großem Orchester, sollte man es auf einen Versuch ankommen lassen. Eines geht jedoch nicht: Wenn zwei Instrumente den gleichen Ton in der gleichen Oktavlage spielen, kann auch die DNA-Technologie das Gemisch nicht entwirren. Oder sollte ich besser sagen „noch nicht“? Bislang hat der Entwickler Peter Neubäcker die Physik noch nicht überlistet, aber möglicherweise schafft er das ja noch. Wir werden sehen …
