it-swarm.com.de

Was ist der beste Weg, um Audio visuell darzustellen?

Ich habe nur einige grundlegende Kurse zur Signalanalyse absolviert, daher fehlen mir möglicherweise einige Dinge.

Rein theoretische Frage:

Welche Methoden gibt es zur Darstellung von Audio?

Welche Methoden könnten zur Darstellung von Audio verwendet werden, genauer gesagt musikalisches Audio?

Bisher ist mir bekannt:

  • Anzeigen der Wellenform (Soundcloud macht dies), meistens nutzlos, außer "Lautstärke" zu sehen.

  • Spektralanalyse ( Beispiel ), gut zum Sehen von Frequenz und "Lautstärke"

Im Wesentlichen frage ich mich, ob es eine Möglichkeit gibt, die Noten, Beats usw. eines Songs visuell zu "sehen".

Auf Anhieb kann ich mir vorstellen, im Laufe der Zeit drei verschiedenfarbige Wellen anzuzeigen, die Höhen, Mitten und Bässe in einem klassenwolkenähnlichen Behälter darstellen, wobei der Abschnitt, der spielt (oder mit der Maus darüber bewegt wird), vergrößert und die umgebenden Wellenformen komprimiert werden die Ecken (wie ein Weitwinkelobjektiveffekt).

BEARBEITEN: Ich weiß nicht, wo dies verwendet werden könnte. Dies ist nur aus meiner Frustration mit der aktuellen Audiovisualisierungstechnologie entstanden.

Ich stelle mir vor, ein 3D-Diagramm einer Spektralanalyse über die Zeit wäre die "beste" Lösung, da Sie alles sehen, aber es ist möglicherweise nicht das eleganteste und möglicherweise nicht für Orte wie Soundcloud portierbar.

Selbst die Analyse des aktuellen Spektrums ist schwer zu entschlüsseln (zu niedriger Pegel für Bilder):

FL Studio wave editor

Ich frage mich im Wesentlichen, was für Gelegenheitsbenutzer und für Leute, die sich im Voraus fragen, wie der Song abgespielt werden könnte, funktionieren könnte.

Dies wurde an DSP gekreuzt :Linksauce

4
dudeofea

Ein bisschen wie ein Joker (eigentlich zwei), aber hast du das gesehen?

Musik mit Farbe und Feuer

Auf die Gefahr hin, noch idiotischer zu klingen, könnte Disney eine gute Inspirationsquelle sein (haben Sie kürzlich 'Dumbo' oder 'Fantasia' gesehen?).

3
Astravagrant

Um Elemente im Song visuell identifizieren zu können, müssen Sie eine Art Mustervergleich zwischen Zeitrahmen (gefilterte Fenster im Fachjargon) und einer größeren Anzahl von Referenzbeispielen durchführen.

Dieser Vorgang wird in der Tat besser in http://dsp.stackexchange.com abgefragt. Nehmen wir jedoch an, dass dies nicht möglich ist. Sie können für jedes Referenzmuster ein vordefiniertes visuelles Symbol verwenden und dann eine Zeitleiste mit anzeigen die identifizierten Symbole (und dies gibt die Antwort an die Domäne von UX zurück).

0
Danny Varod

Ich denke, Sie fragen sich zwei Probleme. Wie man eine Audiodatei vor der Wiedergabe wie Sound aussehen lässt und wie man Audio anzeigt während es wird abgespielt.

Ich kann im ersten Fall nicht viel helfen (obwohl die von Ihnen erwähnte Wellenform als Amateur relativ intuitiv ist), ist die Konvention, die mir für den zweiten Fall bekannt ist, ein VU-Messgerät (entweder eine digitale Darstellung einer alten Schule) Nadel, die sich rotierend bewegt, oder ein einfaches Feld oder einige, die sich während der Audiowiedergabe füllen/aufleuchten).

Diese werden hier in Australien häufig in Nachrichtensendungen verwendet, in denen Telefon-Audio abgespielt wird, um "nur Audio" zu bezeichnen.

0
Kit Grose