Modelovanje Gitarskih Pojačala i Efekata u Realnom Vremenu

[Ikkjo]

Tim

• Ilija Kalinić, E9 7/2023
• Petar Kupusarević, E9 5/2023

Definicija problema

• Problem:

  • Napraviti emulaciju gitarskih pojačala i efekata koja bi se mogla koristiti u realnom vremenu.

• Motivacija:

  • Očuvanje audio opreme u digitalnom obliku, mogućnost korišćenja većeg broja opreme u jednom modelu, pravljenje novih efekata i zvukova kombinovanjem različitih modela koji modeluju drugačiju opremu.

• Zbog toga što je problem u domenu zvuka, a planirano je da se modeli proizvedeni rešavanjem problema mogu praktično koristiti, potrebno je napraviti modele koji efikasno mogu raditi sa 44,100 uzoraka u sekundi (i to u realnom vremenu). Zbog toga će biti potrebno da se izaberu modeli sa relativno malim brojem skrivenih slojeva.

• Problem bi bio rešen pristupom black-box audio modelling-a, gde nije poznato kako uređaj funkcioniše, samo su nam dati ulazni i izlazni signal.

• Zbog činjenice da modeli veštačkih neuronskih mreža ne rade dobro sa podacima u domenu audio signala gde je potrebno modelovati uređaj koji efektuje signal na način da efekat traje duže od 50ms, za uređaje koji bi se modelovali bi bili izabrani neki od sledećih:

  • Gitarsko/Bass Pojačalo (sa i bez distorzije)
  • Overdrive pedale i efekti
  • Distortion pedale i efekti
  • Kompresor pedale i efekti
  • Equalizer pedale i efekti
  • Gitarski zvučnici i kabineti
  • Bilo kakav efekat ili uređaj koji kao nuspojavu svog rada ima efekat sličan kao gore naveden

Skup podataka

• Rešavanje problema emulacije gitarskih pojačala i efekata primenom tehnika black-box modelling-a zahteva da postoje neefektovan signal kao ulaz i efektovan signal kao izlaz sa kojim bi se poredio model.

• Skupovi podataka koji imaju neefektovan signal:

  • https://www.idmt.fraunhofer.de/en/business_units/m2d/smt/guitar.html
  • https://www.idmt.fraunhofer.de/en/publications/datasets/bass_lines.html
  • https://drive.google.com/file/d/1Pgf8PdE0rKB1TD4TRPKbpNo1ByR3IOm9/view?usp=drive_link
  • Dodatan skup neefektovanog gitarskog signala koji bi bio ručno pravljen/snimljen

• Skup podataka koji ima efektovan signal bi se ručno pravio, provođenjem neefektovanog signala kroz različite audio uređaje, gitarska/bass pojačala i pedale.

• Skupovi podataka bi bili kombinovani u jedan veći skup, potom na slučajan način podeljeni u podskupove od 80% za trening, 10% za test i 10% za validaciju.

Metodologija

• U radovima koji su rešavali sličan problem [1] [2], korišćene su dva tipa neuronskih mreža, jedna na bazi WaveNet arhitekture, a druga na bazi arhitektura rekurentnih neuronskih mreža od koje postoje dva različita modela, jedan na bazi LSTM a drugi na bazi GRU arhitekture. Ideja je da se naprave 3 deep neural network modela (WaveNet, LSTM i GRU) i da se uporede po brzini inferencije i preciznosti.

• Svaki različit audio uređaj bi trebalo da ima 3 zasebna modela, jedan baziran na WaveNet-u, jedan na LSTM-u i jedan na GRU-u.

Evaluacija - definisati kako planirate da evaluirate vaše rešenje i koju meru/mere performansi planirate da koristite.

• Glavne mere performansi će biti ESR (error-to-signal ratio) loss i MSE (mean squared errror) loss za preciznost modela.
• Za brzinu inferencije modela bi se napravio poseban benchmark za svaki od 3 tipa modela, gde je cilj da model bude što brži na CPU.

[vdragan1993]

Tema odobrena.
Ostavite link ka GitHub repozitorijumu projekta.
Srećan rad.

[Ikkjo]

https://github.com/Ikkjo/neural-fx