Mateusz Modrzejewski obronił pracę doktorską

Streszczenie: Celem niniejszej rozprawy było przeprowadzenie badań w zakresie zastosowań sztucznej inteligencji do wspierania procesu wytwarzania artystycznych multimedialnych treści muzycznych oraz analizy tych treści. W literaturze szeroko opisane są przełomowe osiągnięcia sztucznych sieci neuronowych zastosowanych do danych ustrukturyzowanych, tekstu, obrazów i materiałów audio. Jest to bardzo dynamicznie rozwijająca się dziedzina badawcza współczesnej informatyki. Niniejsza rozprawa ma na celu wypełnienie wybranych luk we wspomnianych zastosowaniach w kontekście muzyki. Zauważalny w ostatnich latach rozwój wielu nowych architektur głębokich sieci neuronowych był główną inspiracją dla wszystkich prezentowanych eksperymentów. Założone cele zostały osiągnięte poprzez porównanie i zastosowanie różnych architektur sieci neuronowych w kluczowych obszarach tworzenia i analizy treści muzycznych. Wykorzystane zostały również różne reprezentacje treści muzycznych, w tym reprezentacje graficzne oraz MIDI. Zaproponowane zostały dwa modele generatywne, jeden do wytwarzania nowych fraz muzycznych i jeden do transferu stylu muzycznego, jak również rozwiązanie z dziedziny klasyfikacji gatunku muzycznego wraz z rzadko spotykaną w literaturze analizą uzyskanych wyników od strony muzycznej. Proponowane metody zostały porównane z innymi, dostępnymi i opisanymi w literaturze rozwiązaniami. Zaprezentowane w rozprawie rozwiązania zostały zaprojektowane z myślą o niższych wymogach obliczeniowych, niż jest to spotykane chociażby przy ogromnych modelach sieci neuronowych opisywanych w pokrewnych dziedzinach. Zaproponowane rozwiązania mają realny potencjał wdrożeniowy w omawianej dziedzinie i mogą być stosowane do wzbogacenia procesu twórczego w zagadnieniach kompozycji, produkcji i analizy muzyki.

Abstract: The goal of this work was to research and propose new solutions in the field of applications of artificial intelligence algorithms for musical content creation and analysis. Breakthrough achievements of neural networks, as applied to structured data, text, images and various forms of audio, have already been previously described in literature and are a very active area of modern computer science. This thesis aims to fulfill chosen gaps of such applications to music. The rapid development of new deep neural network architectures in the recent years has served as the base inspiration for all presented experiments. In order to achieve the objective of this thesis, several architectures have been used and compared in key areas of musical content creation and analysis, incorporating also the use of various representations of musical content, including graphical representations and MIDI data. Two generative models are proposed, one for content generation and one for musical style transfer, along with a musically informed and explained approach to the issue of music genre classification. The obtained results are compared to ones achieved by existing solutions described in literature. The presented solutions were designed to present a light-weight approach when compared with contemporary huge models, seen in similar issues. The solutions proposed in this thesis are applicable for deployment and enhancement of creative processes in real-world musical content creation.