ZPI Day

FS

FastScore

Członkowie:   Karol, Jędrzej, Dawid oraz Dorota
Opiekun:   Aleksandra Kawala-Sterniuk

Cele projektu

Cele biznesowe:

  • Zwiększenie dostępności narzędzi do automatycznej transkrypcji melodii.
  • Ułatwienie nauki muzyki i wspieranie kreatywności użytkowników.
  • Redukcja czasu potrzebnego na tworzenie zapisu nutowego o co najmniej 80%.

Zadania i mierzalne rezultaty:

  • Opracowanie działającej aplikacji webowej i mobilnej.
  • Średni czas konwersji pliku zależy od czasu jego trwania. Dla pliku 5 minutowego czas wynosi poniżej 30 sekund.

Metryki i weryfikacja:

  • Dokładność transkrypcji ~80% dla czystych nagrań monofonicznych.
  • Przeprowadzenie testów z minimum 25 próbkami audio.
  • Porównanie wyników modelu z ręczną transkrypcją muzyków.

Opis projektu

W branży i edukacji muzycznej proces przepisywania melodii z nagrań audio na zapis nutowy jest czasochłonny i wymaga wyćwiczonego słuchu muzycznego.

Problemy użytkowników:

  • Ręczna transkrypcja dźwięku na nuty jest powolna, podatna na błędy i wymaga doświadczenia muzycznego.
  • Brakuje prostych darmowych rozwiązań, które pozwalają szybko uzyskać zapis nutowy z nagrania.

Ograniczenia istniejących rozwiązań:

  • Złożone interfejsy i wysokie koszty licencji.
  • Niska precyzja przy konwersji nagrań z realnych instrumentów.
  • Brak wsparcia dla języka polskiego.

Przykład problemu: Muzyk amator lub uczeń, chcąc zapisać melodię z nagrania gitary lub gwizdu, musi przepisać ją ręcznie, co zabiera nawet kilka godzin. FastScore automatyzuje ten proces w ciągu kilkunastu sekund.

Artefakty

Końcowy produkt to aplikacja w wersji webowej i mobilnej konwertująca plik audio na zapis nutowy z możliwością eksportu do PDF, MIDI oraz MusicXML.

Narzędzia wspierające:

  • Skrypty testowe i zestaw danych testowych.
  • Repozytorium GitHub z kodem i instrukcjami.

Charakterystyka środowiska:

  • System wieloplatformowy: Web, Android.
  • Wymagania: Python 3.10+, Flutter SDK, TensorFlow.
  • Architektura modułowa umożliwiająca dalszy rozwój aplikacji (dodanie kolejnych ekranów).

Odbiorcy

Naszymi odbiorcami będą przed wszystkim osoby związane z tworzeniem muzyki lub szeroko pojętą branżą muzyczną ale również osoby dopiero uczące się podstaw sztuki muzycznej. Wśród nich będą to muzycy, uczniowie i nauczyciele muzyki, będą oni mogli skorzystać z szybkiego zapisu nutowego z nagrań. Twórcy muzyki uzyskają łatwiejszy sposób zapisywania pomysłów melodycznych. Ponadto zespoły edukacyjne mogą integrować FastScore z innymi aplikacjami na przykład platformami e-learningowymi. Szkoły muzyczne, uczelnie i instytucje kulturalne mogą wykorzystywać aplikację do szybkiej analizy i archiwizacji nagrań zaś wspólnoty muzyczne i hobbystyczne zyskują darmowe, łatwo dostępne narzędzie wspierające rozwój muzyczny.

Technologie

GitHub Flutter Jira Figma Confluence Python Dart TensorFlow Visual-Studio-Code-(VS-Code) PyCharm Android-Studio FastAPI
Mapa drogowa
Repozytoria