CyberMim

System wspomagający naukę języka migowego

Członkowie: Kamil, Maciej, Bartosz oraz Jakub

Opiekun: Arkadiusz Warzyński

Cele projektu

Głównym celem biznesowym projektu jest poprawa dostępności edukacji języka migowego, a także zwiększenie efektywności nauki poprzez stworzenie systemu wspierającego naukę języka migowego. Z punktu widzenia użytych technologii, projekt ma na celu zintegrowanie trzech innowacyjnych urządzeń (Teslasuit, SenseGloves oraz MetaQuest) w jeden spójny system, który będzie zawierał moduły odnośnie: pobierania danych, przetwarzania danych, zarządzania użytkownikami, zbudowania aplikacji, wyświetlania aplikacji w wirtualnej rzeczywistości oraz ewaluacji służącej do informacji zwrotnej. Nasz projekt ma na celu udostępnienie nowoczesnych narzędzi nauki i treningu gestów.

Zakładamy realizację następujących zadań: integracja urządzeń Teslasuit i SenseGloves oraz danych z nich pochodzących, integracja warstwy obliczeniowej z warstwą wizualną, implementacja algorytmów ewaluacji, zapewnienie możliwości nagrywania oraz odtwarzania nagranych ruchów, a także opracowanie mechanizmu informacji zwrotnej, która ma być zrozumiała dla użytkownika. Z aspektów organizacyjnych do naszych zadań należy: zarządzanie współpracą między członkami, planowanie harmonogramu oraz dokumentacja postępów.

Rezultatem projektu będzie działający prototyp systemu pozwalającego na nagrywanie ruchów, odtwarzanie ich, a także otrzymywanie informacji zwrotnej na temat poprawności wykonanych ruchów.

Weryfikacja odbędzie się poprzez testy jednostkowe, manualne oraz integracyjne.

Opis projektu

Projekt ma za zadanie umożliwić użytkownikowi naukę nagranych gestów, koncentrując się na wsparciu nauki języka migowego. Obecna edukacja opiera się w głównej mierze o materiały wideo, nauczycieli lub proste aplikacje. Wprowadzenie immersyjności do wykonywania ruchów może przynosić lepsze rezultaty. Samodzielnie trudno jest zweryfikować poprawność wykonywanych ruchów, co w przyszłości może przynosić szkody - projektowany system będzie dawał informację zwrotną o poprawności, czego brakuje też w obecnych rozwiązaniach.

Artefakty

Końcowym produktem projektu jest system cyfrowego bliźniaka, w którego skład wchodzi aplikacja mobilna na VR oraz infrastruktura łącząca strumienie danych z sensorów ruchu urządzeń ubieralnych dwóch różnych firm - do wspomagania nauki wykonywania gestów na przykładzie języka migowego

Narzędziami wspierającymi w projekcie są głównie skrypty prototypowe - dzięki nim sprawdzamy różne koncepcje, skuteczność prostych algorytmów dla naszych problemów oraz np. wizualizujemy dane w celu potwierdzenia ich poprawności. Wyróżniamy też skrypty instalacyjne/infrastruktury, które uruchamiają odpowiednie usługi na komputerze lokalnym użytkownika, pozwalając na wykorzystanie sprzętu ubieralnego. Poza tym zostaną użyte skrypty testowe

Funkcjonalności

widok pozwalający na obejrzenie i odtworzenie gotowego zestawu ruchów
widok pozwalający na nagrywanie, zapisywanie i udostępnianie sekwencji ruchów
podstawowe mechanizmy ewaluacji oceniające poprawność wykonywanych ruchów względem przygotowanych wzorów
zarządzanie użytkownikami

Odbiorcy

Docelowymi beneficjentami naszego projektu są przede wszystkim osoby chcące nauczyć się nowych gestów, na przykład takich, które występują w PJM (Polski język migowy), a także śledzić postęp nauki. Projekt CyberMim jest natomiast stworzony z myślą o rozbudowie gestów wykraczających poza zakres języka migowego, dzięki funkcjom nagrywania i odtwarzania ruchów. Taka struktura projektu pozwala na naukę niemal nieograniczonej ilości różnych ruchów, które mogą znaleźć zastosowania w wielu różnych dziedzinach - na przykład rehabilitacji.

Technologie

Mapa drogowa

Repozytoria