Usto-mysz pomoże niepełnosprawnym w korzystaniu z komputera

Usto-mysz, nowoczesny interfejs multimedialny, może pomóc osobom sparaliżowanym i o dużym stopniu niepełnosprawności w korzystaniu z komputera. Tym samym ułatwi im kontakt z otoczeniem.

Autorami usto-myszy są prof. inż Andrzej Czyżewski oraz inż. Piotr Dalka z Katedry Systemów Multimedialnych Politechniki Gdańskiej.

Usto-mysz to nowy sposób porozumiewania się człowieka z komputerem. Stwarza możliwość sterowania programem komputerowym za pomocą ruchów ustami. Jednak, jak podkreśla Piotr Dalka, spośród innych urządzeń tego typu wyróżnia go to, że jest bezdotykowy. "Nie wymaga montowania na głowie użytkownika dodatkowych urządzeń, takich jak specjalne kaski czy rurki" - mówi Dalka.
 

Urządzenie zbudowane jest z dwóch części: kamery internetowej, która przechwytuje ruchy twarzy, a w szczególności ruchy ust użytkownika. Drugim elementem jest specjalne oprogramowanie. Przetwarza ono obraz z kamery, wykrywa kształt ust, ich ułożenie i ruch. Odpowiedzialne są za to specjalne algorytmy przetwarzania obrazu. Znalezienie możliwości wykrywania położenia ust, ich konturu, czyli znalezienie krzywej, która pokrywałaby się z kształtem warg było najtrudniejszym i najbardziej innowacyjnym elementem pracy. Ostatecznie zastosowano algorytmy opisujące kształt ust za pomocą elipsy. Wielokrotnie dopasowywano elipsę tak, by pokrywała się z konturami ust użytkowników.
 

W usto-myszy zaimplementowano 3 podstawowe gesty: otwarcie ust, złożenie ust w charakterystyczny dziobek oraz wysunięcie języka. System działa w ten sposób, że poszczególne ruchy ust mogą być przypisane do konkretnych "akcji" - działań podejmowanych przez użytkownika. W ten sposób otwarcie ust można będzie przełożyć na pojedyncze kliknięcie myszy. "Akcje" będą modyfikowane i rozszerzane w zależności od potrzeb osób korzystających z urządzenia. Możliwe będzie przewijanie elementów widocznych na ekranie, poruszanie kółkiem myszy.

Dodatkowym usprawnieniem pracy usto-myszy będą dwa tryby pracy: chwilowy i ciągły. Podczas pracy w trybie chwilowym ruch otwartych ust oznaczał będzie np. pojedyncze kliknięcie klawiszem myszy. Praca w trybie ciągłym może przełożyć się na stałe naciskanie klawisza myszy, co umożliwi np. łatwiejsze przeglądanie stron, usprawni poruszanie się w górę i w dół strony.

Wynalazek może być udoskonalany przez stosowanie dodatkowych aplikacji. Jedną z nich jest komunikator dla osoby sparaliżowanej, która ma kłopoty z mówieniem. Jak opisuje dr Piotr Suchomski "Menu składa się z piktogramów, pod każdym z nich jest umieszczony fragment wypowiedzi. Klikając na poszczególne piktogramy możemy składać całe wypowiedzi: chcę jeść, chcę pić albo podłóż mi poduszkę. Możemy te teksty uzupełniać własnymi wypowiedziami dzięki niewielkiej klawiaturze podobnej do tej, w którą wyposażony jest telefon komórkowy. W urządzenie jest wbudowany syntezator mowy". Prace nad usto-myszą zostały już zakończone, projekt czeka na wdrożenie, czym zajmie się firma Young Digital Planet.

Prace nad usto-myszą zakończyły się - projekt czeka na wdrożenie.