ABONAMENTE VIDEO REDACȚIA
RO
EN
NOU
Numărul 150
Numărul 149 Numărul 148 Numărul 147 Numărul 146 Numărul 145 Numărul 144 Numărul 143 Numărul 142 Numărul 141 Numărul 140 Numărul 139 Numărul 138 Numărul 137 Numărul 136 Numărul 135 Numărul 134 Numărul 133 Numărul 132 Numărul 131 Numărul 130 Numărul 129 Numărul 128 Numărul 127 Numărul 126 Numărul 125 Numărul 124 Numărul 123 Numărul 122 Numărul 121 Numărul 120 Numărul 119 Numărul 118 Numărul 117 Numărul 116 Numărul 115 Numărul 114 Numărul 113 Numărul 112 Numărul 111 Numărul 110 Numărul 109 Numărul 108 Numărul 107 Numărul 106 Numărul 105 Numărul 104 Numărul 103 Numărul 102 Numărul 101 Numărul 100 Numărul 99 Numărul 98 Numărul 97 Numărul 96 Numărul 95 Numărul 94 Numărul 93 Numărul 92 Numărul 91 Numărul 90 Numărul 89 Numărul 88 Numărul 87 Numărul 86 Numărul 85 Numărul 84 Numărul 83 Numărul 82 Numărul 81 Numărul 80 Numărul 79 Numărul 78 Numărul 77 Numărul 76 Numărul 75 Numărul 74 Numărul 73 Numărul 72 Numărul 71 Numărul 70 Numărul 69 Numărul 68 Numărul 67 Numărul 66 Numărul 65 Numărul 64 Numărul 63 Numărul 62 Numărul 61 Numărul 60 Numărul 59 Numărul 58 Numărul 57 Numărul 56 Numărul 55 Numărul 54 Numărul 53 Numărul 52 Numărul 51 Numărul 50 Numărul 49 Numărul 48 Numărul 47 Numărul 46 Numărul 45 Numărul 44 Numărul 43 Numărul 42 Numărul 41 Numărul 40 Numărul 39 Numărul 38 Numărul 37 Numărul 36 Numărul 35 Numărul 34 Numărul 33 Numărul 32 Numărul 31 Numărul 30 Numărul 29 Numărul 28 Numărul 27 Numărul 26 Numărul 25 Numărul 24 Numărul 23 Numărul 22 Numărul 21 Numărul 20 Numărul 19 Numărul 18 Numărul 17 Numărul 16 Numărul 15 Numărul 14 Numărul 13 Numărul 12 Numărul 11 Numărul 10 Numărul 9 Numărul 8 Numărul 7 Numărul 6 Numărul 5 Numărul 4 Numărul 3 Numărul 2 Numărul 1
×
▼ LISTĂ EDIȚII ▼
Numărul 32
Abonament PDF

Soluții non-invazive ale tehnologiei în domeniul medical (Kinect)

Mursa Bogdan
Software Developer @ Yardi



PROGRAMARE


Este uimitor cât de mult s-a făcut apel la soluții din domeniul tehnologic pentru rezolvarea diferitelor tipuri de probleme care au apărut în ultimii zece ani. Răspunsul la întrebarea "de ce tehnologia?" este cât se poate de evident: trăim într-o perioadă în care totul se rezumă la a lucra cu un volum foarte mare de informații, iar rezultatele trebuie să fie rapide și precise.

Nici domeniul medical nu reprezintă o excepție: specialiștii cer soluții tehnologice pentru a înlocui sau a îmbunătăți vechi procedee existente. De la procesul de analiză a sângelui până la operațiile pe creier, totul este supravegheat și îndrumat de softuri sau dispozitive hardware create special pentru fiecare situație în parte. Investiția materială și intelectuală implicată în dezvoltarea de astfel de soluții este una uriașă, nefiind accesibilă unui simplu programator.

Din fericire însă, deși a trecut relativ neobservată până nu demult, piața gadgeturilor oferă foarte multe soluții cu potențial mare, la prețuri relativ reduse. Afirmația mea, cum că această piață a trecut neobservată, nu este întâmplătoare deoarece aproape tot development-ul soft realizat în domeniul gadgeturilor a fost orientat spre _gaming_sau creat pentru a face mai ușoară viața celui care le folosește. Există tot felul de senzori jucăuși, care mai de care mai interesanți, toți având același scop principal: furnizarea unei experiențe cât mai plăcute utilizatorului, în timp ce acesta își parcurge "misiunea", fie că aceasta are loc în mediul virtual ori în lumea reală. Nu o să enumăr sumedenia de gadgeturi care există, ci mă voi opri direct la Microsoft Kinect.

Kinect-ul este un dispozitiv ce vine la pachet cu Xbox (360 sau One) și care este de fapt o cameră video cu un senzor capabil să detecteze mișcările corpului, scopul lui fiind evident industria jocurilor.

Cum funcționează el de fapt? Ajutându-se de senzorul care calculează rezultatele furnizate de coliziunea razelor infraroșu cu obiectele din fața dispozitivului, acesta creează o hartă de adâncime.

Apoi, cu ajutorul acestei hărți, se identifică cele 20 de puncte ce alcătuiesc scheletul care este folosit pentru reproducerea mișcărilor corpului.

Acest senzor detectează mișcări la o distanță cuprinsă între 0.7 - 6 m. Pe cât posibil, lumina din încăpere trebuie să fie una naturală (menționez aici că pentru Kinect One acest aspect mai reprezintă o problemă atât de mare, după cum afirmă cei de la Microsoft).

Mai mult decât atât, senzorul este capabil să recunoască un număr de aproximativ 100 de puncte la nivelul feței, un lucru foarte important și valoros, deoarece există foarte puține dispozitive care să ofere un asemenea beneficiu la un preț accesibil.

Poate vă întrebați cum am reușit eu să fac legătura între domeniul medical și Microsoft Kinect. Unde este legătura? Povestea mea și a colegilor mei, Rareș Urdea și Bogdan Pop, îndrumați de domnul profesor Dan Mircea Suciu, vă va lămuri nedumerirea.

Acum mai bine de un an, având că scop participarea la unul din cele mai prestigioase concursuri din domeniul software destinate studenților și elevilor numit Imagine Cup, am încercat să găsim o soluție câștigătoare. Însă după multe ședințe de brainstorming, încă nu reușeam să găsim ceea ce credeam noi că ne va ajuta să ajungem până în marea finală. Domnul profesor, având o experiență reușită din anii precedenți la același concurs, ne-a propus această combinație între Kinect și domeniul medical.

Și așa a apărut sMilestone, aplicația medicală care dorește să faciliteze procesul de recuperare a persoanelor ce suferă de paralizii faciale. Mai exact, prin intermediul micilor joculețe din aplicație, se pot înlocui exercițiile ce creează o stare de disconfort pacienților în timpul unei sesiuni de terapie cu jocuri mult mai interactive și mai distractive. Pacientului îi este captată atenția, se pot obține măsurători și statistici mult mai exacte decât prin metodă clasică, iar doctorul poate asista mai mulți pacienți deodată. Dar cel mai important aspect de subliniat este reprezentat de faptul că această soluție este non-invazivă.

Folosindu-ne de capacitatea senzorului de a detecta punctele importante la nivelul feței, am creat algoritmi corespondenți exercițiilor făcute de pacient în timpul unei ședințe de recuperare.

De exemplu, jocul Snakedin aplicația sMilestone permite utilizatorului să controleze șarpele prin două mișcări simple ale gurii: zâmbet - la dreapta, gură deschisă - la stânga. Astfel, în loc ca pacientul să facă aceste exerciții în față unei oglinzi, totul este mult mai captivant ținând cont că totul se bazează pe scoruri și timpi record. Algoritmul care stă în spatele detectării acestor două mișcări este legat de calculul distanței dintre 2 perechi de puncte: 60-64 (colțurile gurii) pentru zâmbet, 62-66 (buza de sus - buza de jos) pentru a deschide gura. În momentul în care se inițializează jocul, se calculează o constantă, o distanță de bază între cele două perechi de puncte, care reprezintă expresia neutră. Apoi, în funcție de cât de tare se distanțează punctele pereche (aceste distanțe variază în funcție de pacient, deoarece nu toți sunt în același stadiu de recuperare), algoritmul stabilește dacă expresia produsă de pacient este un zâmbet sau o mișcare de deschidere a gurii; astfel, pacientul mișcă șarpele pentru a strânge puncte și a stabili noi scoruri record.

Pentru exerciții de genul acesta, după cum spuneam, senzorul și SDK-ul Kinect-ului ne furniza tot ce aveam nevoie. Însă cea mai mare dificultate pe care am întâmpinat-o alături de colegii mei, a fost să creăm un algoritm capabil să detecteze limba. Așa ceva era aproape de neconceput, mai ales că soluția noastră era una care nu implică atașarea de senzori direct pe pielea pacientului.

După mai multe încercări, am reușit într-un final să concepem un algoritm optim și neașteptat de eficient. Stabilind o limită pentru suprafața ce trebuia procesată, mai exact doar pentru zona gurii, și ajutându-ne de harta de adâncime, în momentul în care pacientul scotea limba afară din gură, reușeam să izolăm vârful limbii și să ne folosim de el pentru a detecta orice mișcare al acestuia. Izolarea vârfului limbii este posibilă datorită proprietății hărții de adâncime, care este creată în funcție de distanță în milimetri a obiectelor față de Kinect. În momentul în care limba este scoasă, vârful acesteia este cel mai apropiat punct față de senzor și de aceea îl putem considera în algoritm a fi limba. (Vezi imaginea de mai jos.)

De aici posibilitățile erau nelimitate: pe lângă jocul Dots, care constă într-o minge controlată de limbă ce trebuie să se ferească de alte mingi care se mișcă haotic într-o cutie, sMilestone permite utilizatorului să controleze meniul aplicației cu ajutorul limbii. Acesta este aspectul pe care noi am reușit să îl rezolvăm și care ne-a asigurat un loc printre finaliștii competiției Imagine Cup.

După cum ați putut citi până acum, SDK-ul Kinect-ului furnizează un pachet complet de librării destinate părții de captare a mișcărilor corpului sau feței. De asemenea, acesta deține și suportul pentru partea de recunoaștere a vocii, despre care pot să vă spun că este unul destul de precis; o discuție mai amănunțită despre el ar necesita un alt articol. Partea cea mai importantă ar fi că deocamdată cel mai mare suport îl are in limba engleză, beneficiarul principal pentru care este dezvoltat fiind industria jocurilor, dar este un candidat perfect pentru facilitarea terapiei pacienților ce se află într-un stadiu mai avansat de recuperare (mai exact, se adresează pacienților care pot deja să exerseze pronunția sunetelor/cuvintelor).

Cred că v-am făcut deja suficient de curioși pentru a spera că unii dintre voi veți dori să vă implicați în acest domeniu. Nu pot să vă spun decât că aduce foarte multă satisfacție să știi că poți ajuta un om prin ceea ce îți place să faci cel mai mult.

NUMĂRUL 149 - Development with AI

Sponsori

  • Accenture
  • BT Code Crafters
  • Accesa
  • Bosch
  • Betfair
  • MHP
  • BoatyardX
  • .msg systems
  • P3 group
  • Ing Hubs
  • Cognizant Softvision
  • Colors in projects