Différences entre versions de « Projets:Com'Eyes »
| (33 versions intermédiaires par 3 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
| − | + | {{Infobox projet | |
| + | |Image principale=Com'Eyes.jpg | ||
| + | |Description=Application pour communiquer grâce suivi occulaire fonctionnant avec le capteur Tobii Eye Tracker 4C | ||
| + | |Porteur de projet=Charlotte, Les parents de Charlotte | ||
| + | |Contributeurs=Inès Missoum Benziane, Anissa Lamhaouar | ||
| + | |Fabmanager=Sijobert | ||
| + | |Référent documentation=Erwan Ollive, Sijobert, Inès Missoum Benziane, Anissa Lamhaouar | ||
| + | |Catégorie de handicap=Motricité | ||
| + | |Etat d'avancement=Réalisés | ||
| + | |Statut de la documentation=Complète | ||
| + | |Relecture de la documentation=Non vérifiée | ||
| + | |Durée de fabrication=de 0 à 2 h | ||
| + | |Coût matériel=De 100 à 200 euros | ||
| + | |Niveau=Facile | ||
| + | |Licence=by-sa | ||
| + | |Projet date=2019-03-19 | ||
| + | |Nom humanlab=Humanlab_SP | ||
| + | }} | ||
== Description du projet == | == Description du projet == | ||
| − | Projet Com'Eyes | + | '''''Projet Com'Eyes''''' |
| − | Charlotte souffre d'une pathologie ne lui permettant | + | Charlotte souffre d'une pathologie ne lui permettant de bouger uniquement ses yeux. Ses parents ont découvert le Humanlab Saint-Pierre par l'intermédiaire de Marie-Jo Gaillard, son orthophoniste à l'Institut Saint-Pierre. |
| + | |||
| + | |||
| + | Le besoin: trouver un moyen de communiquer, dire où elle a mal, répondre oui ou non, mais aussi un moyen de s'amuser avec un peu plus d'autonomie, tout en fournissant un moyen de rééducation à son orthophoniste. | ||
| + | |||
| + | |||
| + | Problème: seule solution existante et disponible commercialement trop coûteuse (>10000 €). | ||
| + | |||
| + | Solution? Grâce à l'utilisation d'un capteur de suivi oculaire destiné à la base aux jeux vidéo et au développement d'une application dédiée sous Windows utilisant ce capteur. | ||
| + | |||
| + | |||
| + | L'application Com'Eyes développée dans le cadre du projet de fin d'études d'Ines et Anissa à Polytech Montpellier permet de créer des diaporamas où Charlotte peut fixer des images et déclencher une action en la fixant (ex: fixer un émoticône content, fixer une zone du corps où elle a mal, fixer une note de piano et déclencher le son, fixer la photo de sa sœur et déclencher la synthèse vocale prononçant son prénom...) | ||
| + | |||
| + | == Cahier des charges == | ||
| + | Trouver un moyen : | ||
| + | |||
| + | - pour Charlotte de communiquer en utilisant son regard. | ||
| + | |||
| + | - de fournir à ses parents une solution récréative et ludique pour qu'elle puisse jouer en autonomie. | ||
| + | |||
| + | - de fournir à son orthophoniste un moyen de rééducation. | ||
[[File:DSC00013.jpg|right|thumb]] | [[File:DSC00013.jpg|right|thumb]] | ||
| − | + | ||
| + | Contraintes : | ||
| + | |||
| + | - solution accessible financièrement | ||
| + | |||
| + | - utilisable à la fois par les parents, par le soignant et par le porteur de projet (i.e. Charlotte). | ||
| + | |||
| + | - peut être embarqué sur son fauteuil roulant (solution mobile) ou bien installer en fixe. | ||
| + | |||
| + | - compatible avec le port de lunettes. | ||
| + | |||
| + | - doit être évolutif et personnalisable. | ||
| + | |||
| + | |||
| + | Comment ? | ||
| + | |||
| + | - en utilisant un capteur Tobii Eye Tracker 4C de suivi oculaire destiné aux jeux-vidéo. | ||
| + | |||
| + | - en programmant un logiciel permettant de récupérer l'info de suivi oculaire et de l'utiliser pour déclencher des actions. | ||
| + | |||
| + | - le logiciel est constitué de diaporamas où l'utilisateur peut charger des images, les classer par thêmes, choisir l'action engendrée par la fixation de l'image : jouer un son, faire prononcer une phrase à l'ordinateur, animer l'image (.gif)...etc | ||
== Analyse de l'existant == | == Analyse de l'existant == | ||
| + | |||
| + | Les solutions de tracking oculaire (ou suivi oculaire) sont essentiellement basées sur la reconnaissance du mouvement des yeux par un dispositif optique. Il est également possible de suivre le mouvement du regard en enregistrant l'activité myoélectrique des muscles de la commande oculaire. | ||
| + | |||
| + | Concernant le suivi par dispositif optique, on peut trouver des lunettes intégrant une caméra (ex: SMI Eyeglasses) ou un système infrarouge (ex: Tobii Pro Glasses). Utilisable uniquement par des personnes ne portant pas de lunettes de vue. Il existe également des capteurs à positionner en bas de l'écran d'un ordinateur, ex: Tobii Eye Tracker 4C, destinés par exemple aux jeux vidéos. | ||
| + | |||
| + | Certains dispositifs ont été spécialement conçu pour des personnes atteints de déficiences et servent notamment à contrôler l’ordinateur, comme on le ferait avec une souris ou un clavier traditionnel, permettant ainsi aux personnes atteintes de troubles physiques et cognitifs d’acquérir de l’autonomie. Le modèle I-15+ de chez Tobii en fait partie, c'est un terminal de communication mobile et résistant, cependant le coût de cette solution est inaccessible pour nos porteurs de projet. | ||
| + | |||
| + | Quant à l'utilisation d'électrodes EMG positionnées afin d'enregistrer l'activité oculomotrice de Charlotte, cette solution est parue trop erratique et surtout inadaptée à un usage quotidien (nécessité de renouveler les électrodes, les positionner au bon endroit, le signal varie en fonction de l'environnement et d'autres paramètres électrophysiologiques, nécessité de calibrer régulièrement le système, etc...). | ||
| + | |||
| + | |||
| + | Liens divers: | ||
| + | |||
| + | https://www.rehab.research.va.gov/jour/08/45/1/pdf/Chin.pdf | ||
| + | |||
| + | https://www.tobiidynavox.com/fr/devices/commandes-oculaires/i-15-communicator/ | ||
| + | |||
| + | https://www.tobiidynavox.com/fr/apropos/about-us/fonctionnement-de-la-commande-oculaire/ | ||
| + | |||
| + | https://www.tobiipro.com/fr/produits/tobii-pro-glasses-2/ | ||
== Equipe (Porteur de projet et contributeurs) == | == Equipe (Porteur de projet et contributeurs) == | ||
| − | * Porteurs du projet : Charlotte | + | * Porteurs du projet : '''''Charlotte et ses parents.''''' |
| − | * Concepteurs/contributeurs : Inès Missoum Benziane et Anissa Lamhaouar (Etudiantes Polytech Montpellier) | + | * Concepteurs/contributeurs : '''''Inès Missoum Benziane et Anissa Lamhaouar (Etudiantes Polytech Montpellier)''''' |
| − | * Animateur (coordinateur du projet):Marie-Jo Gaillard (Orthophoniste Institut Saint-Pierre) | + | * Animateur (coordinateur du projet): '''''Benoît Sijobert et Marie-Jo Gaillard (Orthophoniste Institut Saint-Pierre)''''' |
| − | * Fabmanager référent:Benoît Sijobert | + | * Fabmanager référent: '''''Benoît Sijobert''''' |
| − | * Responsable de documentation: Erwan | + | * Responsable de documentation: '''''Erwan Ollive & Benoît Sijobert (wiki) et Inès Missoum Benziane & Anissa Lamhaouar (doc technique, utilisateur et documentation code)''''' |
== Matériel nécessaire == | == Matériel nécessaire == | ||
| − | Capteur Tobii Eye Tracker 4C | + | * Capteur Tobii Eye Tracker 4C |
| − | |||
https://www.amazon.fr/TOBII-Tracker-Informatique-Suivant-Regard/dp/B01MAWPMXQ | https://www.amazon.fr/TOBII-Tracker-Informatique-Suivant-Regard/dp/B01MAWPMXQ | ||
| − | + | * Pour utiliser cette application il faut un '''PC équipé de Windows 10'''. De préférence hybride (transformable en tablette tactile) ou éventuellement une tablette afin d'exploiter le côté tactile. | |
| + | Suggestion: https://www.lenovo.com/fr/fr/laptops/yoga/yoga-c-series/Lenovo-Yoga-C740-15/p/88YGC701293 | ||
==Coût== | ==Coût== | ||
Coût du Tobii Eye Tracker 4c: 169 € | Coût du Tobii Eye Tracker 4c: 169 € | ||
| − | |||
| − | |||
==Fichiers source== | ==Fichiers source== | ||
| − | + | * Guide d'installation et d'utilisation du logiciel Com'Eyes : | |
| − | + | [[Media:guide d'utilisation.pdf]] | |
| − | |||
| − | |||
| − | [[ | ||
| − | |||
| − | |||
| − | |||
| − | [[:File: | + | * Fichiers d'installation pour PC équipé d'une architecture 64 bits (x64) : |
| + | [[:File:x64-20200608T130328Z-001.zip]] | ||
| − | [[:File: | + | * Fichiers d'installation pour PC équipé d'une architecture 32 bits (x86) : |
| + | [[:File:x86-20200608T130357Z-001.zip]] | ||
| + | * Rapport de synthèse du projet étudiant : | ||
| + | [[:File:Rapport de Synthèse - LAMHAOUAR-MISSOUM.pdf]] | ||
| + | * Rapport technique du projet étudiant : | ||
| + | [[:File:Rapport Technique -LAMHAOUAR-MISSOUM.pdf]] | ||
| Ligne 52 : | Ligne 126 : | ||
| − | [[ | + | [[File:DSC00019.jpg|center|thumb]] |
| − | |||
Version actuelle datée du 7 novembre 2022 à 14:19
| Com'Eyes
| |
|---|---|
| Informations | |
| Description | Application pour communiquer grâce suivi occulaire fonctionnant avec le capteur Tobii Eye Tracker 4C |
| Catégorie | Motricité |
| Etat d'avancement | Réalisés |
| Techniques | |
| Durée de fabrication | de 0 à 2 h |
| Coût matériel | De 100 à 200 euros |
| Niveau | Facile |
| Licence | by-sa |
| Date de création | 2019-03-19 |
| Équipe | |
| Porteur de projet | Charlotte, Les parents de Charlotte |
| Contributeurs | Inès Missoum Benziane, Anissa Lamhaouar |
| Fabmanager | Sijobert |
| Référent documentation | Erwan Ollive, Sijobert, Inès Missoum Benziane, Anissa Lamhaouar |
| Nom humanlab | Humanlab_SP |
| Documentation | |
| Statut de la documentation | Complète |
| Relecture de la documentation | Non vérifiée |
Description du projet
Projet Com'Eyes
Charlotte souffre d'une pathologie ne lui permettant de bouger uniquement ses yeux. Ses parents ont découvert le Humanlab Saint-Pierre par l'intermédiaire de Marie-Jo Gaillard, son orthophoniste à l'Institut Saint-Pierre.
Le besoin: trouver un moyen de communiquer, dire où elle a mal, répondre oui ou non, mais aussi un moyen de s'amuser avec un peu plus d'autonomie, tout en fournissant un moyen de rééducation à son orthophoniste.
Problème: seule solution existante et disponible commercialement trop coûteuse (>10000 €).
Solution? Grâce à l'utilisation d'un capteur de suivi oculaire destiné à la base aux jeux vidéo et au développement d'une application dédiée sous Windows utilisant ce capteur.
L'application Com'Eyes développée dans le cadre du projet de fin d'études d'Ines et Anissa à Polytech Montpellier permet de créer des diaporamas où Charlotte peut fixer des images et déclencher une action en la fixant (ex: fixer un émoticône content, fixer une zone du corps où elle a mal, fixer une note de piano et déclencher le son, fixer la photo de sa sœur et déclencher la synthèse vocale prononçant son prénom...)
Cahier des charges
Trouver un moyen :
- pour Charlotte de communiquer en utilisant son regard.
- de fournir à ses parents une solution récréative et ludique pour qu'elle puisse jouer en autonomie.
- de fournir à son orthophoniste un moyen de rééducation.
Contraintes :
- solution accessible financièrement
- utilisable à la fois par les parents, par le soignant et par le porteur de projet (i.e. Charlotte).
- peut être embarqué sur son fauteuil roulant (solution mobile) ou bien installer en fixe.
- compatible avec le port de lunettes.
- doit être évolutif et personnalisable.
Comment ?
- en utilisant un capteur Tobii Eye Tracker 4C de suivi oculaire destiné aux jeux-vidéo.
- en programmant un logiciel permettant de récupérer l'info de suivi oculaire et de l'utiliser pour déclencher des actions.
- le logiciel est constitué de diaporamas où l'utilisateur peut charger des images, les classer par thêmes, choisir l'action engendrée par la fixation de l'image : jouer un son, faire prononcer une phrase à l'ordinateur, animer l'image (.gif)...etc
Analyse de l'existant
Les solutions de tracking oculaire (ou suivi oculaire) sont essentiellement basées sur la reconnaissance du mouvement des yeux par un dispositif optique. Il est également possible de suivre le mouvement du regard en enregistrant l'activité myoélectrique des muscles de la commande oculaire.
Concernant le suivi par dispositif optique, on peut trouver des lunettes intégrant une caméra (ex: SMI Eyeglasses) ou un système infrarouge (ex: Tobii Pro Glasses). Utilisable uniquement par des personnes ne portant pas de lunettes de vue. Il existe également des capteurs à positionner en bas de l'écran d'un ordinateur, ex: Tobii Eye Tracker 4C, destinés par exemple aux jeux vidéos.
Certains dispositifs ont été spécialement conçu pour des personnes atteints de déficiences et servent notamment à contrôler l’ordinateur, comme on le ferait avec une souris ou un clavier traditionnel, permettant ainsi aux personnes atteintes de troubles physiques et cognitifs d’acquérir de l’autonomie. Le modèle I-15+ de chez Tobii en fait partie, c'est un terminal de communication mobile et résistant, cependant le coût de cette solution est inaccessible pour nos porteurs de projet.
Quant à l'utilisation d'électrodes EMG positionnées afin d'enregistrer l'activité oculomotrice de Charlotte, cette solution est parue trop erratique et surtout inadaptée à un usage quotidien (nécessité de renouveler les électrodes, les positionner au bon endroit, le signal varie en fonction de l'environnement et d'autres paramètres électrophysiologiques, nécessité de calibrer régulièrement le système, etc...).
Liens divers:
https://www.rehab.research.va.gov/jour/08/45/1/pdf/Chin.pdf
https://www.tobiidynavox.com/fr/devices/commandes-oculaires/i-15-communicator/
https://www.tobiidynavox.com/fr/apropos/about-us/fonctionnement-de-la-commande-oculaire/
https://www.tobiipro.com/fr/produits/tobii-pro-glasses-2/
Equipe (Porteur de projet et contributeurs)
- Porteurs du projet : Charlotte et ses parents.
- Concepteurs/contributeurs : Inès Missoum Benziane et Anissa Lamhaouar (Etudiantes Polytech Montpellier)
- Animateur (coordinateur du projet): Benoît Sijobert et Marie-Jo Gaillard (Orthophoniste Institut Saint-Pierre)
- Fabmanager référent: Benoît Sijobert
- Responsable de documentation: Erwan Ollive & Benoît Sijobert (wiki) et Inès Missoum Benziane & Anissa Lamhaouar (doc technique, utilisateur et documentation code)
Matériel nécessaire
- Capteur Tobii Eye Tracker 4C
https://www.amazon.fr/TOBII-Tracker-Informatique-Suivant-Regard/dp/B01MAWPMXQ
- Pour utiliser cette application il faut un PC équipé de Windows 10. De préférence hybride (transformable en tablette tactile) ou éventuellement une tablette afin d'exploiter le côté tactile.
Suggestion: https://www.lenovo.com/fr/fr/laptops/yoga/yoga-c-series/Lenovo-Yoga-C740-15/p/88YGC701293
Coût
Coût du Tobii Eye Tracker 4c: 169 €
Fichiers source
- Guide d'installation et d'utilisation du logiciel Com'Eyes :
- Fichiers d'installation pour PC équipé d'une architecture 64 bits (x64) :
File:x64-20200608T130328Z-001.zip
- Fichiers d'installation pour PC équipé d'une architecture 32 bits (x86) :
File:x86-20200608T130357Z-001.zip
- Rapport de synthèse du projet étudiant :
File:Rapport de Synthèse - LAMHAOUAR-MISSOUM.pdf
- Rapport technique du projet étudiant :
File:Rapport Technique -LAMHAOUAR-MISSOUM.pdf
