Projets:Stimu'loud

Description du projet

Création d'une interface pour Lilwen qui utilise très peu la parole pour le moment pour communiquer. L'objectif est de la stimuler avec des boutons / ou joystick pour créer des interactions sonores ou visuelles quand elles les déclenchent. Une première phase est destinée à trouver les bons emplacements devant elle sur la tablette de son fauteuil, et également à déterminer ce qui la stimule le plus, avec une approche essentiellement ludique. Une deuxième phase est de développer une interface adaptée qui l'entraine à naviguer sur un ordinateur avec l'objectif de développer la communication.

Cahier des charges

• boutons/joystick qui tiennent sur la tablette (qu'on ne peut pas facilement retirer, résistant à l'arrachement)
• pas toxique quand objet mis à la bouche
• retour sonore pas trop fort
• interrupteurs donnant un retour sensoriel à la pression
• interrupteurs de taille moyenne voire grande
• écran centré dans le champ visuel
• matériel étanche (prise en compte de la salive parfois abondante)
• couleur verte à gauche, couleur rouge à droite, couleur bleue en haut, couleur marron terre en bas : adaptation des couleurs identiques à celles utilisées à l'Eye Tracker

Matériel

• ordinateur avec enceintes + écran pour carrousel à images
• tablette avec un support plexiglas avec un côté antidérapant et un coté velcro
• 4 interrupteurs (boitier avec gros boutons pouvant éventuellement faire de la lumière) avec support velcro
• éventuellement un contacteur acheté précédemment

Outils

• logiciel Scratch
• Makey-makey
• pictogrammes utilisés actuellement dans les ateliers Makaton au sein de l'IEM

Fichiers source

Télécharger le boitier pour bouton arcade

Télécharger le programme scratch

Etapes de fabrication pas à pas

création du support en plexiglas au FabLab

Le morceau de plexiglas a été découpé à la scie.

Plexiglas découpé pour s'ajuster parfaitement sur la tablette du fauteuil de Lilwen

fabrication des boitiers au sein du FabLab

Télécharger le boitier pour bouton arcade

Découper à la découpeuse laser les fichiers avec du peuplier d'épaisseur 3mm et les assembler avec de la colle à bois pour former les boîtiers (en ne collant pas le couvercle pour y insérer les interrupteurs)

soudure et assemblage des interrupteurs au FabLab

boutons d'arcade inséré dans boitier

boutons d'arcade inséré dans boitier

• collage des antidérapants et des velcro sur le plexiglas et les boitiers des interrupteurs

• création du programme dans Scratch et connection aux boutons d'arcade avec Makey Makey

Concept du programme v1

Proposer une image sur l'écran que Lilwen doit valider par oui ou non avec le bouton rouge pour dire non et le bouton vert pour dire oui. Une fois cliquée, l'image passe à la suivante. La personne qui l'accompagne doit lui poser la question : Est-ce-que tu aimes "le chocolat" ? (image de ce qui est présentée à l'écran.)

Le bouton vert est associée à la flèche de gauche dans Scratch et sur la carte Makey Makey, et le bouton rouge à la flèche de droite.

Télécharger le programme scratch

Interface du programme dans Scratch

Retours utilisateurs

Sur le programme v1, suite à notre unique test, on se rend compte que Lilwen n'a pas suffisament l'attention sur l'écran pour que cette piste continue d'être explorée sans imaginer d'autres solutions. Nous décidons donc pour la prochaine étape de remplacer le retour visuel sur écran par des "vrais objets" (tablette de chocolat, .. etc) ou des dessins sur des panneaux que l'on peut prendre à la main et lui mettre sous les yeux selon la direction de son regard.

Fabrikarium 2023 Palavas-Les-Flots

Ce projet a été poursuivi dans le cadre du Fabrikarium 2023 à Palavas-les-Flots, ou Lilwen, ses parents ainsi que des membres de MHK ont pu se rendre.

• Porteuses de Projet : Lilwen et son papa Simon

• Concepteur.e.s, contributeurs/contributrices : Simon (le papa), Delphine Bézier(fabmanager MHK), Suliane Rault (co-présidente MHK), Jérôme Choinard (Fabmanager Humanlab ArianeGroup), Marine Baret (étudiante M2 SNS IDS), Didier Fabrega (Informaticien Institut Saint-Pierre), Karine Patte (Médecin Institut Saint-Pierre),Marie-José Gaillard (orthophoniste Institut Saint-Pierre)

• Animateur : Delphine Bézier et Simon

• Fabmanager référent : Delphine Bézier

• Responsable de documentation : Marine Baret

Cahier des charges

Le cahier des charges reprend ce qui avait été dit dans la version initiale du projet. Les quelques éléments supplémentaires ont été mis en place en début de Fabrikarium avec l’assistance de Karine PATTE , médecin spécialiste en médeçine physique et de réadaptation et Marie José GAULLARD, orthophoniste à l’Institut Saint Pierre.

• Pas toxique quand objet mis à la bouche
• Retour sonore pas trop fort
• Interrupteurs donnant un retour sensoriel à la pression
• Interrupteurs de taille moyenne voire grande
• Ecran centré dans le champ visuel
• Effecteurs (boutons, doudou,..) centré dans le champ visuel
• Matériel étanche (prise en compte de la salive parfois abondante)
• Couleur verte à gauche, couleur rouge à droite : adaptation des couleurs identiques à celles utilisées à l'Eye Tracker
• Boutons/joystick qui tiennent sur la tablette (qu'on ne peut pas facilement retirer, résistant à l'arrachement)
• Matériel de taille et position modulable
• Activité qui incite à la reproductibilité du mouvement
• Stimulation avec du son
• Investissement du champ visuel

Analyse de l’existant et liens utiles

L'analyse de l'existant se base sur ce qui avait été fait précédemment : la fabrication de boîtiers avec des petits interrupteurs scratchés sur la petite tablette, qui peuvent être déplacés pour être placeés aux bons endroits.

Une des problématiques principales était de stimuler Lilwen, fixer des choses sur la tablette car Lilwenn aime se saisir des objets pour les lançer par terre => 1er test : fixer sur sa tablette (plaque de plexiglas) les objets avec des scratchs . Résultat : ça permet à Lilwen de savoir qu’elle peut jouer avec et d’utiliser les objets

2ème test : 4 petits interrupteurs de couleurs différentes associées à des sons d’animaux différents quand elle appuie dessus. Résultat : Lilwen fait le lien entre le bouton et le cri de l’animal mais a eu du mal à fixer l’écran ( retour sonore plus efficace que le retour visuel) Conclusion : 4 boutons trop ambitieux , Pistes de réflexion pour la suite : test avec 2 boutons (oui/non)?

Objectifs sous-tendus selon Karine à plusieurs niveaux :

premier niveau : faire travailler Lilwen, essayer de favoriser un comportement par la répétition d’une action

deuxième niveau : améliorer la qualité de communication avec Lilwen

Ces deux aspects sont liés mais pas complètement dépendant l’un de l’autre. En raison des difficultés d’attention et d’orientation du champs visuel, il est préconisé :

Dans un premier temps, réduire le champ pour s’assurer que la commande soit effective. Trouver une inclinaison du support facilitatrice de la tâche cognitive en plaçant dans le champ visuel de Lilwen les boutons et l’écran. Pour favoriser l’accrochage visuel, en plus d’accrocher les objets avec des scratchs possibilité d’utiliser un support de fond blanc/noir pour accentuer les contrastes et permettent aux objets d’être mieux dégagés. (Pour l’aider à garder sa concentration sur l’écran, paravent avec des motifs en rayure prendre photo)

Utilisation d’objets réels et non de représentation d’un objet sur un écran qui fait appel à un niveau de compréhension cognitif différent. Code oui/non : permet de travailler la cible, 1ère voie potentielle modéliser par des contacteurs Mots clés : effecteur, retour actif

Sur le plan perspectif, Lilwen aime le son et le toucher : utilisation d’objets avec lesquels Lilwenn a plus d’appétence, objets avec retour de vibration.

Matériel

Planche inclinable :

• Planche contre-plaqué (à terme en plexiglas)
• Pièces imprimées en polymère PETG (impression 3D)
• Tige filetée M6 en acier 1 mètre ( 2x 260mm , 2x45mm, 4x40mm, 2x60mm)
• Sangle

GIF (animation d’un personnage Azuro) :

• Krita (retouche image, DAO)
• Inskape (logiciel de vectorisation, rognage)
• Scratch

Effecteurs type ‘ buzzer’ avec support+balle :

• 2 balles en mousse de diamètre différent
• Un bouton-poussoir (comme connecteur)

Personnage pour le jeu en bois :

• Téléchargement d’un modèle de personnage format STL
• Ajouter au modèle un support dans un logiciel de CAO
• Lancer l’impression 3D

Outils

Planche inclinable :

• Imprimante 3D pour les pièces imprimées
• Outil de découpe : scie à métaux, scie à bois, scie égoïne

Effecteurs type ‘ buzzer’ avec support+balle :

• Fusion 360 (logiciel de CAO)
• Imprimante 3D

Fichiers sources

Partie conception :

Fichier:Supports Contacteurs Balles.zip

Fichier:Boitier contacteu.zip

Fichier:Ourson Rondelles.zip

Fichier:Jeu Parcours.zip

Fichier:Support Orientable.zip

Partie programmation :

Fichier:Scratch.zip