Voir la source de Projets:Stimu'loud

{{Infobox projet
|Image principale=Logostimuloudv2.png
|Description=Création d'une interface ludique via makeymakey visant à stimuler la communication.
|Evènement associé=Fabrikarium Palavas 6 au 8 juin 2023
|Porteur de projet=Simon
|Contributeurs=Simon, Ylc, Lilwen
|Fabmanager=Delphine
|Référent documentation=Delphine, Simon
|Catégorie de handicap=Motricité, Troubles cognitifs
|Etat d'avancement=En cours
|Statut de la documentation=Partielle
|Relecture de la documentation=Non vérifiée
|Techniques=découpe laser, makey-makey, scratch
|Licence=by-sa
|Projet date=2023-02-16
|Nom humanlab=Humanlab_MHK
}}
== Description du projet ==
Création d'une interface pour Lilwen qui utilise très peu la parole pour le moment pour communiquer. L'objectif est de la stimuler avec des boutons / ou joystick pour créer des interactions sonores ou visuelles quand elles les déclenchent. Une première phase est destinée à trouver les bons emplacements devant elle sur la tablette de son fauteuil, et également à  déterminer ce qui la stimule le plus, avec une approche essentiellement ludique. Une deuxième phase est de développer une interface adaptée qui l'entraine à naviguer sur un ordinateur avec l'objectif de développer la communication.

== Cahier des charges ==
* boutons/joystick qui tiennent sur la tablette (qu'on ne peut pas facilement retirer, résistant à l'arrachement)
* pas toxique quand objet mis à la bouche
* retour sonore pas trop fort
* interrupteurs donnant un retour sensoriel à la pression
* interrupteurs de taille moyenne voire grande 
* écran centré dans le champ visuel
* matériel étanche (prise en compte de la salive parfois abondante)
* couleur verte à gauche, couleur rouge à droite, couleur bleue en haut, couleur marron terre en bas : adaptation des couleurs identiques à celles utilisées à l'Eye Tracker

== Analyse de l'existant et liens utiles==

== Matériel ==
* ordinateur avec enceintes + écran pour carrousel à images
* tablette avec un support plexiglas avec un côté antidérapant et un coté velcro
* 4 interrupteurs (boitier avec gros boutons pouvant éventuellement faire de la lumière) avec support velcro
* éventuellement un contacteur acheté précédemment

==Outils==
* logiciel Scratch
* Makey-makey
* pictogrammes utilisés actuellement dans les ateliers Makaton au sein de l'IEM

==Coût==

==Fichiers source==
[[:File:boite_lilwen_gros_boutons.dxf|Télécharger le boitier pour bouton arcade]]

[[:File:Panneau déroulant copy.zip|Télécharger le programme scratch]]

==Etapes de fabrication pas à pas==
 
=== création du support en plexiglas au FabLab ===
Le morceau de plexiglas a été découpé à la scie.


[[File:Plexi_Lilwen_resized_IMG20230126170831.jpg|400px|thumb|left|Plexiglas découpé pour s'ajuster parfaitement sur la tablette du fauteuil de Lilwen]]
<br clear=all>

=== fabrication des boitiers au sein du FabLab ===

[[:File:boite_lilwen_gros_boutons.dxf|Télécharger le boitier pour bouton arcade]]

Découper à la découpeuse laser les fichiers avec du peuplier d'épaisseur 3mm et les assembler avec de la colle à bois pour former les boîtiers (en ne collant pas le couvercle pour y insérer les interrupteurs)

=== soudure et assemblage des interrupteurs au FabLab ===
* collage des antidérapants et des velcro sur le plexiglas et les boitiers des interrupteurs
* création du programme dans Scratch et connection aux boutons d'arcade avec Makey Makey

<gallery widths="350px" heights="250px">
File:boutons_arcade_IMG20230302163900.jpg|boutons d'arcade insérés dans boitiers
File:boutons_arcade_IMG20230302163954.jpg|boutons d'arcade insérés dans boitiers
File:Tablette plexis.jpg|Lilwen testant les boutons
</gallery>
<br clear=all>

=== Concept du programme v1   ===

Proposer une image sur l'écran que Lilwen doit valider par oui ou non avec le bouton rouge pour dire non et le bouton vert pour dire oui. Une fois cliquée, l'image passe à la suivante. La personne qui l'accompagne doit lui poser la question : Est-ce-que tu aimes "le chocolat" ? (image de ce qui est présentée à l'écran.)

Le bouton vert est associée à la flèche de gauche dans Scratch et sur la carte Makey Makey, et le bouton rouge à la flèche de droite.

[[:File:Panneau déroulant copy.zip|Télécharger le programme scratch]]


[[File:scratch_interface.jpg|400px|thumb|left|Interface du programme dans Scratch]]

<br clear=all>

==Retours utilisateurs==
Sur le programme v1, suite à notre unique test, on se rend compte que Lilwen n'a pas suffisament l'attention sur l'écran pour que cette piste continue d'être explorée sans imaginer d'autres solutions. Nous décidons donc pour la prochaine étape de remplacer le retour visuel sur écran par des "vrais objets" (tablette de chocolat, .. etc) ou des dessins sur des panneaux que l'on peut prendre à la main et lui mettre sous les yeux selon la direction de son regard.



== Fabrikarium 2023 Palavas-Les-Flots ==

Ce projet a été poursuivi dans le cadre du Fabrikarium 2023 à Palavas-les-Flots, ou Lilwen, ses parents ainsi que des membres de MHK ont pu se rendre.

 [[File:PhotoTeamSML.jpg|400px]]

* Porteuses de Projet : Lilwen et son papa Simon

*Concepteur.e.s, contributeurs/contributrices : Simon (le papa), Delphine Bézier(fabmanager MHK), Suliane Rault (co-présidente MHK), Jérôme Choinard (Fabmanager Humanlab ArianeGroup), Marine Baret (étudiante M2 SNS IDS), Didier Fabrega (Informaticien Institut Saint-Pierre), Karine Patte (Médecin Institut Saint-Pierre),Marie-José Gaillard (orthophoniste Institut Saint-Pierre)

* Animateur : Delphine Bézier et Simon 

* Fabmanager référent : Delphine Bézier

* Responsable de documentation : Marine Baret 

=== Description du projet ===

Ce projet d'interface ludique est une évolution du projet Stimu’loud initié en février 2023. Porté par Simon, papa de Lilwen, il a pour but de stimuler Lilween, 10 ans, porteuse d’un handicap moteur depuis la naissance , de difficultés d’attention et de coordination de mouvement à travers une activité ludique afin de l’aider à communiquer en l’invitant à effectuer une tâche motrice de manière répétitive. 


Deux pistes sont proposées pour s’assurer que Lilwen fasse un geste intentionnel et reproductible : l’appui sur un effecteur ou le déplacement d’un effecteur sur une plaque de peuplier  5mm . 


Les deux pistes seront ici explorées pendant ce Fabrikarium .


L’appui sur un effecteur pour apprendre à Lilwen qu’un appui sur un bouton déclenche une action, a fait émergé 3 interfaces codées dans Scratch explicitées plus bas dans le chapitre Interface ludique


Plusieurs prototypes ont été imaginés aussi bien au niveau des effecteurs que de l’interface ludique. Des supports ont aussi été pensés pour améliorer et optimiser l’ergonomie des différents effecteurs dans le champ visuel de Lilwen (plan inclinable, support pour contacteurs,..)


Dans un premier temps, l’objectif est d’obtenir une réponse intentionnelle à un stimulus : une image qui apparaît associée à un bruit. 


Dans un deuxième temps, on souhaite offrir à Lilwen la possibilité de valider un choix avec une réponse oui/non.


Afin d'améliorer l'ergonomie pour accéder aux boutons, une tablette inclinable a aussi été conçue.



=== Cahier des charges ===

Le cahier des charges reprend ce qui avait été dit dans la version initiale du projet. Les quelques éléments supplémentaires ont été mis en place en début de Fabrikarium avec l’assistance de Karine PATTE , médecin spécialiste en médeçine physique et de réadaptation et Marie José GAULLARD, orthophoniste à l’Institut Saint Pierre.

* Pas toxique quand objet mis à la bouche
* Retour sonore pas trop fort
* Interrupteurs donnant un retour sensoriel à la pression
* Interrupteurs de taille moyenne voire grande
* Ecran centré dans le champ visuel
* Effecteurs (boutons, doudou,..) centré dans le champ visuel  
* Matériel étanche (prise en compte de la salive parfois abondante)
* Couleur verte à gauche, couleur rouge à droite : adaptation des couleurs identiques à celles utilisées à l'Eye Tracker
* Boutons/joystick qui tiennent sur la tablette (qu'on ne peut pas facilement retirer, résistant à l'arrachement)
* Matériel de taille et position modulable 
* Activité qui incite à la reproductibilité du mouvement 
* Stimulation avec du son 
* Investissement du champ visuel 


=== Analyse de l’existant et liens utiles ===
L'analyse de l'existant se base sur ce qui avait été fait précédemment : la fabrication de boîtiers avec des petits interrupteurs scratchés sur la petite tablette, qui peuvent être déplacés pour être placeés aux bons endroits.

 
Une des problématiques principales était de stimuler Lilwen, fixer des choses sur la tablette car Lilwenn aime se saisir des objets pour les lançer par terre => 1er test : fixer sur sa tablette (plaque de plexiglas) les objets avec des scratchs . Résultat : ça permet à Lilwen de savoir qu’elle peut jouer avec et d’utiliser les objets sans les jeter au sol qui est son jeu favori ...


2ème test : 4 petits interrupteurs de couleurs différentes associées à des sons d’animaux différents quand elle appuie dessus. Résultat : Lilwen fait le lien entre le bouton et le cri de l’animal mais a eu du mal à fixer l’écran ( retour sonore plus efficace que le retour visuel) 
Conclusion : 4 boutons trop ambitieux , 
Pistes de réflexion pour la suite : test avec 2 boutons (oui/non)? 


Objectifs sous-tendus selon Karine à plusieurs niveaux : 

premier niveau : faire travailler Lilwen, essayer de favoriser un comportement par la répétition d’une action 

deuxième niveau : améliorer la qualité de communication avec Lilwen 


Ces deux aspects sont liés mais pas complètement dépendant l’un de l’autre. En raison des difficultés d’attention et d’orientation du champs visuel, il est préconisé : 

Dans un premier temps, réduire le champ pour s’assurer que la commande soit effective. 
Trouver une inclinaison du support facilitatrice de la tâche cognitive en plaçant dans le champ visuel de Lilwen les boutons et l’écran. 
Pour favoriser l’accrochage visuel, en plus d’accrocher les objets avec des scratchs possibilité d’utiliser un support de fond blanc/noir pour accentuer les contrastes et permettent aux objets d’être mieux dégagés. (Pour l’aider à garder sa concentration sur l’écran, paravent avec des motifs en rayure prendre photo) 

Utilisation d’objets réels et non de représentation d’un objet sur un écran qui fait appel à un niveau de compréhension cognitif différent. 
Code oui/non : permet de travailler la cible, 1ère voie potentielle modéliser par des contacteurs 
Mots clés : effecteur, retour actif 


Sur le plan perspectif, Lilwen aime le son et le  toucher : utilisation d’objets avec lesquels Lilwenn a plus d’appétence, objets avec retour de vibration.

=== Matériel === 

''Planche inclinable :'' 

* Planche contre-plaqué (à terme en plexiglas)
* Pièces imprimées en polymère PETG (impression 3D) 
* Tige filetée M6 en acier 1 mètre ( 2x 260mm , 2x45mm, 4x40mm, 2x60mm) 
* Sangle 


''GIF (animation d’un personnage Azuro) : ''

* Krita (retouche image, DAO)
* Inskape (logiciel de vectorisation, rognage) 
* Scratch 

''Effecteurs type ‘ buzzer’  avec support+balle : ''

* 2 balles en mousse de diamètre différent 
* Un bouton-poussoir (comme connecteur) 


''Personnage pour le jeu en bois : ''

* Téléchargement d’un modèle de personnage format STL
* Ajouter au modèle un support dans un logiciel de CAO 
* Lancer l’impression 3D


=== Outils === 


''Planche inclinable :  ''

* Imprimante 3D pour les pièces imprimées 
* Outil de découpe : scie à métaux, scie à bois, scie égoïne


''Effecteurs type ‘ buzzer’  avec support+balle :'' 

* Fusion 360 (logiciel de CAO)
* Imprimante 3D


=== Fichiers sources ===

''Partie conception : ''

[[File:Supports_Contacteurs_Balles.zip]]

[[File:Boitier_contacteu.zip]]

[[File:Ourson_Rondelles.zip]]

[[File:Jeu_Parcours.zip]]

[[File:Support_Orientable.zip]]


''Partie programmation :'' 

[[File:Scratch.zip]]

=== Etapes de fabrication ===

====Planche inclinable ====
Cette planche inclinable doit permettre à lilwen d'accéder plus facilement aux objets / contacteurs.


'''Matériel :'''
* Planche contre-plaqué 5mm (à terme en plexiglas)
* Pièces imprimées en polymère PETG (impression 3D)
* Tige filetée M6 en acier 1 mètre ( 2x 260mm , 2x45mm, 4x40mm, 2x60mm)
* Sangle


'''Fichiers source'''

[[Media:Support_Orientable.zip|Télécharger tous les fichiers de conception de la tablette inclinable]]


'''Étapes de fabrication'''

* Découpe à la laser de la planche en contreplaqué avec le fichier SUPPORT ORIENTABLE.DXF: oeillères faire deux trous aux extrémités de l’oeillère  avec forêt et utiliser la scie égoïne pour former les oeillères

[[File:support_orientable_contreplaque_dxf.png|700px|vignette|gauche|Fichier DXF à découper avec la découpe laser]]
<br clear=all>

* Dessin des pièces sur un logiciel de CAO (SolidWork, Fusion,..)
* Impression des pièces en 3D : [[Media:STL_support_orientable.zip|Télécharger les fichiers STL et les imprimer en 3D]]
* Découpe des tiges filetées à la bonne longueur :Tige filetée M6 en acier 1 mètre ( 2x 260mm , 2x45mm, 4x40mm, 2x60mm)
* Montage des tiges dans les pièces imprimées (voir le modèle 3D)
* Réglage des écartements des pièces imprimées en contact avec les tiges en fonction de l’angle souhaité (plus on visse plus l’angle d’inclinaison est petit par * rapport à l’horizontal) 
* Assemblage : positionner la planche dans les fentes des pièces imprimées 
* Installation de la sangle dans les oeillères


<gallery widths=350px heights=250px>
File:Screenshot from 2024-07-19 11-58-40.png|Modélisation 3D de la tablette inclinable vue 1
File:Screenshot from 2024-07-19 11-58-12.png|Modélisation 3D de la tablette inclinable vue 2
File:Screenshot from 2024-07-19 11-57-59.png|Modélisation 3D de la tablette inclinable vue 3
</gallery>
<br clear=all>

<gallery widths=350px heights=250px>
File:IMG_0784_support_tablette.jpg|Pièces imprimées en 3D ici en vert sur le support orientable
File:IMG_0783_support_tablette.jpg|Pièces imprimées en 3D ici en vert sur le support orientable
File:IMG_0782_support_tablette.jpg|Pièces imprimées en 3D ici en vert sur le support orientable
</gallery>
<br clear=all>

[[File:tablette_sur_fauteuil_stimuloud.jpg|700px|vignette|gauche|Tablette inclinable positionnée sur la tablette du fauteuil]]
<br clear=all>

===Interface ludique avec Scratch et Makey Makey===
 
Interface pour inviter Lilwen à communiquer et à jouer. Voici les différents programmes qui ont été codés : [[Media:programmes_Scratch.zip|Télécharger les programmes Scratch :Projet Azuro Vole, stimu_loud_1 bouton perso aleatoire grandissant, Oui_Non_Panneau déroulant V1]]


'''Programme stimu’loud perso_aléatoire :''' [TO DO : demander le programme à Simon] programme Scratch avec 2 effecteurs (boutons). L'un permet d’afficher des animaux qui grossissent avec du son et l'autre affiche un fond noir avec une croix rouge. Ce programme a été pensé pour inciter Lilwen à associer l’appui sur un bouton vert à “une action”, “quelque chose qui se passe” et l’appui sur un bouton rouge à “rien” afin de l’aider à communiquer. Le bouton vert fait apparaître un personnage qui grossit en fonction du temps d’appui sur le bouton. Le bouton rouge affiche un écran noir et permet de changer de personnage.

[[File:LudiqueSML.png|400px|vignette|gauche|Animation sur le programme]]
<br clear=all>

'''Programme “stimu’loud_1bouton_perso_aléatoire”:''' programme Scratch avec un effecteur sous forme de bouton qui permet d’afficher un animal qui grossit tant que Lilwen appuie sur le bouton jusqu'à un gros plan final où le son de l'animal est joué. Ajout des applaudissements comme gratification lorsque Lilwen relâche le bouton. Ce programme a été réalisé pour s’assurer de l'intentionnalité du geste d’appui sur le bouton.  Quand le bouton recliqué, un autre personage apparait de façon aléatoire

[[File:grenouille2.gif|400px|vignette|gauche|Animation du personnage de la grenouille qui grossit]] 
<br clear=all>


'''Programme “Questions premier test” :'''  [TO DO : demander le programme à Simon]  programme Scratch avec deux effecteurs pour proposer à Lilwen de répondre à des questions fermées (réponse oui/non) sur ses goûts. Les questions sont enregistrées avec la voix de son père Simon. Le programme affiche un symbole de “V” vert pour oui et de croix rouge pour “non”. 

[[File:scratch_interface.jpg|400px|thumb|left|Interface du programme dans Scratch]]
<br clear=all>


'''Programme “Panneau déroulant menu manuel” :''' variante du programme - “Questions premier test” dans laquelle le changement de personnage est manuel (opérateur tiers). 


'''Programme Azuro vole''': Programme Scratch qui déclenche le mouvement du personnage Azuro lorsque quand Lilwen appuie sur le bouton

=====Animation du personnage Azuro =====

'''Programme Azuro vole''': Programme Scratch qui déclenche le mouvement du personnage Azuro lorsque quand Lilwen appuie sur le bouton
Azuro étant l'un des personnages préférés de Lilwen, ce programme simple permet de la stimuler pour déclencher l'animation chaque fois qu'elle touche le contacteur


*  [[Media:azuro_images.zip|Récupérer les 4 images du personnage]] . Ici elles ont été détourées (enlever le fond) pour ne garder que le personnage 
<gallery widths=250px heights=250px>
File:dragon vole 1.png|Azuro 1
File:dragon vole 2.png|Azuro 2
File:dragon vole 3.png|Azuro 3
File:dragon vole 4.png|Azuro 4
</gallery>


* Enregistrer et importer les images dans Scratch pour faire l’animation

<gallery widths=350px heights=250px>
File:azuro.gif|Animation du personnage Azuro
File:prog_scratch_azuro.png|Programme scratch pour animation Azuro
<br clear=all>
</gallery>


====Effecteurs====
Plusieurs effecteurs (boutons) ont été imaginés pour déclencher le Oui et Non lorsque les images apparaissent à l'écran.

Les premiers boutons d'arcade mis intégrés dans des boites cubiques nt montrés leurs limites. En effet les angles siallants ne sont pas ergonomiques et sont difficiles d'accès pour la motricité de Lilwen.

<gallery widths="350px" heights="250px">
File:BalleSML.png|Prototype balle mousse+ support 
File:BoitierSML.png|Prototype contacteur générique Makey Makey sur lequel on peut poser n'importe quel objet pour qu'il devienne le contacteur
File:BuzzerSMl.png|Gros buzzer vert
File:tablette_stimuloud.jpg|Gros bouton poussoir sur la tablette inclinable
</gallery>

===Jeu de parcours en bois avec déplacement d’un effecteur (personnage ourson bleu)===

Principe : Plaque de peuplier 5mm (plateau) surmonté sur cales en bois avec chemin en ligne droite ou tortueux sur lequel Lilwen peut faire avancer un personnage d’un point A (extrémité gauche)  à un point B (extrémité droite). 


Objectif: Evaluer la capacité motrice de Lilwen pour proposer une interface adaptée


Pour stimuler Lilwen à faire bouger son personnage , la "récompense" est de pouvoir faire sortir le personnage au bout du parcours.


A terme, ce prototype pourrait aboutir à un plateau que Lilwen pourrait utiliser pour dire oui/non. Le point A correspondrait au oui, le point B au non.


====Personnage pour le jeu de parcours ====

* Téléchargement d’un modèle de personnage format STL sur [https://www.thingiverse.com/ Thingiverse] par exemple
* Ajouter au modèle un double anneau pour que le personnage soit prisonnier dans le support bois tout au long du parcours. 
ou télécharger le modèle que nous avons créé:  [[Media:Ours parcours v8_9mm_entre_anneaux.stl|Télécharger le personnage de l'ourson avec l'anneau ajouté pour lui permettre de se déplacer sur le chemin du support bois]]
* Lancer l’impression 3D 

[[File:ourson_stimuloud.png|400px|vignette|gauche|Modélisation 3D de l'ourson avec les rondelles ajoutées à son embase]]
<br clear=all>


====Préparation du jeu de parcours ====
* Découper la plaque de peuplier de 5mm avec le parcours souhaité. [[Media:Jeu parcours.zip|Télécharger les fichiers DXF/SVG ]]
* Ajouter des cales en ois de façon à ce que le socle du personnage ne frotte pas sur la table sous la plaque de bois et puisse se déplacer sans gêne.


Au départ nous avons dessiné le parcours en forme de lacet qui s'est avéré trop complexe pour Lilwen. Nous avons donc dessiné un parcours plus simple en ligne droite sur conseil de Karine, la médecin et de l'orthophoniste présentes dans l'équipe. Il s'avère que c'est celui-ci que nous avons expérimenté avec succès avec Lilwen. On peut envisager de changer le parcours une fois que Lilwen s'est habitué au plus simple.



<gallery widths=350px heights=250px>
File:parcours_ligne_droite.png|Parcours ligne droite
File:parcours_lacet.png|Parcours lacet
File:parcours_2_trous_arc.png|Parcours 2 trous en forme de demi cercle
</gallery>

<br clear=all>


<gallery widths=300px heights=400px>
File:jeu_bois_1.png|Lilwen bougeant le personnage arrivé ici à mi parcours
File:jeu_bois2.png|Lilwen arrivant à faire aller le personnage au bout du parcours
File:jeu_bois3.png|Lilwen ayant réussie à sortir le personnage au bout du parcours
</gallery>

====Effecteurs type ‘ buzzer’  avec support+balle ====

* Prendre le diamètre de chaque balle 
* Modélisation des supports des balles : faire une demi-sphère avec un support et un trou dans la demi-sphère pour passer les fils et le bouton poussoir 
* Réaliser l’impression de ces supports de balle avec l’imprimante 3D (matériel : PETG)

===Support effecteur pour y poser n'importe quel objet que l'on souhaite transformer en effecteur===
Enfin, il convient de réalisé un boîtier pour contenir le système de plateforme et de contact, qui ne puisse pas être arraché lors de son utilisation. A l’intérieur du boîtier on intègre un système de ressort à lame. Le système de contact se fait avec du scotch aluminium sur la plateforme et à l’intérieur du boîtier. En appuyant sur la plateforme (qui coulisse dans le boîtier), on crée le contact qui permettra de déclencher l’action sur l’interface avec le programme Scratch. Le boîtier se compose de 4 parties : la plateforme mobile sur 2 ressort à lames intégrés dans un socle en 2 parties, une ouverture cylindrique sur une des faces du boîtier permet le passage des câbles Les deux ressorts à lame sont maintenus sur le socle du boitier par des rails imprimés. (voir modélisation de la pièce). Sur la première version, les sangles sont maintenues à la plateforme par un système d’arceaux.

* Le design 3D est effectué avec Fusion 360 
* Impression 3D avec le trancheur (slicer) PRUSA Slicer sur imprimante PRUSA MK3S en PETG
* Utilisation de  vis M3 16mm pour solidariser le fond du boîtier
* lanières de scratch(velcro) 
* Impression de support cylindrique pour couvrir les boutons carrés : rouge et vert


<gallery widths=350px heights=250px>
Schéma_principe_contacteur_polyvalent.jpg
File:IMG_0776_contacteur_azuro_ok.jpg
File:IMG_0777_contcateur_azuro.jpg
</gallery>

=== Retour utilisateur ===