Différences entre versions de « Projets:Declic »
(li) |
|||
(34 versions intermédiaires par 3 utilisateurs non affichées) | |||
Ligne 1 : | Ligne 1 : | ||
+ | {{Infobox projet | ||
+ | |Image principale=Declic proto tous.JPG | ||
+ | |Description=Dispositif faisant office de souris permettant à des amputés de faire des combinaisons de touches. | ||
+ | |Porteur de projet=Bionico | ||
+ | |Contributeurs=Jlebunetel, LaurentM, Fabrice, Mickaël, Antony, Jamila, Fred | ||
+ | |Fabmanager=Jlebunetel | ||
+ | |Référent documentation=LaurentM | ||
+ | |Catégorie de handicap=Membre supérieur | ||
+ | |Etat d'avancement=Réalisés | ||
+ | |Statut de la documentation=Complète | ||
+ | |Relecture de la documentation=Non vérifiée | ||
+ | |Techniques=arduino, découpe laser, électronique, bluetooth | ||
+ | |Durée de fabrication=de 4 à 8 h | ||
+ | |Niveau=Facile | ||
+ | |Licence=by-sa | ||
+ | |Projet date=2019-10-16 | ||
+ | |Partenaires=ArianeGroup | ||
+ | |Nom humanlab=Humanlab_MHK | ||
+ | }} | ||
==Présentation== | ==Présentation== | ||
Ligne 7 : | Ligne 26 : | ||
==== Contexte ==== | ==== Contexte ==== | ||
− | Nico fait de la CAO mais il lui manque une main pour faire des combinaisons de touches (par exemple ctrl+clic gauche pour faire tourner un objet dans la vue 3d). Il souhaiterait disposer d'un dispositif faisant office de souris qui ne | + | Nico fait de la CAO mais il lui manque une main pour faire des combinaisons de touches (par exemple ctrl+clic gauche pour faire tourner un objet dans la vue 3d). Il souhaiterait disposer d'un dispositif faisant office de souris qui ne nécessiterait aucune configuration. |
=== L'équipe === | === L'équipe === | ||
Ligne 24 : | Ligne 43 : | ||
* Fred, Ariane Groupe | * Fred, Ariane Groupe | ||
* Laurent, FLOSSManual | * Laurent, FLOSSManual | ||
+ | |||
+ | === Ressources === | ||
+ | |||
+ | Les fichiers et sources produites pendant les trois jours sont disponibles sur un [https://github.com/myhumankit/declic dépot git] qui contient également les images et les sources des schémas utilisées dans cette page. | ||
=== Cahier des charges === | === Cahier des charges === | ||
Ligne 75 : | Ligne 98 : | ||
| filaire | | filaire | ||
|} | |} | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
== Scénario S1 : joystick == | == Scénario S1 : joystick == | ||
Ligne 115 : | Ligne 106 : | ||
[[File:declic_joy.JPG|340px]] [[File:declic_joy_pcb.JPG|340px]] | [[File:declic_joy.JPG|340px]] [[File:declic_joy_pcb.JPG|340px]] | ||
+ | |||
+ | === Arduino reconnu comme un périphérique USB : le HID === | ||
+ | |||
+ | Nous souhaitons que notre arduino soit reconnu comme un périphérique HID. Le HID (pour Human Interface Device) est une spécification qui permet à un periphérique d'être reconnu directement comme une souris ou un clavier, ce qui évite d'avoir recours à un driver, c'est à dire un logiciel spécifique installé sur l'ordinateur. Seule les arduinos utilisant le microcontrôleur 32u4 peuvent être reconnu comme HID. C'est le cas notamment des arduino DUE, Leonardo et Micro mais pas du Uno (le plus courant) ni du nano (le deuxième plus courant et le moins cher). | ||
Nous utilisons une plateforme de prototypage existante qui permet de relier plusieurs capteurs analogiques ou des interupteurs sur une carte Arduino Leonardo. Nous avons un certain nombre de modules à disposition dont le fameux thumbstick, des joysticks "tout ou rien" (type borne d'arcade), des potentiomètres et des boutons d'arcade. | Nous utilisons une plateforme de prototypage existante qui permet de relier plusieurs capteurs analogiques ou des interupteurs sur une carte Arduino Leonardo. Nous avons un certain nombre de modules à disposition dont le fameux thumbstick, des joysticks "tout ou rien" (type borne d'arcade), des potentiomètres et des boutons d'arcade. | ||
Ligne 149 : | Ligne 144 : | ||
Une fois le prototype fonctionnel, nous souhaitons réaliser une version intégrée, avec une carte Arduino plus compacte (micro) dans un boîtier dédié. | Une fois le prototype fonctionnel, nous souhaitons réaliser une version intégrée, avec une carte Arduino plus compacte (micro) dans un boîtier dédié. | ||
+ | |||
+ | === Code === | ||
+ | |||
+ | La version finale du code de ce prototype est accessible sur le dépot git du projet dans le dossier [https://github.com/myhumankit/declic/tree/master/code/arduino/declic_joystick code/arduino/declic_joystick] | ||
=== Électronique === | === Électronique === | ||
+ | |||
+ | [[File:declic_schema_S1.png|600px]] | ||
=== Boîtier === | === Boîtier === | ||
Ligne 168 : | Ligne 169 : | ||
[[File:declic_boitier_penche.png|700px|Modèle de boîte avec le thumbstick incliné]] | [[File:declic_boitier_penche.png|700px|Modèle de boîte avec le thumbstick incliné]] | ||
+ | |||
+ | [[File:declic_joystick_final.JPG|700px|Prototype final]] | ||
== Scénario S2 == | == Scénario S2 == | ||
Ligne 178 : | Ligne 181 : | ||
Ce type de module est composé de capteurs (acceléromètre MEMS et gyroscope MEMS) dont le signal est traité par un microcontrôleur embarqué et communiqué à l'aduino via un bus i2c. | Ce type de module est composé de capteurs (acceléromètre MEMS et gyroscope MEMS) dont le signal est traité par un microcontrôleur embarqué et communiqué à l'aduino via un bus i2c. | ||
+ | |||
+ | ==== Code ==== | ||
Les informations brutes de la carte sont récupérées par un sketch arduino trouvé [https://www.mschoeffler.de/2017/10/05/tutorial-how-to-use-the-gy-521-module-mpu-6050-breakout-board-with-the-arduino-uno/ ici]. | Les informations brutes de la carte sont récupérées par un sketch arduino trouvé [https://www.mschoeffler.de/2017/10/05/tutorial-how-to-use-the-gy-521-module-mpu-6050-breakout-board-with-the-arduino-uno/ ici]. | ||
Ligne 183 : | Ligne 188 : | ||
Elles nécessitent ensuite d'être combinées puis filtrées afin de récupérer directement des valeurs d'angles dans l'espace correspondant au tangage, au roulis et à l'azimuth. Nous utilisons pour cela la bibliothèque Arduino [https://github.com/arduino-libraries/MadgwickAHRS MadgwickAHRS]. | Elles nécessitent ensuite d'être combinées puis filtrées afin de récupérer directement des valeurs d'angles dans l'espace correspondant au tangage, au roulis et à l'azimuth. Nous utilisons pour cela la bibliothèque Arduino [https://github.com/arduino-libraries/MadgwickAHRS MadgwickAHRS]. | ||
− | + | ==== Traitement des angles obtenus ==== | |
+ | |||
+ | Avec les librairies utilisées, nous pouvons directement récupérer les [https://fr.wikipedia.org/wiki/Angles_d%27Euler angles d'Euler] décrivant l'orientation dans l'espace de noter capteur. | ||
− | + | Ils sont donnés en degrés entre -180 et 180. Une des difficultés consiste à centrer ces angles par rapport à la position du capteur au repos. | |
En position de repos, le roulis est de 180°. S'il dépasse cette valeur, il y a un effet de seuil (le cadran fait un tour) et l'angle reviens à -180°. Pour center les valeurs, il faut donc | En position de repos, le roulis est de 180°. S'il dépasse cette valeur, il y a un effet de seuil (le cadran fait un tour) et l'angle reviens à -180°. Pour center les valeurs, il faut donc | ||
Ligne 212 : | Ligne 219 : | ||
Le mouvement de rotation bras autour de son axe (angle d'azimuth, rotation autour d'un axe vertical) semble lui dur à exploiter car il ne fonctionne bien que quand le bras est à la vertical et il subit de plus une déviation continu dûe à l'absence de bousole | Le mouvement de rotation bras autour de son axe (angle d'azimuth, rotation autour d'un axe vertical) semble lui dur à exploiter car il ne fonctionne bien que quand le bras est à la vertical et il subit de plus une déviation continu dûe à l'absence de bousole | ||
+ | ==== Fixation et test ==== | ||
La position du capteur sur le bras est cruciale pour que les angles de rotation correspondent aux déplacements souhaité. | La position du capteur sur le bras est cruciale pour que les angles de rotation correspondent aux déplacements souhaité. | ||
+ | Afin de réaliser des tests sur le bras de Nico, nous réalisons une fixation temporaire en carton/scotch/agraffes/scratch qui permet de fixer l'arduino et de capteur dans la bonne position. | ||
+ | |||
+ | [[File:declic_test_gyro1.JPG|348px]] [[File:declic_test_gyro2.JPG|348px]] | ||
+ | |||
+ | === Liaison bluetooth === | ||
− | + | Nous suivons [https://howtomechatronics.com/tutorials/arduino/how-to-configure-pair-two-hc-05-bluetooth-module-master-slave-commands/ ce tutoriel] pour faire communiquer deux arduino par l'intermédiaire de deux cartes bluetooth. | |
− | + | Il faut dans un premier temps configurer les cartes bluetooth pour en configurer une en maître et l'autre en esclave. | |
+ | |||
+ | Une fois les cartes bluetooth configurées, l'une d'elle va être relié à l'arduino du bras relié aux capteurs et l'autre à la carte arduino faisant office de "dongle" relié à l'ordinateur. | ||
+ | |||
+ | Nous mettons en place un protocole entre ces deux arduinos. Pour des raisons de simplicité et parce que le temps commence à manquer, le protocole est composé uniquement de message de une lettre tel que décrit ci-dessous : | ||
+ | |||
+ | // DICTIONARY | ||
+ | // 'a' = nothing | ||
+ | // 'b' = up | ||
+ | // 'c' = upleft | ||
+ | // 'd' = upright | ||
+ | // 'e' = down | ||
+ | // 'f' = downleft | ||
+ | // 'g' = downright | ||
+ | // 'h' = left | ||
+ | // 'i' = right | ||
+ | // 'j' = clickleft | ||
+ | // 'k' = clickright | ||
+ | // 'l' = longclickstart | ||
+ | // 'm' = longclickstop | ||
− | + | En pratique il serait bien d'ajouter le passage d'un ou plusieurs paramètres pour retrouver la sensibilité que l'on avait avant de passer par le bluetooth. Le valeur du déplacement envoyé à la souris dépendait alors de la position du capteur, alors qu'elle réagit maintenant par impulsion de 10 pixels. | |
=== Clic avec capteur myo === | === Clic avec capteur myo === | ||
+ | |||
+ | Jamila et Fred s'occupe d'utiliser le capteur myo "industriel" pour faire le clic souris. Ce capteur renvoie un signal analogique contrairement au bouton qui est digital. Ils utilisent donc l'objet virtualButton de la librairie MHK arduino. | ||
+ | |||
+ | Voici un exemple de code minimal pour utiliser le bouton virtuel de la librairie MHK | ||
+ | |||
+ | <nowiki> | ||
+ | #include <MHK_Button.h> | ||
+ | |||
+ | VirtualButton bouton(LOW); | ||
+ | |||
+ | void setup(){ | ||
+ | // configure Button object | ||
+ | bouton.setHoldTime(500); // duration in ms: 0 to 65535 (default: 1000) | ||
+ | bouton.setIdleTime(3000); // duration in ms: 0 to 65535 (default: 1000) | ||
+ | bouton.setMultiTime(255); // duration in ms: 0 to 255 (default: 127) | ||
+ | } | ||
+ | |||
+ | void loop(){ | ||
+ | int contraction = analogRead(A5); | ||
+ | if (contraction > contraction_seuil) { | ||
+ | bouton.set (1); | ||
+ | } else { | ||
+ | bouton.set (0); | ||
+ | } | ||
+ | } | ||
+ | |||
+ | </nowiki> | ||
[[File:declic_test_myo.JPG|700px]] | [[File:declic_test_myo.JPG|700px]] | ||
+ | |||
+ | === Code === | ||
+ | |||
+ | La version finale du code de ce prototype est accessible sur le dépot git du projet dans le dossier [https://github.com/myhumankit/declic/tree/master/code/arduino code/arduino]. | ||
+ | |||
+ | On y trouve deux sketchs lié à ce prototype: | ||
+ | * declic_gyro_arm pour la partie capteur fixée sur le bras | ||
+ | * declic_gyro_dongle pour la partie dongle reliée à l'ordinateur | ||
+ | |||
+ | === Électronique === | ||
+ | |||
+ | Voici le schéma avec le câblage de la liaison bluetooth et des deux capteurs (gyro et myo) | ||
+ | |||
+ | [[File:declic_shema_S2.png|center|600px| Schéma de câblage S2]] | ||
+ | |||
+ | === Version finale === | ||
+ | |||
+ | [[File:declic_proto_final.JPG|700px]] | ||
+ | |||
+ | [[File:declic_proto_final_3.JPG|700px]] | ||
== Scénario J1 == | == Scénario J1 == | ||
Ligne 233 : | Ligne 312 : | ||
[[File:declic_poignee_prothese.JPG|700px|La poignée de joystick adapté à la prothèse monté sur un joystick d'arcade]] | [[File:declic_poignee_prothese.JPG|700px|La poignée de joystick adapté à la prothèse monté sur un joystick d'arcade]] | ||
− | |||
== Scénario J2 == | == Scénario J2 == | ||
− | Mickaël modélise un support ergnonomique en forme de U, adapté au moignon de Nico et qui s' | + | Mickaël modélise un support ergnonomique en forme de U, adapté au moignon de Nico et qui s'adapte directement sur un joystick de fauteuil roulant. |
[[File:declic_modele_fourche.png|700px| Modèle de poignée de joystick adapté au moignon]] | [[File:declic_modele_fourche.png|700px| Modèle de poignée de joystick adapté au moignon]] | ||
Ligne 245 : | Ligne 323 : | ||
Ce prototype parait bien meilleur à l'usage grâce à la fois au support ergonomique (confort) et à la meilleure résolution du joystick (précision, rapidité). | Ce prototype parait bien meilleur à l'usage grâce à la fois au support ergonomique (confort) et à la meilleure résolution du joystick (précision, rapidité). | ||
− | Ce joystick n'a | + | Ce joystick n'a pas de clic cependant. Nous cablons donc le capteur myo à cette fin et le résultat semble bien fonctionner. |
[[File:declic_test_fourche.JPG|700px]] | [[File:declic_test_fourche.JPG|700px]] | ||
+ | |||
+ | == Tous les prototypes == | ||
+ | |||
+ | [[File:declic_proto_tous.JPG|700px]] | ||
+ | |||
+ | |||
+ | == Déroulé == | ||
+ | |||
+ | Pour souvenir, le déroulé détaillé de ces trois jours palpilants | ||
+ | |||
+ | ==== Mercredi matin ==== | ||
+ | |||
+ | * Introduction et tour de table | ||
+ | * Brainstorming objectifs, contraintes, scénarios, déroulé | ||
+ | |||
+ | * Des idées en vrac : | ||
+ | ** tapis tactile | ||
+ | ** différents type de joystick avec poignée adaptée. | ||
+ | ** bracelet avec détecteur de mouvement pour le déplacement et pour le clic (rotation du bras pour le clic ?) | ||
+ | ** bracelet avec détecteur de mouvement pour le déplacement et capteur myo pour le clic. | ||
+ | * initiation Arduino : Présentation de la lecture d'une entrée analogique (potentiomètre, joystick) | ||
+ | |||
+ | ==== Mercredi après midi ==== | ||
+ | |||
+ | * initiation arduino : utilisation de la librairie buton_MHK | ||
+ | * initiation arduino : HID | ||
+ | * réalisation du prototype/scénario S1 | ||
+ | * modélisation des différentes poignées de joystick | ||
+ | * prise en main du capteur gyroscopique | ||
+ | |||
+ | ==== Jeudi matin ==== | ||
+ | |||
+ | * point et définition des objectifs du jour | ||
+ | * modélisation de la deuxième version du boîtier pour le thumbstick | ||
+ | * modélisation du bracelet pour le capteur gyroscopique | ||
+ | * traitement du signal du capteur gyroscopique | ||
+ | |||
+ | ==== Jeudi après midi ==== | ||
+ | |||
+ | * point d'avancement et objectifs de l'après midi | ||
+ | * modélisation du bracelet pour le capteur gyroscopique (suite) | ||
+ | * traitement du signal du capteur gyroscopique (suite) | ||
+ | * autocalibration du capteur | ||
+ | * test de la liaison bluetooth | ||
+ | * cablage du capteur myo pour le clic | ||
+ | * test du joystick ergonomique combiné avec le capteur myo | ||
+ | * bracelet prototype pour le capteur et test de déplacement de la souris avec le capteur gyroscopique | ||
+ | |||
+ | ==== Vendredi matin ==== | ||
+ | |||
+ | * point d'avancement | ||
+ | * connectivité bluetooth: configuration des maîtres/esclaves et appairage | ||
+ | * intégration boîtier joystick: câblage | ||
+ | * affinage du contrôle de la souris avec le gyro | ||
+ | |||
+ | ==== Vendredi après-midi ==== | ||
+ | |||
+ | * point point point | ||
+ | * préparation du roman photo | ||
+ | * connectivité bluetooth: protocole série | ||
+ | * fin de l'intégration boîtier joystick | ||
+ | * ajout du bluetooth et du capteur myo sur le prototype gyro | ||
+ | * montage du bracelet boîtier | ||
+ | |||
+ | [[Category:Projets]] | ||
+ | [[Category:Réalisés]] | ||
+ | [[Category:Motricité]] | ||
+ | [[Category:Membre supérieur]] |
Version actuelle datée du 7 avril 2023 à 17:01
Declic | |
---|---|
Informations | |
Description | Dispositif faisant office de souris permettant à des amputés de faire des combinaisons de touches. |
Catégorie | Membre supérieur |
Etat d'avancement | Réalisés |
Techniques | arduino, découpe laser, électronique, bluetooth |
Durée de fabrication | de 4 à 8 h |
Coût matériel | |
Niveau | Facile |
Licence | by-sa |
Date de création | 2019-10-16 |
Équipe | |
Porteur de projet | Bionico |
Contributeurs | Jlebunetel, LaurentM, Fabrice, Mickaël, Antony, Jamila, Fred |
Fabmanager | Jlebunetel |
Référent documentation | LaurentM |
Partenaires: | ArianeGroup |
Nom humanlab | Humanlab_MHK |
Documentation | |
Statut de la documentation | Complète |
Relecture de la documentation | Non vérifiée |
Présentation
Objectif
Utiliser une souris sans la main.
Contexte
Nico fait de la CAO mais il lui manque une main pour faire des combinaisons de touches (par exemple ctrl+clic gauche pour faire tourner un objet dans la vue 3d). Il souhaiterait disposer d'un dispositif faisant office de souris qui ne nécessiterait aucune configuration.
L'équipe
- Nico, MHK
- Julien, MHK
- Pauline, MHK
- Fabrice, Ariane Group
- Mickaël, Ariane Group
- Antony, Ariane Group
- Jamila, Ariane Group
- Fred, Ariane Groupe
- Laurent, FLOSSManual
Ressources
Les fichiers et sources produites pendant les trois jours sont disponibles sur un dépot git qui contient également les images et les sources des schémas utilisées dans cette page.
Cahier des charges
Fonctions
- déplacement du curseur sur l'écran
- clic gauche
- clic droit
Contraintes
- facilité/simplicité d'utilisation,
- pas de configuration, compatibilité (windows, linux, android...),
- simple pour s'équiper,
- robustesse,
- fonctionnel (au moins) avec une seul main valide,
- pas de calibration ou calibration simple,
- pas perturbé par l'environnement (EMC, champ magnétique, température),
- outils, matériaux et composants disponibles dans les fablabs,
- prix accessible.
Scénarios
Scénarios | |||
Scénario | Handicap | Solution | Interface |
---|---|---|---|
S1 | main manquante | joystick potentiomètres | filaire |
S2 | Avant bras manquant | Détection de mouvement | sans fil (étape avec fil) |
J1 | Avec Prothèse de main | Adaptation ergonomique joystick | filaire |
J2 | Avec moignon | Support à partir d'existant | filaire |
Scénario S1 : joystick
Afin de se familiariser avec Arduino et son utilisation comme un périphérique USB, nous décidons de commencer par l'idée la plus simple et qui permettrait d'avoir un démonstrateur le plus rapidement possible. Il s'agit d'utiliser un joystick de contrôleur de jeu vidéo (thumbstick), avec un arduino connecté en USB et directement reconnu comme une souris.
Le thumbstick est un joystick analogique (composé de deux potentiomètres) et qui fait également office de bouton poussoir.
Arduino reconnu comme un périphérique USB : le HID
Nous souhaitons que notre arduino soit reconnu comme un périphérique HID. Le HID (pour Human Interface Device) est une spécification qui permet à un periphérique d'être reconnu directement comme une souris ou un clavier, ce qui évite d'avoir recours à un driver, c'est à dire un logiciel spécifique installé sur l'ordinateur. Seule les arduinos utilisant le microcontrôleur 32u4 peuvent être reconnu comme HID. C'est le cas notamment des arduino DUE, Leonardo et Micro mais pas du Uno (le plus courant) ni du nano (le deuxième plus courant et le moins cher).
Nous utilisons une plateforme de prototypage existante qui permet de relier plusieurs capteurs analogiques ou des interupteurs sur une carte Arduino Leonardo. Nous avons un certain nombre de modules à disposition dont le fameux thumbstick, des joysticks "tout ou rien" (type borne d'arcade), des potentiomètres et des boutons d'arcade.
Un premier version fonctionnelle permettant de déplacer le curseur et de faire un clic gauche est assez rapidement développé à partir de l'exemple JoystickMouseControl
Le déplacement est effectué avec la fonction Mouse.move(x, y, wheel)
qui permet d'effectuer un déplacement relatif du pointeur en pixels. Nous trouvons des valeurs raisonnable de déplacement relatif de 5 à 10 pixels.
Un potentiomètre est ajouté pour permettre de régler la sensibilité du déplacement de la souris, qu'il faut adapter en fonction de l'utilisateur et de l'évolution de son niveau de maîtrise.
Clic !
L'utilisation du bouton poussoir pour contrôler la souris consiste à détecter les changements d'état du bouton : appui ou relachement. Nous utilisons pour cela l'objet bouton de la librairie Arduino MHK.
La librairie Mouse
d'Arduino permet de réaliser différentes actions :
- "press" : la souris est appuyée,
- "release" : la souris est relachée,
- "clic" : la souris est appuyée et relachée instantanément.
Clic droit
La principale amélioration consiste à ajouter un clic droit et un clic gauche maintenu, ceci à partir du seul bouton du thumbstick.
- si le bouton est relaché avant 0,5 secondes, alors c'est un clic gauche simple ("press" au clic, puis "release" au relâchement)
- si le bouton est relaché entre 0,5 et 1,5 secondes, c'est un clic droit ("clic droit" au relachement = "press" + "release" instantané).
- si le bouton est relaché après 1,5 secondes, le "press" est maintenu est ne sera relaché qu'au prochain clic, ce qui permet de réaliser un "cliquer-glisser" pour par exemple déplacer une fenêtre ou orbiter dans une vue 3D.
https://github.com/myhumankit/declic
Une fois le prototype fonctionnel, nous souhaitons réaliser une version intégrée, avec une carte Arduino plus compacte (micro) dans un boîtier dédié.
Code
La version finale du code de ce prototype est accessible sur le dépot git du projet dans le dossier code/arduino/declic_joystick
Électronique
Boîtier
Première version
Mickaël a d'abord modélisé un boitier inspiré de celui existant de forme hegagonal, avec un emplacement pour l'arduino micro ainsi qu'un trou pour le potentiomètre de réglage de sensibilité.
Seconde version
Après avoir passé un peu de temps avec le joystick original, Nico se rend compte qu'il est trop haut et risque de fatiguer rapidement le bras. Il souhaiterait pouvoir poser le coude comme avec une souris normale. Un nouveau boitier est donc conçu avec le joystick le plus près possible de la table et légèrement incliné vers le bras.
Scénario S2
Ce scénario consiste à utiliser un module accéléromètre/gyroscope permettant de contrôler la souris à partir de l'orientation du bras.
Dans un second temps, il s'agit d'ajouter une liaison sans fil par l'intermédiaire de deux modules bluetooth.
Traitement du signal du capteur gyroscopique
Ce type de module est composé de capteurs (acceléromètre MEMS et gyroscope MEMS) dont le signal est traité par un microcontrôleur embarqué et communiqué à l'aduino via un bus i2c.
Code
Les informations brutes de la carte sont récupérées par un sketch arduino trouvé ici.
Elles nécessitent ensuite d'être combinées puis filtrées afin de récupérer directement des valeurs d'angles dans l'espace correspondant au tangage, au roulis et à l'azimuth. Nous utilisons pour cela la bibliothèque Arduino MadgwickAHRS.
Traitement des angles obtenus
Avec les librairies utilisées, nous pouvons directement récupérer les angles d'Euler décrivant l'orientation dans l'espace de noter capteur.
Ils sont donnés en degrés entre -180 et 180. Une des difficultés consiste à centrer ces angles par rapport à la position du capteur au repos.
En position de repos, le roulis est de 180°. S'il dépasse cette valeur, il y a un effet de seuil (le cadran fait un tour) et l'angle reviens à -180°. Pour center les valeurs, il faut donc
- retrancher 180° à l'angle renvoyé au départ,
- une fois ce traitement effectué, ajouter 360° (un tour) aux valeurs inférieures à -180°
Les mouvements sont transformé de la manière suivante :
Utilisation du mouvement | ||
Déplacement | Mousement de la souris | angle |
---|---|---|
droite/gauche | X | roulis (roll) |
avant/arrière | Y | tangage (pitch) |
Le mouvement de rotation bras autour de son axe (angle d'azimuth, rotation autour d'un axe vertical) semble lui dur à exploiter car il ne fonctionne bien que quand le bras est à la vertical et il subit de plus une déviation continu dûe à l'absence de bousole
Fixation et test
La position du capteur sur le bras est cruciale pour que les angles de rotation correspondent aux déplacements souhaité.
Afin de réaliser des tests sur le bras de Nico, nous réalisons une fixation temporaire en carton/scotch/agraffes/scratch qui permet de fixer l'arduino et de capteur dans la bonne position.
Liaison bluetooth
Nous suivons ce tutoriel pour faire communiquer deux arduino par l'intermédiaire de deux cartes bluetooth.
Il faut dans un premier temps configurer les cartes bluetooth pour en configurer une en maître et l'autre en esclave.
Une fois les cartes bluetooth configurées, l'une d'elle va être relié à l'arduino du bras relié aux capteurs et l'autre à la carte arduino faisant office de "dongle" relié à l'ordinateur.
Nous mettons en place un protocole entre ces deux arduinos. Pour des raisons de simplicité et parce que le temps commence à manquer, le protocole est composé uniquement de message de une lettre tel que décrit ci-dessous :
// DICTIONARY // 'a' = nothing // 'b' = up // 'c' = upleft // 'd' = upright // 'e' = down // 'f' = downleft // 'g' = downright // 'h' = left // 'i' = right // 'j' = clickleft // 'k' = clickright // 'l' = longclickstart // 'm' = longclickstop
En pratique il serait bien d'ajouter le passage d'un ou plusieurs paramètres pour retrouver la sensibilité que l'on avait avant de passer par le bluetooth. Le valeur du déplacement envoyé à la souris dépendait alors de la position du capteur, alors qu'elle réagit maintenant par impulsion de 10 pixels.
Clic avec capteur myo
Jamila et Fred s'occupe d'utiliser le capteur myo "industriel" pour faire le clic souris. Ce capteur renvoie un signal analogique contrairement au bouton qui est digital. Ils utilisent donc l'objet virtualButton de la librairie MHK arduino.
Voici un exemple de code minimal pour utiliser le bouton virtuel de la librairie MHK
#include <MHK_Button.h> VirtualButton bouton(LOW); void setup(){ // configure Button object bouton.setHoldTime(500); // duration in ms: 0 to 65535 (default: 1000) bouton.setIdleTime(3000); // duration in ms: 0 to 65535 (default: 1000) bouton.setMultiTime(255); // duration in ms: 0 to 255 (default: 127) } void loop(){ int contraction = analogRead(A5); if (contraction > contraction_seuil) { bouton.set (1); } else { bouton.set (0); } }
Code
La version finale du code de ce prototype est accessible sur le dépot git du projet dans le dossier code/arduino.
On y trouve deux sketchs lié à ce prototype:
- declic_gyro_arm pour la partie capteur fixée sur le bras
- declic_gyro_dongle pour la partie dongle reliée à l'ordinateur
Électronique
Voici le schéma avec le câblage de la liaison bluetooth et des deux capteurs (gyro et myo)
Version finale
Scénario J1
Modélisation d'une poignée de joystick adapté à la prise en main par la prothèse.
Nico s'attele à modéliser dans freecad une poignée qu'on peut fixer à la place de la boule du joystick.
Scénario J2
Mickaël modélise un support ergnonomique en forme de U, adapté au moignon de Nico et qui s'adapte directement sur un joystick de fauteuil roulant.
Ce prototype parait bien meilleur à l'usage grâce à la fois au support ergonomique (confort) et à la meilleure résolution du joystick (précision, rapidité).
Ce joystick n'a pas de clic cependant. Nous cablons donc le capteur myo à cette fin et le résultat semble bien fonctionner.
Tous les prototypes
Déroulé
Pour souvenir, le déroulé détaillé de ces trois jours palpilants
Mercredi matin
- Introduction et tour de table
- Brainstorming objectifs, contraintes, scénarios, déroulé
- Des idées en vrac :
- tapis tactile
- différents type de joystick avec poignée adaptée.
- bracelet avec détecteur de mouvement pour le déplacement et pour le clic (rotation du bras pour le clic ?)
- bracelet avec détecteur de mouvement pour le déplacement et capteur myo pour le clic.
- initiation Arduino : Présentation de la lecture d'une entrée analogique (potentiomètre, joystick)
Mercredi après midi
- initiation arduino : utilisation de la librairie buton_MHK
- initiation arduino : HID
- réalisation du prototype/scénario S1
- modélisation des différentes poignées de joystick
- prise en main du capteur gyroscopique
Jeudi matin
- point et définition des objectifs du jour
- modélisation de la deuxième version du boîtier pour le thumbstick
- modélisation du bracelet pour le capteur gyroscopique
- traitement du signal du capteur gyroscopique
Jeudi après midi
- point d'avancement et objectifs de l'après midi
- modélisation du bracelet pour le capteur gyroscopique (suite)
- traitement du signal du capteur gyroscopique (suite)
- autocalibration du capteur
- test de la liaison bluetooth
- cablage du capteur myo pour le clic
- test du joystick ergonomique combiné avec le capteur myo
- bracelet prototype pour le capteur et test de déplacement de la souris avec le capteur gyroscopique
Vendredi matin
- point d'avancement
- connectivité bluetooth: configuration des maîtres/esclaves et appairage
- intégration boîtier joystick: câblage
- affinage du contrôle de la souris avec le gyro
Vendredi après-midi
- point point point
- préparation du roman photo
- connectivité bluetooth: protocole série
- fin de l'intégration boîtier joystick
- ajout du bluetooth et du capteur myo sur le prototype gyro
- montage du bracelet boîtier