Différences entre versions de « Projets:Bionic mouse »
Ligne 163 : | Ligne 163 : | ||
timerDown += 10; | timerDown += 10; | ||
} | } | ||
− | if(timerUp> | + | if(timerUp>10 and timerUp<=upDuration){ // Simple left click |
digitalWrite(2,HIGH); | digitalWrite(2,HIGH); | ||
delay(50); | delay(50); | ||
Ligne 227 : | Ligne 227 : | ||
Avec ce code, on utilise les contractions des parties supérieures et inférieures de l'avant-bras et la durée de contraction pour réaliser les différents clics. | Avec ce code, on utilise les contractions des parties supérieures et inférieures de l'avant-bras et la durée de contraction pour réaliser les différents clics. | ||
− | * Clic droit simple : il suffit de contracter la partie supérieure de l'avant-bras de façon brève, donc sans maintenir la contraction. Pour que la contraction soit reconnue comme un clic simple, il faut qu'elle dure au moins 10 ms (c'est très court rassurez vous) et moins de la valeur ''upDuration'' notée '''(3)''' (cf. plus loin). | + | * Clic droit simple : il suffit de contracter la partie supérieure de l'avant-bras de façon brève, donc sans maintenir la contraction. Pour que la contraction soit reconnue comme un clic simple, il faut qu'elle dure au moins 10 ms (c'est très court rassurez vous) et moins de la valeur '''''upDuration''''' notée '''(3)''' (cf. plus loin). |
* Double clic : il faut que la contraction haute dure entre ''upDuration'' et 2 fois ''upDuration''. | * Double clic : il faut que la contraction haute dure entre ''upDuration'' et 2 fois ''upDuration''. | ||
* Triple clic : il faut que la contraction haute dure entre 2*''upDuration'' et 4*''upDuration''. | * Triple clic : il faut que la contraction haute dure entre 2*''upDuration'' et 4*''upDuration''. | ||
− | * Clic gauche : | + | * Clic gauche : il suffit de contracter la partie ingférieure de l'avant-bras de façon brève. La contraction doit durer au moins 10 ms et au plus la valeur '''''downDuration'''''. |
− | * Clic droit maintenu : | + | * Clic droit maintenu : il faut que la contraction basse dure entre ''downDuration'' et 3*''downDuration''. Pour relacher le clic, il faut contracter de façon brève la partie haute de l'avant-bras. Faites attention à contracter brievement pour garder la sélection si jamais vous faites une sélection de texte avec le clic maintenu. |
+ | Intéressons nous maintenant aux valeurs notées '''**'''. | ||
− | |||
'''(1)''' et '''(2)''' sont les valeurs maximales atteintes par les signaux des EMG. La méthode de détermination de ces valeurs est détaillée à l'étape suivante. | '''(1)''' et '''(2)''' sont les valeurs maximales atteintes par les signaux des EMG. La méthode de détermination de ces valeurs est détaillée à l'étape suivante. | ||
− | '''(3)''' : C'est la durée d'une contraction de la partie haute de l'avant bras et elle dépend de chaque utilisateur. Plus cette valeur sera grande, plus il faudra maintenir la contraction longtemps pour | + | '''(3)''' : C'est la durée d'une contraction de la partie haute de l'avant bras et elle dépend de chaque utilisateur. Plus cette valeur sera grande, plus il faudra maintenir la contraction longtemps pour déclencher les clics double et triple. Je vous conseille de mettre une valeur assez grande au début (300-400 ms) le temps de vous habituer aux déclenchements des clics. Une fois que vous êtes à l'aise avec les différentes durées de contraction, vous pourrez diminuer cette valeur jusqu'à 200-250 voire 150 ms. Cela vous permettra de gagner en rapidité. A noter que cette valeur n'influence que les clics double et triple, le clic gauche simple est déclenché dès qu'il y a une contraction haute. |
+ | |||
+ | '''(4)''' : C'est la même chose que (3) mais pour la partie inférieure de l'avant-bras. Les valeurs (3) et (4) ne sont pas forcément les mêmes et vous serez peut-être plus à l'aise avec l'une des deux contractions, c'est pour ça qu'il vous faut adapter ces valeurs à vos préférences. Idem, je vous conseille de commencer avec une valeur assez grande (300-400 ms) et de diminuer cette valeur quand vous serez à l'aise. | ||
+ | Le détail des valeurs notées '''*''' est à retrouver à l'étape Aller plus loin. | ||
Version du 19 juillet 2021 à 12:43
Description du projet
Le but de ce projet est de réaliser une prothèse permettant à des utilisateurs dépourvus d'une main valide de pouvoir se servir d’une souris d’ordinateur.
Cette solution s'adapte au poignet universel commercialisé par l’entreprise Orthopus, et utilise les contractions musculaires de l’avant-bras comme de signaux de commande des clics de la souris.
Cahier des charges
Objectif : Contrôler le déplacement du curseur et des clics droit et gauche d'une souris d'ordinateur en utilisant les contractions musculaires de l'avant-bras comme signaux de commandes.
Pour qui : Pour toutes personnes désirant utiliser une souris d'ordinateur comme outil au bout d'un poignet universel recevant les signaux de contractions musculaires de l'avant-bras.
Fonctions :
- Déplacement du curseur sur l'écran
- Clic gauche
- Clic droit
Contraintes :
- Réalisable dans un FabLab
- La solution développée s’adapte sur le poignet universel
- La solution n’est pas exclusive, elle doit pouvoir se répliquer sur un maximum de souris
Combien :
Où : Au Humanlab, ou dans un Fablab proche de chez vous : Carte des Fablabs par Makery
Analyse de l'existant
Un projet similaire réalisé au Humanlab permet de contrôler un curseur d'ordinateur et de déclencher les clics de la souris à l'aide d'un joystick : le projet Dé'clic.
La différence est que le projet Dé'clic utilise un module HID (pour Human Interface Device) qui vient remplacer complètement la souris par le joystick alors que le projet Bionic Mouse transforme une souris classique d'ordinateur.
Equipe (Porteur de projet et contributeurs)
- Porteur de projet : Nico
- Contributeurs : Pierre M
- Animateur (coordinateur du projet)
- Fabmanager référent : Yo
- Responsable de documentation : Pierre M
Matériel nécessaire
- Emboiture d'avant-bras avec capteur EMG (ElectroMyoGramme) avec poignet universel et porte outil éléctrifié
- Souris d'ordinateur démontable, filaire ou non
- Carte Arduino Nano ou Mini pro 5V (et son adaptateur)
- Transistor 2N2222 x2
- Diode 1N4007 x1
- Circuit imprimé universel, suffisamment petit pour rentrer dans le boitier de la souris
- Fil électrique (coloré de préférence pour s'y retrouver plus facilement)
- Etain
- Roulement à billes 608zz x1
- Filament PLA ou ABS
- Vis allen pour la fixation au poignet universel
Outils nécessaires
- Tournevis de précision
- Fer à souder
- Pompe à dessouder
- Pince à dénuder
- Ordinateur avec le logiciel Arduino
- Carte Arduino Uno ou Nano
- Cable USB A-Mini USB (Nano et Mini) et USB A-USB B (Uno)
- Imprimante 3D
- Clef allen
Coût
Délai estimé
Fichiers source
Étapes de fabrication pas à pas
Pour cet exemple, on utilise une souris filaire NGS disponible ici, mais ces bidouilles sont reproductibles sur la plupart des souris.
1 - Démontage de la souris
La première étape est de repérer sur votre souris où est la petite vis qui maintient la souris entière. Elle peut être directement visible, cachée sous une étiquette, ou sous le capot des piles pour une souris bluetooth.
Cependant, il arrive que des souris ne soient pas démontables via une vis, je vous conseille donc de changer de souris pour vous éviter de forcer l'ouverture de la souris et de risquer de la casser.
2 - Retrait du circuit imprimé
Une fois la souris ouverte, il vous faut retirer le circuit imprimé afin d'accéder aux soudures de celui ci.
Faites attention à ne pas endommager les clips d'attache du circuit imprimé, par la suite on remettra le circuit à sa place et il faudra qu'il tienne en place pour que le système optique de la souris continue de fonctionner correctement.
Faites également attention à ne pas perdre le prisme en plastique en dessous de la souris.
3 - Dessoudage (ou dessoudure?) des boutons poussoirs des clics de la souris
Repérez les boutons poussoirs correspondants aux clics gauche (en bleu) et droit (en rose) de la souris.
A l'aide d'un fer à souder et d'une pompe à dessouder, retirez ces boutons poussoirs du circuit imprimé.
Repérez également quelles pattes du bouton poussoir étaient soudées au circuit imprimé. Ce sont à ces endroits que l'on soudera deux fils par clic plus tard.
Si jamais les trois pattes du boutons poussoirs étaient soudées, vérifiez où se fait la fermeture du bouton poussoir à l'aide d'un multimètre réglé sur la fonction "bipeur". Demandez de l'aide à un fabmanager si vous ne savez pas comment faire.
4 - Choix et connexion de la carte Arduino
Vous pouvez choisir une carte Arduino Nano ou une Mini pro. La différence majeure est que la Mini n'a pas de connecteur USB pour téléverser le code, il faut donc utiliser un adaptateur (cf. Matériel nécessaire), souvent disponible dans les Fablabs. En revanche elle a l'avantage d'être plus petite et moins chère que la Nano. Le choix vous revient. Les soudures finales seront similaires.
Je recommande toutefois l'Arduino Nano car le code peut être amené à changer au cours de l'utilisation de la souris, notamment en ce qui concerne la vitesse de clic. Ainsi, avec une Nano, il est plus facile de modifier le code car il y a un connecteur USB alors que la manip sera plus difficile avec une Mini pro.
4.1 - Arduino Nano
La carte Arduino Nano se connecte à l'ordinateur via un câble USB-Mini USB.
4.2 - Arduino Mini Pro
La carte Arduino Mini Pro se connecte à l'ordinateur via un adaptateur lui même relié à l'ordinateur par un câble USB-Mini USB.
5 - Explication du code Arduino
Récupérez le code Arduino ci-dessous.
int V0 = 350; // (1)** Max output value from the EMG captor for the upper part of the forearm int V1 = 350; // (2)** Same but for the lower part of the forearm int upDuration = 280; // (3)** Duration of an "up" contraction of the user int downDuration = 200; // (4)** Same but for a "down" contraction int timerUp = 0; // Timer for duration of the upper contraction int timerDown = 0; void setup() { Serial.begin(9600); pinMode(A0, INPUT); // Input from the EMG captor for the upper part of the forearm pinMode(A1, INPUT); // Input from the EMG captor for the lower part of the forearm pinMode(2, OUTPUT); // Output signal towards the left click pinMode(3, OUTPUT); // Output signal towards the right click } void loop() { digitalWrite(2,LOW); // Initialize the output signals to 0 to avoid persistent clicks between two loops. digitalWrite(3,LOW); timerUp = 0; timerDown = 0; while(upIsHold() and timerUp<4*upDuration){ // (5)* As long as the high contraction is maintained for at most 4*upDuration, delay(10); // the timer is incremented by 10 ms. timerUp += 10; } while(downIsHold() and timerDown<3*downDuration){ // (6)* Same for the low contraction for a maximum of 3*upDuration delay(10); timerDown += 10; } if(timerUp>10 and timerUp<=upDuration){ // Simple left click digitalWrite(2,HIGH); delay(50); digitalWrite(2,LOW); } else if(timerUp>upDuration and timerUp<=2*upDuration){ // Double click digitalWrite(2,HIGH); delay(50); digitalWrite(2,LOW); delay(50); digitalWrite(2,HIGH); delay(50); digitalWrite(2,LOW); } else if(timerUp>2*upDuration){ // Triple click digitalWrite(2,HIGH); delay(50); digitalWrite(2,LOW); delay(50); digitalWrite(2,HIGH); delay(50); digitalWrite(2,LOW); delay(50); digitalWrite(2,HIGH); delay(50); digitalWrite(2,LOW); } if(timerDown>10 and timerDown<=downDuration){ // Right click digitalWrite(3,HIGH); delay(50); digitalWrite(3,LOW); } else if(timerDown>downDuration){ // Hold click do{ digitalWrite(2,HIGH); }while(not(upIsHold())); digitalWrite(2, LOW); } // Serial.print(timerDown); Commands to display the different contraction times, in order to adapt the code to each individual // Serial.print(" "); // Serial.println(timerUp); // delay(80); } bool upIsHold(){ // Function to determine at the moment of the call whether there is a high contraction or not bool upIsHold = 0; if((analogRead(A0)>0.6*V0)and(analogRead(A1)<0.6*V1)) upIsHold = 1; // (7)* Threshold value for detecting high contraction, return upIsHold; // here set at 60% of the max contraction value V0 } bool downIsHold(){ // Same for a low contraction bool downIsHold = 0; if((analogRead(A1)>0.6*V1)and(analogRead(A0)<0.6*V0)) downIsHold = 1; // (8)* return downIsHold }
Ouvrez le fichier sur le logiciel Arduino de l'ordinateur. Si le logiciel n'est pas installé sur votre ordinateur, vous pouvez le télécharger ici et l'installer. (Le logiciel est gratuit rassurez vous (; )
Lisez attentivement les commentaires du code et repérez les endroits où les valeurs devront changer. Ces endroits sont repérés par * ou **. Les valeurs à changer necessairement sont repérées par **, celles notées * peuvent rester inchangées et relèvent d'un réglage encore plus fin des seuils de détection à modifier une fois la souris terminée.
Déclenchement des différents clics :
Avec ce code, on utilise les contractions des parties supérieures et inférieures de l'avant-bras et la durée de contraction pour réaliser les différents clics.
- Clic droit simple : il suffit de contracter la partie supérieure de l'avant-bras de façon brève, donc sans maintenir la contraction. Pour que la contraction soit reconnue comme un clic simple, il faut qu'elle dure au moins 10 ms (c'est très court rassurez vous) et moins de la valeur upDuration notée (3) (cf. plus loin).
- Double clic : il faut que la contraction haute dure entre upDuration et 2 fois upDuration.
- Triple clic : il faut que la contraction haute dure entre 2*upDuration et 4*upDuration.
- Clic gauche : il suffit de contracter la partie ingférieure de l'avant-bras de façon brève. La contraction doit durer au moins 10 ms et au plus la valeur downDuration.
- Clic droit maintenu : il faut que la contraction basse dure entre downDuration et 3*downDuration. Pour relacher le clic, il faut contracter de façon brève la partie haute de l'avant-bras. Faites attention à contracter brievement pour garder la sélection si jamais vous faites une sélection de texte avec le clic maintenu.
Intéressons nous maintenant aux valeurs notées **.
(1) et (2) sont les valeurs maximales atteintes par les signaux des EMG. La méthode de détermination de ces valeurs est détaillée à l'étape suivante.
(3) : C'est la durée d'une contraction de la partie haute de l'avant bras et elle dépend de chaque utilisateur. Plus cette valeur sera grande, plus il faudra maintenir la contraction longtemps pour déclencher les clics double et triple. Je vous conseille de mettre une valeur assez grande au début (300-400 ms) le temps de vous habituer aux déclenchements des clics. Une fois que vous êtes à l'aise avec les différentes durées de contraction, vous pourrez diminuer cette valeur jusqu'à 200-250 voire 150 ms. Cela vous permettra de gagner en rapidité. A noter que cette valeur n'influence que les clics double et triple, le clic gauche simple est déclenché dès qu'il y a une contraction haute.
(4) : C'est la même chose que (3) mais pour la partie inférieure de l'avant-bras. Les valeurs (3) et (4) ne sont pas forcément les mêmes et vous serez peut-être plus à l'aise avec l'une des deux contractions, c'est pour ça qu'il vous faut adapter ces valeurs à vos préférences. Idem, je vous conseille de commencer avec une valeur assez grande (300-400 ms) et de diminuer cette valeur quand vous serez à l'aise.
Le détail des valeurs notées * est à retrouver à l'étape Aller plus loin.
6 - Détermination des valeurs V0 et V1
Les valeurs seuils peuvent changer d'un utilisateur à l'autre, il faut donc vérifier quelles valeurs sont transmises par vos capteurs EMG jusqu'au bout du poignet universel. Repérez ces 4 fils :
- Vbatt (fil rouge souvent) : c'est la tension d'alimentation de la batterie de vos capteurs EMG
- GND (pour Ground) (fil noir souvent) : c'est la masse de vos capteurs EMG
- Signal EMG 1 : c'est le signal de votre premier capteur EMG
- Signal EMG 2 : idem pour le deuxième capteur
Munissez vous d'une carte Arduino Uno ou Nano (il faut qu'elle puisse se connecter directement à l'ordinateur) et faites les branchements ci-dessous avec le poignet. A noter que pour ce circuit on ne se servira pas du fil Vbatt du poignet.
Branchez la carte Arduino à l'ordinateur puis recopiez le code ci-dessous dans le logiciel Arduino. Vérifiez bien qu'il n'y a pas d'erreur dans le code en cliquant sur l'icône en haut à gauche.
void setup() { pinMode(A0, INPUT); // Entrée du capteur de la contraction haute / High contraction sensor input pinMode(A1, INPUT); // Entrée du capteur de la contraction basse / Low contraction sensor input Serial.begin(9600); } void loop() { Serial.print(analogRead(A0)); // Colonne de gauche / Left column Serial.print(" "); Serial.println(analogRead(A1)); // Colonne de droite / Right column delay(200); }
S'il n'y a pas d'erreur, allez dans Outils>Type de carte, et vérifiez que le type correspond bien à la carte branchée. Sélectionnez aussi le port de votre ordinateur correspondant et finalement, téléverser le code.
Ouvrez le moniteur série dans Outils>Moniteur Série (raccourci clavier Ctrl + Shift + M).
Si tout s'est bien passé, vous devriez voir défiler deux colonnes de valeurs : ce sont les valeurs des capteurs EMG transmises en direct par le poignet jusqu'à la carte Arduino. L'idée est de contracter la partie haute ou basse de l'avant-bras et de repérer les changements de valeurs.
Au repos, les valeurs affichées varient peu et tournent normalement autour de 0.
Maintenant, si vous simulez une levée de la main et contractez la partie haute de l'avant-bras (entrée A0), les valeurs affichées doivent augmenter pour la colonne de gauche, jusqu'à une valeur max V0. Pour être sûr de bien déterminer V0, faites plusieurs mesures en reproduisant ce mouvement de levée de la main, et faites une moyenne des différents maximums. Ainsi, vous avez déterminé la valeur V0! Notez cette valeur, on en aura besoin plus tard.
Attention : Il est important de bien différencier les câbles des contractions haute et basse. Si ce sont bien les valeurs de la colonne de gauche qui varient pour une contraction de la partie haute de l'avant-bras, alors les branchements sont corrects et vous pouvez noter quel fil correspond à quelle contraction. Si en revanche ce sont les valeurs de la colonne de droite qui augmentent lors de la contraction de la partie haute de l'avant-bras, c'est tout simplement qu'il faut inverser les câbles d'entrées de l'Arduino : le câble branché en A0 doit en fait être branché sur A1, et inversement. Une fois le changement fait, notez que le fil branché en A0 correspond à la contraction haute.
De la même manière, déterminez la valeur V1 avec cette fois une contraction de la partie basse de l'avant-bras.
7 - Modification du code Arduino de l'étape 5
De retour sur ce code, vous pouvez désormais remplacez les constantes V0 et V1 par les valeurs déterminées à l'étape 6.
Une fois toutes les modifications faites, vérifiez encore une fois qu'il n'y a pas d'erreur dans le code et finalement téléversez le sur votre carte Arduino Nano ou Mini.
8 - Alimentation de la carte Arduino