\label{sec:activibe}
Using haptics as an output vocabulary to transmit information to users directly stems from my Master and Ph.D. work.
-I had the privilege and pleasure to collaborate with Stephen Brewster, who is also the inveentor of the concept of Tactons~\cite{brewster04}.
+I had the privilege and pleasure to collaborate with Stephen Brewster, who is also the inventor of the concept of Tactons~\cite{brewster04}.
I worked on several Tacton sets at the time: active~\cite{pietrzak05} and passive~\cite{pietrzak05a} force feedback, as well as pin-array Tactons~\cite{pietrzak06,pietrzak09}.
Here, I will discuss another project on Tactons called Activibe~\cite{cauchard16}.
However haptic technologies are evolving, and we can expect better actuators even in consumer electronics products in the future.
Therefore it would be interesting to push this work forward with better vibrotactile actuators \cite{mortimer07,yao10}, and use other tactile parameters such as frequency.
-\subsection{Tactile textures}
+\subsection{Tactile textures with programmable friction}
\label{sec:stimtac}
-command/effect relation
-singularity of the effects produced by research prototypes
+This next contribution is also about the extension of the haptic output vocabulary.
+However, contrary to the previous contribution, in this project we studied the output vocabulary for a new kind of tactile technology: programmable friction.
+Two different technologies exist for changing the perceived friction of a surface.
+The first one is electrovibration, and uses a high voltage signal on an
+electrode to stick the user's finger on the surface~\cite{strong70}.
+Therefore this technology incrreases the perceived friction.
+The second technology leverages the squeeze film effect to reduce the perceived friction~\cite{biet07}.
+Technically, the whole surface vibrates at a high frequency, typically tens of thousand Hertz~\cite{amberg11}.
+This frequency is way beyond the tactile sensitivity range.
+However, it creates an air cushion between the surface and the finger, which makes the surface feel more slippery.
+
+This project has two orthogonal challenges.
+First, the technology was new and developed by colleagues with expertise in electrical engineering.
+Therefore we had to work with research prototypes, called STIMTAC, that were evolving in parallel to our own studies.
+Second, we had to characterize the tactile sensations produced with this technology in order to define the output vocabulary.
+Our results guided the design of the devices and the improvements of the devices enabled better sensations.
+The co-evolution of both research activities pushed forward this technology, and it is today developped by Hap2U\footnote{\href{https://www.hap2u.net/}{https://www.hap2u.net/}}.
+
+\subsubsection{Technical considerations}
+
+Our colleagues built several prototypes.
+They glued an array of piezo-electric ceramics under the tactile surface.
+Their objective is to control the actuation of the ceramics to deform the whole surface consistently~\cite{biet07}.
+The ceramics are activated by two electrical signals with a phase shift between each other.
+The amplitude is maximized with a $180^\circ$ phase shift, and zero with a $0^\circ$ phase shift.
+The perceived friction depends on the vibration amplitude of the whole surface.
+Therefore the device cannot produce different tactile sensations on several fingers touching the surface.
+It is however possible to change the amplitude over time.
+In particular, the prototypes have sensors to locate the contact points so that we can adjust the tactile feedback depending on the finger position on the tactile surface.
+
+The typical feedback with this technology consists in steps between two slickness values~\cite{biet08}.
+Previous work shows for example that using sticky targets increases target selection performance~\cite{casiez11}.
+Authors showed that the increase of performance is due to the return of information, and not to a physical effect.
+
+\subsubsection{Perception of programmable friction}
+
+The connection between the command and what users perceive through their fingers is not trivial though.
+This is a typical example of the phenomenon discussed at the beginning of this chapter, and illustrated on Figure~\ref{fig:hapticpath}.
+Both the relation between the command and the vibration amplitude and the relation between the amplitude and the sensation of slickness are not linear~\cite{biet07}.
+They are affected by many environmental factors such as air moisturre, temperature; surface properties such as material, cleanliness; and fingers aspect: tribology, cleanliness, moisture.
+There are differences in performance between prototypes.
+Some of these differences are due to their hand-made nature, especially the ceramics glueing.
+Others are just due to the updates resulting from lessons learned with each prototype.
+The major consequence of this is that the actual values of of psychophysics studies results are tied to a particular prototype.
+They are hard to generalize.
+However, lessons learned are useful for improving the technology and understand its benefits and limitations.
+
+The first study in which I was involved consisted in evaluating the Just Noticeable difference (JND) of friction between two adjacent zones.
+The objective is to measure the useful resolution of the device.
+With this information, our colleagues can optimize the power consumption of the device, and we can design more complex patterns such as textures.
+This work was not published, therefore I will get in more details below.
+
+\paragraph{Methodology}
+
+%We experimented six reference levels, spread out linearly between the minimum and maximum command ($0^\circ$ to $180^\circ$ phase shift).
+%For the first three values ($0^\circ$, $36^\circ$, and $72^\circ$) we searched the minimum greater value for which participant could feel a step.
+%For the last three values ($108^\circ$, $144^\circ$, and $180^\circ$) we searched the minimum lower value for which participant could feel a step.
+We used an one-up/two-down adaptative method, which enables a faster convergence to the JND value~\cite{leek01}.
+It consists in reducing the intensity of the signal after two good answers, and augmenting it after one wrong answer (Figure~\ref{fig:adaptativeprocedure}).
+The evaluation of each trial used a 3-alternatives forced choice (3-AFC).
+This means participants were presented 3 configurations.
+One of them had a signal: a difference of friction between the left and right side of the device.
+This difference of friction corresponds to the intensity of the signal.
+%A randomly chosen side presented the tested reference level, and the other presented another value that depend on the tested intensity.
+The friction was uniform on the whole surface for the two other configurations.
+Participants had to tell which configuration presented a signal.
+This procedure reduces the chance level, and avoid anticipation biases.
+The position of the signal among the 3 configurations was random, and the side presenting the reference level was random as well.
+
+\begin{figure}[htb]
+ \definecolor{cellred}{rgb} {0.98,0.17,0.15}
+ \definecolor{cellblue}{rgb} {0.17,0.60,0.99}
+ \def\sx{4.7mm}
+ \def\sy{15mm}
+ \def\revthickness{1.5pt}
+
+ \newcommand{\good}[1]{
+ \node[x=\sx,y=\sy, inner sep=1mm,circle,fill=cellblue] at (#1) {};
+ }
+ \newcommand{\goodrev}[1]{
+ \node[x=\sx,y=\sy, inner sep=1mm,circle,fill=cellblue, line width=\revthickness, draw=black] at (#1) {};
+ }
+
+ \newcommand{\wrong}[1]{
+ \node[x=\sx,y=\sy, inner sep=1mm,circle,fill=cellred] at (#1) {};
+ }
+ \newcommand{\wrongrev}[1]{
+ \node[x=\sx,y=\sy, inner sep=1mm,circle,fill=cellred, line width=\revthickness, draw=black] at (#1) {};
+ }
+ \newcommand{\rev}[1]{
+ \node[x=\sx,y=\sy, inner sep=1mm,circle,line width=\revthickness, draw=black] at (#1) {};
+ }
+
+ \def\values{{4,4,3,3,2,2,1,2,2,1,1.3,1.3,1.6,1.6,1.3,1.3,1,1.3,1.3,1,1.3,1.3,1,1.3,1.6,1.6,1.3,1.6,1.6,1.3}}
+ \def\vtypes{{0,0,0,0,0,0,3,0,1,3,0,2,0,1,0,0,3,0,1,3,0,1,3,2,0,1,3,0,1,3}}
+
+ \begin{tikzpicture}
+ %Axis
+ \draw[x=1mm,y=1mm, <->]
+ (-5,70) -- (-5,0) -- (150,0);
+ \node[x=\sx,y=\sy] at (0,-0.3) {1};
+ \node[x=\sx,y=\sy] at (9,-0.3) {10};
+ \node[x=\sx,y=\sy] at (19,-0.3) {20};
+ \node[x=\sx,y=\sy] at (29,-0.3) {30};
+ \node[x=\sx,y=\sy] at (15,-0.6) {Trial};
+ \node[x=\sx,y=\sy,rotate=90] at (-2,2.5) {Intensity};
+
+ \draw[x=\sx,y=\sy, dotted, line width=1.2pt]
+ (13,1.3) -- (32,1.3);
+
+ %data
+ \foreach \i in {0,...,29} {
+ \pgfmathsetmacro{\ti}{\vtypes[\i]}
+ \ifthenelse{\ti=0}{\good{\i,\values[\i]}}{}
+ \ifthenelse{\ti=1}{\goodrev{\i,\values[\i]}}{}
+ \ifthenelse{\ti=2}{\wrong{\i,\values[\i]}}{}
+ \ifthenelse{\ti=3}{\wrongrev{\i,\values[\i]}}{}
+ }
+ \good{25,4} \node[x=\sx,y=\sy, align=left, anchor=west] at (25.5,4) {Good answer};
+ \wrong{25,3.5} \node[x=\sx,y=\sy, align=left, anchor=west] at (25.5,3.5) {Wrong answer};
+ \rev{25,3} \node[x=\sx,y=\sy, align=left, anchor=west] at (25.5,3) {Reversal};
+ \draw[x=\sx,y=\sy, dotted, line width=1.2pt] (24.7,2.5) -- (25.3,2.5); \node[x=\sx,y=\sy, align=left, anchor=west] at (25.5,2.5) {Estimated threshold};
+
+% \node[x=1mm,y=1mm, anchor=center] () at (160,-36){Set F};
+ \end{tikzpicture}
+ \caption[Adaptative procedure.]{Example of an adaptative procedure.}
+ \label{fig:adaptativeprocedure}
+\end{figure}
+
+The first trial of each block used the largest difference for the chosen reference value.
+For example with a reference command of $0^\circ$ the other value was $180^\circ$.
+Then, the value decreased of $1.8dB$ after two good answers in a row, and increased of $1.8dB$ after a wrong answer.
+After 3 reveresals we reduced the increment/decrement to $1.2dB$ since participants went closer to the perception threshold.
+The block ended at the $13\nth$ reversal.
+We estimated the threshold by averaging the values corresponding to the last 10 reversals.
+PArticipants typically performed between 30 to 50 trials per block.
+
+
+Six valeurs de référence ont été choisies pour le déphasage fixe utilisé dans un bloc, équitablement réparties sur la plage de fonctionnement du dispositif, correspondant à 0\%, 20\%, 40\%, 60\%, 80\% et 100\% de cette plage. Ces six valeurs correspondent aux conditions de l’expérience. Pour les trois premières, le déphasage variable est progressivement abaissé de 180° vers 0° pour réduire l’intensité du signal (approche descendante). Pour les trois dernières, il est au contraire augmenté de 0° à 180° pour obtenir le même effet (approche montante).
+
+Le dispositif utilisé pour cette expérience était un STIMTAC standalone semblable à celui de la Figure 2. La plaque vibrante de ce dispositif (75 x 40 mm de cuivre-béryllium) est recouverte d’un film plastique transparent filmolux® easy clear matt et 36 céramiques piézoélectriques sont collées dessous, 35 servant à la faire vibrer et la dernière mesurant l’amplitude de vibration. Ce dispositif était alimenté et connecté par USB à un PC sur lequel était exécuté une application spécifique implémentée avec la librairie tIO précédemment mentionnée. Un cache en plastique (non visible sur la Figure 2) était par ailleurs placé au-dessus de la plaque pour limiter la surface à explorer à une zone de 75 x 20 mm et réduire ainsi la variabilité possible de l’amplitude de vibration.
+
+Les sujets devaient s’asseoir et il leur était demandé de n’utiliser que l’index de leur main dominante. Les sujets portaient également un casque réducteur de bruit afin d’éviter qu’ils ne cherchent des indices sonores durant la tâche. La surface à explorer était nettoyée à l’alcool avant chaque bloc. La vitesse d’exploration était laissée libre, mais pour s’assurer que la marche soit explorée dans les deux sens, il était demandé aux sujets de réaliser au moins 3 aller-retours entre les zones gauche et droite. La procédure d’auto-ajustement de la fréquence de référence de tIO était appelée par le programme avant chaque phase d’exploration de chaque essai. Une représentation visuelle de la force attendue et de celle exercée sur la surface était présente à l’écran durant les phases d’exploration, les sujets ayant pour consigne de maintenir une force constante.
+L’expérience commençait par une phase de familiarisation où différents signaux étaient présentés au sujet afin qu’il comprenne ce qu’il allait devoir chercher et la force qu’il allait devoir appliquer. Un signal faible était ensuite présenté pour évaluer sa capacité à réaliser les 6 blocs prévus (aucun sujet n’a été écarté). Une fois cette phase de familiarisation terminée, l’expérience pouvait réellement commencer.
+Des éléments de jeu ont été utilisés pour rendre la tâche à réaliser plus attractive .
+Trois fantômes d’apparence visuelle semblable étaient présentés à l’écran (Figure 3), le but étant d’attraper celui présentant une différence au toucher. Le sujet pouvait passer d’un fantôme au suivant en appuyant sur la touche espace du clavier, mais ne pouvait pas revenir en arrière. Le temps passé sur chaque fantôme était de 12 secondes au plus pendant lesquelles le sujet pouvait explorer la surface et essayer de détecter le signal (la marche tactile). Le fantôme exploré était visuellement différencié des deux autres et un son (1, 2 ou 3 bips) était produit à chaque changement. Une fois les trois possibilités considérées, le sujet devait indiquer le fantôme ayant produit selon lui un retour tactile en appuyant sur la touche correspondante (1, 2 ou 3) du clavier. Aucun retour sur la qualité de la réponse n’était alors produit.
+
+12 sujets ont pris part à l’expérience (tous droitiers ; 9 hommes ; d’un âge moyen de 27,7 ans ; aucun n’ayant a priori de problème de sensibilité tactile). Le passage de chaque sujet était organisé en 2 sessions de 3 blocs entrecoupés de pauses, les sessions se déroulant sur deux jours différents. De 30 à 50 essais ont été réalisés par bloc, chaque bloc ayant duré moins de 20 minutes et leur ordre pour un sujet ayant été déterminé par un carré latin.
+
+\paragraph{Results}
+
+Les résultats de l’expérience ont été analysés dans l’espace des valeurs de déphasage (espace de la commande) ainsi que dans l’espace de l’amplitude de variation mesurée par la céramique piézoélectrique (Figure 4). Les seuils de détection (hauteurs minimales de la marche tactile) ont été analysés entre conditions à l’aide d’un test de Kruskal-Wallis pour données non-paramétriques.
+
+Nos analyses montrent un effet significatif de la valeur de référence dans l’espace de déphasage (p < 0,001), mais pas dans l’espace d’amplitude de vibration (p = 0,485). Un test de comparaison deux à deux montre une différence entre les conditions 20% et 0%, entre 80% et 100%, ainsi qu’entre 40% et 80%.
+La hauteur de marche minimum pour être détectée (MOY sur la Figure 4) varie suivant les sujets et la valeur de référence choisie. Ces variations peuvent s’expliquer en partie par des non linéarités entre la commande (le déphasage souhaité), la tension d’alimentation des céramiques et l’amplitude de vibration résultante. Nous pouvons toutefois proposer des recommandations générales pour le STIMTAC standalone. Pour être détectée à coup sûr, une marche de déphasage doit avoir une hauteur d’au moins 100°. Et toute marche inférieure à 10° a de grandes chances de ne pas pouvoir être détectée. La variabilité observée dans l’espace de l’amplitude de vibration s’explique sans doute également par celle de la pression exercée par les sujets, malgré sa représentation visuelle, et par l’échauffement du dispositif, malgré la procédure d’auto-ajustement de sa fréquence de référence. Pour palier à ces problèmes, il faudrait idéalement que le dispositif puisse être contrôlé en termes d’amplitude de vibration, et non de déphasage, et que les mesures faites par la céramique spécialisée soient utilisées pour asservir ce contrôle.
+Nous avons comparé les vitesses d’exploration 100 ms avant et après la traversée de la marche pour les 4 premiers essais de chaque bloc, où les marches sont les plus hautes. Une ANOVA à un facteur n’a montré aucun effet de la présence effective de la marche sur la vitesse (F(1,622) = 0,336 ; p = 0,562).
+L’absence de variation de vitesse entre les deux côtés des marches signifie que l’effet perçu n’est pas dû à des variations de mouvement mais plus probablement à la déformation de la peau, comme on l’observe sur des éléments tactiles classiques en relief. Dans ces conditions, la technologie STIMTAC pourrait-elle être utilisée pour simuler des reliefs et des creux par simples variations de frottement ? La nature même de cette technologie la rend a priori pour le moment incompatible avec la simulation de tels éléments physiques : le frottement étant modifié de la même manière sur toute la surface, le doigt ne pourra jamais toucher en même temps deux états différents, comme lorsqu’il traverse une arrête.
+
+\paragraph{Conclusion}
+
+Les résultats obtenus fournissent des informations utiles pour l’amélioration des dispositifs STIMTAC et la conception de retours tactiles par frottement variable. Les expériences pilotes et celle décrite ci-dessus ont mis en lumière une importante variabilité liée aux nombreuses non-linéarités entre la commande (déphasage) et l’effet produit (réduction de frottement), aux conditions environnementales (température, humidité), à la précision de la mesure de la position du doigt sur la plaque, à la sensibilité des personnes, etc. Les évolutions matérielles de la technologie STIMTAC (sous-projet 2) et les solutions intégrées développées dans le projet (sous-projets 3 et 4) permettront sans doute de réduire ces sources de variabilité dans un futur proche et d’étudier dans de meilleures conditions d’autres aspects comme la distance minimale nécessaire dans l’espace et le temps pour distinguer deux signaux tactiles élémentaires. Nos prochaines études expérimentales porteront sur des objets tactiles plus complexes : des textures. Le travail dans ce sens a déjà commencé . Nous étudions notamment en ce moment les moyens de nous abstraire (au moins en partie) de la technologie visée pour ce qui concerne la compréhension des dimensions caractéristiques des textures à base de frottement variable
+
+
+Figure~\ref{fig:stimtacmarches}) shows .
+
+
+\begin{figure}[htb]
+ \centering
+ \includegraphics{figures/stimtac_marches}
+ \caption[Stimtac marches]{Stimtac marches}
+ \label{fig:stimtacmarches}
+\end{figure}
+
+issue with JND between 80\% and 100\%
+
+\subsubsection{Output vocabulary: Tactile Textures}
Definition
-Tactile Textures~\cite{potier12,potier16}
+Tactile Textures~\cite{potier12}
+
+ground truth: paper?
+
+Tactile Textures~\cite{potier16}
\subsection{Vibrotactile widgets}
\label{sec:printgets}
projects / hdr.git / commitdiff