Intro
authorThomas Pietrzak <thomas.pietrzak@gmail.com>
Fri, 15 Apr 2022 19:57:38 +0000 (21:57 +0200)
committerThomas Pietrzak <thomas.pietrzak@gmail.com>
Fri, 15 Apr 2022 19:57:38 +0000 (21:57 +0200)
hdrmain.tex
tex/1-introduction.tex
tex/2-output.tex
tex/5-conclusion.tex

index c00b1807a1c6f8a7ca09bfbe35a45df3b2e3ae71..9d879e71fc16722f6a7a94019c52b8800f05bea9 100644 (file)
@@ -8,7 +8,7 @@
 \date{}\r
 \r
 %\includeonly{tex/0-titre,tex/00-tocs.tex,tex/2-output,tex/3-input}\r
-\includeonly{tex/0-titre,tex/00-tocs.tex,tex/1-introduction,tex/5-conclusion}\r
+\includeonly{tex/0-titre,tex/00-tocs.tex,tex/1-introduction,tex/4-loop, tex/5-conclusion}\r
 \r
 \begin{document}\r
 \r
index 98a558662439b0c1839019e0947e0b53876ff137..223ed2ede956d54a42bbe628b402450ad139d9ed 100644 (file)
 \newcommand\phdyear{2008}
 \newcommand\yearssincephd{\the\numexpr \the\year - \phdyear \relax} % F=m*a
 
-Intro générale.
-
-This manuscript starts where my Ph.D. manuscript ended, \yearssincephd~years ago.
-The objective of my research was to use haptics to help visually impaired children at school.
-My main contributions consisted in encoding information with touch, using Brewster's concept of Tactons~\cite{brewster04}.
-It was a pleasure and honor to me to have the opportunity to collaborate with his team on some of these projects.
-At this time, the way I viewed haptic at this point was a way to send information to users through their sense of touch.
-I designed different kinds of Tacton sets: force feedback with active exploration~\cite{pietrzak05}, passive exploration~\cite{pietrzak05a}, and pin arrays~\cite{pietrzak09,pietrzak06}.
-I used them in two educational applications: an electric circuits exploration software~\cite{pietrzak07a,pietrzak09a}, and a geometric shapes exploration software~\cite{pietrzak09a,pietrzak09b}.
-Let $n$ be the number of Tactons in the set, the theoretical number of bits each Tacton in this set can transmit is $log_2(n)$.
-For example, each Tacton in a set of 8 Tactons can transmit up to $3$ bits.
-I performed user studies to analyze confusions and deduced the number of bits effectively transmitted to users.
-This was an estimation of the throughput of this communication channel.
-Finally, I designed a multimodal API~\cite{pietrzak07b} to use these output modalities along with sound and 3D graphics.
-
-The first chapter…
-
-Input…
-The second chapter
-
-During the committee questions after my defense presentation, Yves Guiard talked for 15 minutes to tell me how he “liked my work but does not agree”.
-This was the most exciting moment of my defense.
-To this day we still talk about that each time we have the chance to meet.
-His point referred to Gibson's work on perception, especially his paper on active touch~\cite{gibson62}.
-In this paper, Gibson describes an experiment in which participants had to recognize the shape of cookie cutters with their sense of touch only.
-There were two conditions: half of the participants could only feel the cookie-cutter pressed on their hand, the other half could explore the contours with their fingers.
-It turned out that participants of the first condition recognized $29\%$ of the shapes, and participants of the other condition $95\%$ of the shapes.
-This experiment clearly shows that our exploration actions are as important as our sensations in our understanding of our environment.
-In my work, I made a consensual distinction between tactile and force feedback.
-I called tactile feedback sensations coming from the mechanoreceptors in the skin, and force feedback sensations coming from muscles, tendons, and joints~\cite{oakley00}.
-Pr. Guiard argued for a different taxonomy in which tactile feedback refers to sensations resulting from tangential movements, and force feedback refers to sensations resulting from normal movements.
-His taxonomy is certainly in line with Gibson's idea that our understanding of our environment depends on our exploratory movements.
-However, my understanding is that the actual sensations got lost in the way.
-We can however fill the gap with Lederman and Klatzky's work on exploratory movements~\cite{lederman87}.
-
-Indeed, I discussed the relation between movement and perception to some extent in my Ph.D. manuscript on several occasions, even if I was not aware of Gibson's work yet.
-The first time was when I designed force-feedback icons.
-The first Tacton set I published used active exploration with force feedback~\cite{pietrzak05}.
-Users manipulated a force feedback stylus (Phantom), which tip was constrained on a line.
-These Tactons consisted of bumps that varied in number, direction, and amplitude.
-Later, I created Tactons with passive exploration~\cite{pietrzak05a}.
-They also used a force feedback stylus, but this time the tip was stuck and dragged around in different directions, amplitudes, multiple times.
-The main difference between these Tactons is the active or passive exploration from users.
-Participants in my user studies perceived both kinds of Tactons.
-The difference was essentially the situations in which they could be used.
-Typically, in the electric circuits schematics exploration software I designed~\cite{pietrzak07a,pietrzak09a}, active exploration encoded electrical components.
-It enabled users to scan components and deduce their type.
-Passive exploration Tactons were used at joints, in which users could query the adjacent directions, and help them to explore the topology of circuits.
+% Intro générale.
+
+% This manuscript starts where my Ph.D. manuscript ended, \yearssincephd~years ago.
+% The objective of my research was to use haptics to help visually impaired children at school.
+% My main contributions consisted in encoding information with touch, using Brewster's concept of Tactons~\cite{brewster04}.
+% It was a pleasure and honor to me to have the opportunity to collaborate with his team on some of these projects.
+% At this time, the way I viewed haptic at this point was a way to send information to users through their sense of touch.
+% I designed different kinds of Tacton sets: force feedback with active exploration~\cite{pietrzak05}, passive exploration~\cite{pietrzak05a}, and pin arrays~\cite{pietrzak09,pietrzak06}.
+% I used them in two educational applications: an electric circuits exploration software~\cite{pietrzak07a,pietrzak09a}, and a geometric shapes exploration software~\cite{pietrzak09a,pietrzak09b}.
+% % Let $n$ be the number of Tactons in the set, the theoretical number of bits each Tacton in this set can transmit is $log_2(n)$.
+% % For example, each Tacton in a set of 8 Tactons can transmit up to \qty{3}{\bit}.
+% % I performed user studies to analyze confusions and deduced the number of bits effectively transmitted to users.
+% I performed user studies to analyze confusions and estimated the thoughput of this modality.
+% % This was an estimation of the throughput of this communication channel.
+% Finally, I designed a multimodal API~\cite{pietrzak07b} to use these output modalities along with sound and 3D graphics.
+
+
+% During the questions after my Ph.D. defense presentation, Yves Guiard talked for \qty{15}{\minute} to tell me how he “liked my work but does not agree”.
+% This was the most exciting moment of my defense.
+% To this day we still talk about that each time we have the chance to meet.
+% His point referred to Gibson's work on perception, especially his paper on active touch~\cite{gibson62}.
+% In this paper, Gibson describes an experiment in which participants had to recognize the shape of cookie cutters with their sense of touch only.
+% There were two conditions: half of the participants could only feel the cookie-cutter pressed on their hand, the other half could explore the contours with their fingers.
+% It turned out that participants of the first condition recognized \qty{29}{\percent} of the shapes, and participants of the other condition \qty{95}{\percent} of the shapes.
+% This experiment clearly shows that our exploration actions are as important as our sensations in our understanding of our environment.
+% In my work, I made a consensual distinction between tactile and force feedback.
+% I called tactile feedback sensations coming from the mechanoreceptors in the skin, and force feedback sensations coming from muscles, tendons, and joints~\cite{oakley00}.
+% Pr. Guiard argued for a different taxonomy in which tactile feedback refers to sensations resulting from tangential movements, and force feedback refers to sensations resulting from normal movements.
+% His taxonomy is certainly in line with Gibson's idea that our understanding of our environment depends on our exploratory movements.
+% However, my understanding is that the actual sensations got lost in the way.
+% We can however fill the gap with Lederman and Klatzky's work on exploratory movements~\cite{lederman87}.
+
+% Indeed, I discussed the relation between movement and perception to some extent in my Ph.D. manuscript on several occasions, even if I was not aware of Gibson's work yet.
+% The first time was when I designed force-feedback icons.
+% The first Tacton set I published used active exploration with force feedback~\cite{pietrzak05}.
+% Users manipulated a force feedback stylus (Phantom), which tip was constrained on a line.
+% These Tactons consisted of bumps that varied in number, direction, and amplitude.
+% Later, I created Tactons with passive exploration~\cite{pietrzak05a}.
+% They also used a force feedback stylus, but this time the tip was stuck and dragged around in different directions, amplitudes, multiple times.
+% The main difference between these Tactons is the active or passive exploration from users.
+% Participants in my user studies perceived both kinds of Tactons.
+% The difference was essentially the situations in which they could be used.
+% Typically, in the electric circuits schematics exploration software I designed~\cite{pietrzak07a,pietrzak09a}, active exploration encoded electrical components.
+% It enabled users to scan components and deduce their type.
+% Passive exploration Tactons were used at joints, in which users could query the adjacent directions, and help them to explore the topology of circuits.
+
+
+From Ancient Greek {\mygreek ἁπτικός} (haptikós, “able to come in contact with”), from {\mygreek ἅπτω} (háptō, “to touch”) + {\mygreek -ικός} (-ikós, “suffix forming an adjective from a noun”)\footref{https://en.wiktionary.org/wiki/haptic}.
+
+Document useful for anybody who wants to design, implement, or evaluate interactive systems, in particular with haptics.
 
 \paragraph{\refchap{chap:output}}
 
-\paragraph{\refchap{chap:input}}
+The \refchap{chap:output} extends my Ph.D. work during which I used haptics to help visually impaired children at school.
+I describe a haptics rendering pipeline that details the different steps on both the system and human side, and both the hardware and software parts.
+This pipeline highlights the possible causes of alteration of the original message between the softare and the user's mind.
+I explain the basics of haptic technologies and the sense of touch, then I discuss challenges for their design.
+The first challenge is about the output vocabulary and how we encode information with haptic cues.
+The second one is about intertwined relation between the engineering and the evaluation of haptic devices.
+The third challenge addresses the restoration of missing haptic properties of physical controls in multi-touch and gestural interaction.
+The fourth challenge is about the haptic properties of tangible controls and their effect on interaction.
+Then I discuss a number of contributions about these challenges.
 
-\paragraph{\refchap{chap:loop}}
+\paragraph{\refchap{chap:input}}
 
-While Chapter 2 and 3 are the vision I used to have, the point of the third chapter is to explain I should not have separated these three chapters.
+The \refchap{chap:input} presents a mirror vision of the work presented in \refchap{chap:output}.
+The input pipeline I discuss is almost identical to the haptic rendering pipleline, except that the user is initiating the action.
+In a similar way, this pipeline describes possible cause of alteration of the system's interpretation of the user's actionsintentions.
+I could not find an equivalent term of \emph{senses} for human outputs.
+For lack of anything better, I defined the term \emph{ability} and in particular the \emph{motor ability}.
+I describe the way it works, as well as the way input systems work.
+Then I present challenges for the design of input systems.
+The first challenge is about the sensing and interpretation of human abilities.
+The second one addresses the design of input vocabularies.
+The third challenges is about the relevance of unnatural inputs and the futility to replicate the physical world into the digital world.
+To address these challenges I present several contributions.
 
+\paragraph{\refchap{chap:loop}}
 
-From Ancient Greek {\mygreek ἁπτικός} (haptikós, “able to come in contact with”), from {\mygreek ἅπτω} (háptō, “to touch”) + {\mygreek -ικός} (-ikós, “suffix forming an adjective from a noun”)\footnote{\href{https://en.wiktionary.org/wiki/haptic}{https://en.wiktionary.org/wiki/haptic}}.
+While \refchap{chap:input} and \refchap{chap:output} described the vision of HCI I had at the beginning of my research career.
+This vision evolved as the sensorimotor loop kept having a greater importance in my work.
+The point of \refchap{chap:loop} is to explain that the first two chapters should have never been separated.
+%integrate the first two chapters into a whole that worth more than its parts.
+%explain I should not have separated these three chapters.
+It starts with studies that failed at improving interaction substantially because they followed the vision of the two first chapters.
+Then I discuss the connections between computing and the sensorimotor loop through models of human behavior and system and architectures and paradigms.
+[I propose new models that extend fundamental HCI models to make the connection with the ]
 
 % \begin{verbatim}
 % ==
index bfb21e61af13b1912d520bd5b727d32673f9caa4..ebe43374cb36584f0852220ee33eb6fc150fcc30 100644 (file)
@@ -96,7 +96,7 @@ Force-feedback systems typically use one of two major types of controls.
 The usual way to control a force-feedback system is to measure motion and compute a force, this is called \defword{impedance control}~\cite{ruspini97-2}.
 This is the most common technique, mostly because there are many easy and cheap ways to measure motion.
 A function that computes a force depending on movement is called a force model.
-Other systems sense forces and compute an output motion, this is called \defword{admittance control}~\cite{vanderlinde02}.
+Other systems sense forces and compute an output motion, this is called \defword{admittance control}~\cite{vanderlinde02,barnaby19}.
 This is less used because forces are harder to measure, especially if precision is required.
 The advantage of such systems is their much higher stiffness than inductance systems.
 It is also worth mentioning Electrical Muscular Stimulation (EMS) which directly stimulates muscles with electrical signals~\cite{tamaki10}.
index 5682a7783c5fb7ceec2da2e2c194ec4fb8e8b2f8..3defba885bec755d7f99ffe628c0b34eb2ded30c 100644 (file)
@@ -25,7 +25,7 @@
 %How could it be different?
 This document presents the evolution of my vision of Human-Computer Interaction as I practice it in my research.
 The first two chapters describe my early vision that either focuses on output and the sense of touch, or input and the motor ability.
-The third chapter describes the limits of this approach, and how the sensorimotor loop combines these two approaches to form a sum that worth more than its parts.
+The third chapter describes the limits of this approach, and how the sensorimotor loop combines these two approaches to form a whole that worth more than its parts.
 However, each chapter presents useful lessons learned from years of research.
 
 \refchap{chap:output} was the connection with my Ph.D., which essentially focused on haptic feedback.
@@ -65,9 +65,9 @@ In \refchap{chap:loop} I described interaction with three components: users and
 Each of these components is a source of research questions.
 So far, my research did not focus on any category of users, technology, or interaction context.
 I rather had a horizontal approach consisting in searching for appropriate solutions to any problem for any user.
-In my future research, I would like to focus on particular contexts, in order to favor incremental research and facilitate transfer of research results to the industry.
+In my future research, I would like to focus on particular contexts, in order to favor incremental research and facilitate transfer of research results to the industry as I will continue to shape my vision of HCI.
 
-\paragraph{Interaction in Metaverses}
+\paragraph{Interaction in the Metaverse}
 
 There is an increased interest in immersive virtual environments over the past few years.
 The idea of metaverses was already there decades ago in popular culture \cite{gibson84,stephenson92,cline11}.