Introduction first-full-draft
authorThomas Pietrzak <thomas.pietrzak@gmail.com>
Tue, 19 Apr 2022 14:14:46 +0000 (16:14 +0200)
committerThomas Pietrzak <thomas.pietrzak@gmail.com>
Tue, 19 Apr 2022 14:14:46 +0000 (16:14 +0200)
hdrmain.tex
mystyle.sty
tex/1-introduction.tex
tex/4-loop.tex

index 9d879e71fc16722f6a7a94019c52b8800f05bea9..c40e0bbe9564871e1d5ff56a484e1f9978c341bf 100644 (file)
@@ -3,12 +3,12 @@
 \r
 \usepackage{mystyle}\r
 \r
-\title{HDR}\r
-\author{\Large Thomas Pietrzak}\r
-\date{}\r
+\title{On the critical role of the sensorimotor loop on the design of interaction techniques and interactive devices}\r
+\author{Thomas Pietrzak}\r
+\date{2022}\r
 \r
 %\includeonly{tex/0-titre,tex/00-tocs.tex,tex/2-output,tex/3-input}\r
-\includeonly{tex/0-titre,tex/00-tocs.tex,tex/1-introduction,tex/4-loop, tex/5-conclusion}\r
+%\includeonly{tex/0-titre,tex/00-tocs.tex,tex/1-introduction,tex/5-conclusion}\r
 \r
 \begin{document}\r
 \r
index afa5c6217ff8bc65e13b0782b4da8ede5a1e8a38..b1ec0edf3f3991030bacae390df3281761870920 100644 (file)
@@ -31,6 +31,8 @@
 \usepackage{booktabs}
 \usepackage{ifxetex}
 
+\usepackage{fontawesome5}
+
 \usepackage[Latin,Greek]{ucharclasses}
 \ifXeTeX
   \usepackage{fontspec}
 % don't split references
 \patchcmd{\bibsetup}{\interlinepenalty=5000}{\interlinepenalty=10000}{}{}
 
+% Highlighting annotated authors
+\DeclareBibliographyCategory{highlight}
+
+\DeclareIndexNameFormat{IsHighlighted}{%
+  \ifitemannotation[author]{highlight}
+    {\addtocategory{highlight}{\thefield{entrykey}}}
+    {}}
+
+\AtDataInput{%
+  \indexnames[IsHighlighted][1-999]{author}}
+
 % highlight authors 2:
 % author+an = {2=highlight},
 \renewcommand*{\mkbibnamegiven}[1]{%
     {\textbf{#1}}
     {#1}}
 
+
+% Best papers
+\DeclareSourcemap{
+    \maps[datatype=bibtex]{
+      \map{
+        \step[fieldsource=award]
+        \step[fieldset=usera,origfieldval]
+    }
+  }
+}
+
+\DeclareBibliographyCategory{best}
+\DeclareBibliographyCategory{honor}
+
+\DeclareIndexFieldFormat{IsBest}{%
+  \ifthenelse{\equal{#1}{best}}{
+    \addtocategory{best}{\thefield{entrykey}}
+  }{
+    \addtocategory{honor}{\thefield{entrykey}}
+  }
+}
+
+\AtDataInput{%
+  \indexfield[IsBest]{usera}}
+
+% Citations and references with at least 
+% one annotated author should be bold
+\DeclareFieldFormat{labelprefix}{%
+  \ifcategory{highlight}
+    {\textbf{#1}}
+    {#1}}
+
+\DeclareFieldFormat{labelnumber}{%
+  \ifcategory{highlight}
+    {\textbf{#1}}
+    {#1}}
+
+\definecolor{awardcolor}{gray}{0.5}
+
+\DeclareFieldFormat{labelnumberwidth}{%
+  \ifcategory{best}{\llap{\color{awardcolor}\faTrophy\hspace{2mm}}}{}%
+  \ifcategory{honor}{\llap{\color{awardcolor}\faAward\hspace{2.55mm}}}{}%
+  \ifcategory{highlight}
+    {\textbf{\mkbibbrackets{#1}}}
+    {\mkbibbrackets{#1}}}
+
+% \AtEveryBibitem{%
+%   \ifcategory{highlight}
+%     {\bfseries}
+%     {}}
+
+
 % For code listings
 \usepackage{listings}
 
index 45f24776d786114d7589aa2a85491a74bd14d825..50beb2c822680bf2f9db02a4088c591ce5e55cbf 100644 (file)
@@ -10,7 +10,9 @@
 % The great secret of the successful fool is that he's no fool at all. Isaac Asimov
 
 \newcommand\phdyear{2008}
+\newcommand\positionyear{2011}
 \newcommand\yearssincephd{\the\numexpr \the\year - \phdyear \relax} % F=m*a
+\newcommand\yearssinceposition{\the\numexpr \the\year - \positionyear \relax} % F=m*a
 
 % Intro générale.
 
 
 % From Ancient Greek {\mygreek ἁπτικός} (haptikós, “able to come in contact with”), from {\mygreek ἅπτω} (háptō, “to touch”) + {\mygreek -ικός} (-ikós, “suffix forming an adjective from a noun”)\footref{https://en.wiktionary.org/wiki/haptic}.
 
-My research domain is Human-Computer Interaction.
-
-
-This document is intended to be useful for anybody who wants to design, implement, or evaluate interactive systems, in particular with haptics.
-Therefore, it rather covers the basics of many notions I consider as important rather than focus on particular points.
-Indeed, each of this notions is extensively studied in the literature.
+My research domain is Human-Computer Interaction (\defacronym{HCI}).
+I study the interaction phenomenon between people and interactive systems.
+To produce such phenomenons I design and implement interaction techniques and interactive devices.
+Most of the work in this document is related to haptics in the broad sense.
+The word \emph{haptics} comes from the ancient Greek word {\mygreek ἁπτικός} or \emph{haptikós} which means to touch, contact, manipulate\footurl{https://en.wiktionary.org/wiki/haptic}.
+Therefore I not only refer to haptics as a way to stimulate the human sense of touch, but also the human ability to perform motor actions.
+I discuss how my focus was initially on these two notions separately, and how I finally combined these two approaches and now focus on the sensorimotor loop.
+Therefore, haptics is in the end a pretext to discuss the sensorimotor loop, which is the true focus of my work today.
+
+I describe my research since I got my Maître de Conférences position at the University of Lille in September 2011.
+I started my research at \href{https://www.cristal.univ-lille.fr/}{CRIStAL} and \href{https://www.inria.fr}{Inria} in the \href{https://www.cristal.univ-lille.fr/mint/}{Mint} project team.
+The Mint research themes were tactile and gestural interaction.
+Then, I joined the \href{http://mjolnir.lille.inria.fr/}{Mjolnir} research group with other Mint members.
+We worked on tools to empower people, in the vein of Engelbart and Bush's visions~\cite{bush45,engelbart68}.
+%, and with a larger view on HCI.
+Finally, this research group became \href{https://loki.lille.inria.fr/}{Loki}, with a focus on technology and knowledge for interaction.
+These themes, and more generally the exceptional working environment I have been working in for \yearssinceposition~years had and still have a large impact on my work and my vision of my research field I will describe in the next chapters.
+
+I have been thinking for years about the form this document should take.
+I decided to write a document that I hope to be useful for anybody who wants to design, implement, or evaluate interactive systems, in particular, but not limited to haptics.
+%This document is intended to be useful for anybody who wants to design, implement, or evaluate interactive systems, in particular with haptics.
+My core expertise is in Computer Science, but research in HCI is typically interdisciplinary.
+HCI experts will probably not be surprised to read elements of experimental psychology, electronics, robotics, or design for example.
+Other readers must understand that the force of our research domain, at least the way I practice my research, is not to dig into known problems as deeply as possible, should the focus be very narrow.
+We do not focus on a particular technology or methodology for example.
+On the opposite, we are open to any problem, that we must characterize before searching for appropriate solutions.
+Hence, we rather need a large overview of methodologies, technologies, and knowledge.
+Thanks to this kind of expertise, we are used to making bridges between research communities, and keeping an overview of the large picture rather than focusing on a tiny part of the problem.
+For example, in 2019 with \href{https://www.mcgill.ca/music/marcelo-m-wanderley}{Marcelo Wanderley} we revived the HAID workshop\footurl{http://haid2019.lille.inria.fr/} that brings together researchers and practitioners in HCI, haptics, and music.
+Therefore, this document rather covers the basics of many notions I consider as important rather than focusing on particular points.
+Indeed, each of these notions is extensively studied in the literature.
 The interested reader will find entry points to this literature in this document.
 
+% Ce mémoire décrit les travaux de recherche que j’ai effectués au sein de l’équipe Pro- grammation et Génie Logiciel du Laboratoire de Recherche en Informatique (LRI) depuis mon recrutement comme Maître de Conférences à l’Université Paris-Sud, en septembre 2001, et en tant que membre du projet In Situ de l’INRIA depuis sa création en jan- vier 2002. Ces travaux s’inscrivant dans la continuité de mes travaux antérieurs, il me semble toutefois utile de revenir brièvement sur quelques éléments mentionnés dans ma thèse [Roussel, 2000a]1.
+
 \paragraph{\refchap{chap:output}}
 
 The \refchap{chap:output} extends my Ph.D. work during which I used haptics to help visually impaired children at school.
 I describe a haptics rendering pipeline that details the different steps on both the system and human side, and both the hardware and software parts.
-This pipeline highlights the possible causes of alteration of the original message between the softare and the user's mind.
-I explain the basics of haptic technologies and the sense of touch, then I discuss challenges for their design.
+This pipeline highlights the possible causes of alteration of the original message between the software and the user's mind.
+I explain the basics of haptic technologies and the sense of touch, then I discuss the challenges of their design.
 The first challenge is about the output vocabulary and how we encode information with haptic cues.
-The second one is about intertwined relation between the engineering and the evaluation of haptic devices.
+The second one is about the intertwined relationship between engineering and the evaluation of haptic devices.
 The third challenge addresses the restoration of missing haptic properties of physical controls in multi-touch and gestural interaction.
 The fourth challenge is about the haptic properties of tangible controls and their effect on interaction.
-Then I discuss a number of contributions about these challenges.
+Then I discuss a number of contributions to these challenges.
 
 \paragraph{\refchap{chap:input}}
 
 The \refchap{chap:input} presents a mirror vision of the work presented in \refchap{chap:output}.
-The input pipeline I discuss is almost identical to the haptic rendering pipleline, except that the user is initiating the action.
-In a similar way, this pipeline describes possible cause of alteration of the system's interpretation of the user's actionsintentions.
+The input pipeline I discuss is almost identical to the haptic rendering pipeline, except that the user is initiating the action.
+In a similar way, this pipeline describes the possible causes of alteration of the system's interpretation of the user's intentions.
 I could not find an equivalent term of \emph{senses} for human outputs.
 For lack of anything better, I defined the term \emph{ability} and in particular the \emph{motor ability}.
 I describe the way it works, as well as the way input systems work.
 Then I present challenges for the design of input systems.
 The first challenge is about the sensing and interpretation of human abilities.
 The second one addresses the design of input vocabularies.
-The third challenges is about the relevance of unnatural inputs and the futility to replicate the physical world into the digital world.
+The third challenge is about the relevance of unnatural inputs and the futility to replicate the physical world into the digital world.
 To address these challenges I present several contributions.
 
 \paragraph{\refchap{chap:loop}}
 
 While \refchap{chap:input} and \refchap{chap:output} described the vision of HCI I had at the beginning of my research career.
-This vision evolved as the sensorimotor loop kept having greater importance in my work.
+This vision evolved as the sensorimotor loop kept having greater importance in my work.
 The point of \refchap{chap:loop} is to explain that the first two chapters should have never been separated.
-%integrate the first two chapters into a whole that worth more than its parts.
+%integrate the first two chapters into a whole that is worth more than its parts.
 %explain I should not have separated these three chapters.
 This chapter starts with studies that failed at improving interaction substantially because they followed the vision of the two first chapters.
 Then I discuss the connections between computing and the sensorimotor loop through models of human behavior, system architectures, and interaction paradigms.
 I propose an interpretation of these models that describe both the software and hardware levels.
-I conclude with tthe description of contributions that leverage the sensorimotor loop for gestural interaction, and the sense of embodiment in immersive virtual reality.
+I conclude with the description of contributions that leverage the sensorimotor loop for gestural interaction, and the sense of embodiment in immersive virtual reality.
 
 % \begin{verbatim}
 % ==
index 4e4be940c0a0e337e66158a3965234c3337d0a8a..4635c93add237d581ee182f9e1bf5765834a8820 100644 (file)
@@ -722,6 +722,17 @@ The advantage of this approach is that it leverages the sensorimotor and executi
 
 \input{figures/wholeschema.tex}
 
+We notice that the way I describe the system on \reffig{fig:mysevenstages}, it reacts to the user's initiative, and Norman's model on \reffig{fig:sevenstages} starts with the goal at the top.
+When we connect both, the cycle starts from the user, goes through the systems, and returns to the user.
+This is an example of Beaudouin-Lafon's \emph{computer-as-a-tool} paradigm, which is the usual paradigm in HCI.
+The \emph{computer-as-a-partner} paradigm would look like a symmetric model in which the system has an objective, and the user would react to the system's requests.
+This is basically the \emph{human-in-the-loop} approach I mentioned above, favored in AI and automatics.
+%Besides, the model on \reffig{fig:mysevenstages} is usually hierarchic ways in practice because systems are made of independent software and hardware components.
+
+
+%Beaudouin-Lafon's interaction paradigms: \emph{computer-as-a-tool}, the others being \emph{computer-as-a-partner} and \emph{computer-as-a-medium}~\cite{mbl04}.
+
+
 % \begin{algorithm}[htb]
 %   \SetAlgoLined
 %   \caption{Typical main function of an interactive application}