Sensory substitution, exploratory procedures
authorThomas Pietrzak <thomas.pietrzak@gmail.com>
Mon, 21 Mar 2022 16:00:25 +0000 (17:00 +0100)
committerThomas Pietrzak <thomas.pietrzak@gmail.com>
Mon, 21 Mar 2022 16:00:25 +0000 (17:00 +0100)
figures/wholeschema.tex
mystyle.sty
tex/0-titre.tex
tex/4-loop.tex

index 035b84fabe36856b9ef43d1c607bdfc70af20e03..bbadc6058990e20de700313f3c48cbafd2fcf966 100644 (file)
@@ -17,8 +17,8 @@
     \fill[color=black!10] (0,0) -- (45:25) arc[start angle=45, end angle=-45, radius=25] -- cycle;
     \fill[color=black!10] (0,0) -- (135:25) arc[start angle=135, end angle=225, radius=25] -- cycle;
 
-    %Thoughts
-    \path[decorate, decoration={text along path, text={|\color{black}|Thoughts},text align=center, raise=-0.5ex}] (135:\leveltwo) arc[start angle=135, end angle=45, radius=\leveltwo];
+    %Cognition
+    \path[decorate, decoration={text along path, text={|\color{black}|Cognition},text align=center, raise=-0.5ex}] (135:\leveltwo) arc[start angle=135, end angle=45, radius=\leveltwo];
 
     %Computing
     \path[decorate, decoration={text along path, text={|\color{black}|Computing},text align=center, raise=-0.5ex}] (225:\leveltwo) arc[start angle=225, end angle=315, radius=\leveltwo];
index f7c2d3aa357fa768f41d664240e84c5113a469e0..ee28d65a34bebc3fcd1d6acab4583b8d6af9cb6f 100644 (file)
 \definecolor{subsubsectioncolor}{HTML}{992222}
 \definecolor{paragraphcolor}{HTML}{992222}
 \definecolor{abstractcolor}{rgb}{0.95,0.95,0.95}
-\definecolor{gray75}{rgb}{0.75,0.75,0.75}
-\definecolor{gray95}{rgb}{0.95,0.95,0.95}
-\definecolor{gray90}{rgb}{0.9,0.9,0.9}
+\definecolor{gray75}{gray}{0.75}
+\definecolor{gray95}{gray}{0.95}
+\definecolor{gray90}{gray}{0.9}
 \definecolor{linkcolor}{HTML}{992222}
 \definecolor{ideecolor}{HTML}{f9eeee}
-\definecolor{mainheader}{rgb}{0.9,0.9,0.9}
-\definecolor{chapterback}{rgb}{0.7,0.7,0.7}
+\definecolor{mainheader}{gray}{0.9}
+\definecolor{chapterback}{gray}{0.7}
 
 \newcommand\brectangles{%
 \begin{tikzpicture}[overlay, remember picture]
 \newcommand{\centrevertical}[1]{\raisebox{-\height + \ht\@arstrutbox}{#1}}
 \makeatother
 
-\newcommand{\footurl}[1]{\footnote{\href{#1}{\replunderscores{#1}}}}
+\usepackage{url}
+\urlstyle{same}
+%\newcommand{\footurl}[1]{\footnote{\href{#1}{\replunderscores{#1}}}}
+\newcommand{\footurl}[1]{\footnote{\url{#1}}}
 
 \makeatletter
 % \expandafter for the case that the filename is given in a command
index 4b7ab10c7fd5397a5a1dbe253cb2aa4c730a7d95..d11a393c1f687b3ff11074a716f897d1a9d3cb79 100644 (file)
       \noindent\begin{tabular}{@{}l@{\hspace{1.5mm}}l@{\hspace{1.5mm}}l@{\hspace{1.5mm}}l@{}}
         \emph{Rapporteurs} & Karon MacLean & Professeure & University of British Columbia\\
         & Laurence Nigay & Professeure & Université Grenoble Alpes\\
-        & Philippe Palanque & Professeur & Université Toulouse III -- Paul Sabatier\\
+        & Philippe Palanque & Professeur & Université Toulouse III - Paul Sabatier\\
         \\
         \emph{Examinateurs} & Michel Beaudouin-Lafon & Professeur & Université Paris-Saclay\\
+        & Dominique Bechmann & Professeure & Université de Strasbourg\\
         & Andy Cockburn & Professeur & University of Canterbury\\
-        & XXX & Professeur & XXX\\
         & Christian Duriez & Directeur de Recherches & Inria\\
         \\
         \emph{Garant} & Stéphane Huot & Directeur de Recherches & Inria\\
index 411dca7f309667a29ec17e373f57a3f58654f96f..8631f2bebf0dbb692176a88991201ef8da8e77bf 100644 (file)
@@ -61,7 +61,6 @@ Therefore we opted for a wearable haptic device for the wrist.
 
 \paragraph{Apparatus}
 
-\fixme{C2 tactors\cite{mortimer07}}
 There are several reasons to discuss the design and implementation of the prototype in this document.
 First it is designed for expressivity with simplicity.
 Second the iterative process is an interesting case study that led to guidelines regarding the implementation of interative systems.
@@ -69,13 +68,13 @@ It helped me with the ideation of the concept depicted in \reffig{fig:hapticpath
 
 We discussed the output vocabulary of vibrotactile feedback in \refchap{chap:output}.
 The independent control of both the frequency and amplitude of the signal is necessary for an expressive output vocabulary.
+It requires precise actuators such as the EAI C2 tactors we used \cite{mortimer07}.
 The typical way to drive precise vibrotactile actuators is to use a sound generation system.
 This is convenient because the parameters of the signal are the same: frequency, amplitude, and shape.
 The main difference is the frequency range: \qtyrange{1}{1000}{\hertz} for haptics and \qtyrange{200}{20}{\kilo\hertz} for sound.
 Managing the amplitude is easier with vibrations because the required amplitude levels are much lower.
 In the end, the shape parameter is in my opinion the bottleneck of complexity for the implementation of vibrotactile devices because it imposes a much higher sampling rate.
 It makes the design of sound generation systems complex, especially with microcontrollers available at the time this project started.
-
 For the sake of simplicity, I rather opted for a straightforward design that enabled the precise control of both frequency and amplitude at the cost of a low control of the signal shape\footnote{Controlling the signal shape remains possible, with a software $\Delta\Sigma$ modulation \href{https://tiny.one/DeltaSigma}{https://tiny.one/DeltaSigma}.}.
 The idea is to control the frequency and amplitude with two PWM signals generated by the timers of a microcontroller (\reffig{fig:actuatorcircuit}).
 The frequency signal typically ranges between \qtyrange{1}{1000}{\hertz}.
@@ -343,8 +342,16 @@ His work mainly focused on visual perception, but he also studied other senses l
 The idea is essentially that the perception we have of environment is not just based on a bunch of input stream from our senses.
 It is the integration of these input streams with the exploratory movement that we made, with our memories and experience.
 This is because the input streams depend on the exploratory movements, and we make these exploratory movement to seek for information and match it with our previous knowledge to shape our perception.
-
-This theory involves a close relation between the animal (humans in our case) and its environment.
+The nature of the movement itself, that Lederman and Klatzky call exploratory procedures~\cite{lederman87,lederman96}, enables people to sense different properties of objects.
+For exemple with a lateral motion we can feel the texture of an object, and with a pressure we can feel its hardness.
+When we enclose an object with our hands we cans sense its volume and global shape, but if we follow its contours with our fingers we can not only sense its global but also exact shape.
+This intertwined relation of sensations and active exploration in our perception enables outstanding paradigms.
+For example sensory substitution consists in translating information that is typically sensed with one sense to another sense~\cite{bachyrita72}.
+Several sensory substitution  devices use the sense of touch with active exploration gestures to replace vision \cite{collins73,linvill66,bliss70,gapenne03}.
+They typically enable blind people to read printed books, or scan their environment with a haptic white cane.
+Without active exploration, our brain cannot process such a tactile input stream.
+
+Gibson's theory involves a close relation between the animal (humans in our case) and its environment.
 Gibson makes a difference between the physical world and the environment.
 The physical world refers everything between the smallest particles to the biggest possible objects like galaxies.
 The environment refers to what is reachable for the animal, in particular in terms of size.
@@ -380,8 +387,13 @@ Because of this, Norman makes a distinction between an affordance, as a property
 %Perception/action cycle~\cite{gibson79}
 %Sensorimotor loop~\cite{oregan01a}
 
-sensory substitution\cite{bachyrita72,bachyrita03}
-fast movements: feedback cannot be received?
+%The perception/action coupling has a particular impact on haptic perception.
+%There is a large diversity of sensations with sense of touch: pressure, temperature, weight, …
+
+%exploratory procedures \cite{lederman87}
+
+%sensory substitution\cite{bachyrita72,bachyrita03}
+%fast movements: feedback cannot be received?
 
 % Sensory substitution refers to situations in which sensations that are typically perceived with one sense are translated to another sense.
 % Bach-y-Rita introduced this concept~\cite{bachyrita72} and invented the Tactile Vision Sensory Substitution system (TVSS) \cite{collins73}.
@@ -397,8 +409,6 @@ fast movements: feedback cannot be received?
 %It is also used in other contexts like surgery, in which vision is required for a primary task, and haptics is used to replace vision at a different scale and point of view~\cite{robineau07}.
 
 
-exploratory procedures \cite{lederman87}
-
 Human processor: perceptual system, motor system, cognitive system~\cite{card83}
 
 \subsection{System architectures and paradigms}