MBL
authorThomas Pietrzak <thomas.pietrzak@gmail.com>
Tue, 16 Apr 2019 15:31:27 +0000 (17:31 +0200)
committerThomas Pietrzak <thomas.pietrzak@gmail.com>
Tue, 16 Apr 2019 15:31:27 +0000 (17:31 +0200)
tex/introduction.tex

index de46c4e2381533db067fe1c78555d3a0126c0f2d..ab1649c1576e7b543c9aece50520d541b7b920e6 100644 (file)
@@ -27,7 +27,7 @@ This is still far from being true today. Machines still have to be programmed fo
 The definition of “intelligence” or “artificial intelligence” is far from being consensual.
 Despite the tremendous progress of Machine learning in the past years, I would argue that computers are still far from being intelligent as we would measure intelligence of a human being.
 Dessalles says that despite their capabilities, computers do not even know they are intelligent~\cite{dessalles19}.
-Neural networks are still tied to a particular task, and are unable to evolve to different problems.
+Neural networks are still tied to a particular task, and are unable to evolve in order to solve different problems.
 They still require humans to design them and train them.
 
 %\myquote{In from 3 to 8 years, we will have a machine with the general intelligence of an average human being.}{Marvin Minsky, 1970}
@@ -98,7 +98,7 @@ Between 1962 and 1968, at a time computer were a room size, Englebart pushed thi
 In his famous 1968 demo\footnote{The mother of all demos: \url{https://youtu.be/yJDv-zdhzMY}}, he showcased: a collaborative real-rime word processing editor, the computer mouse, a chorded keyboard, a windowing system, hypertext, file sharing, file annotating, video conferencing and revision control among others.
 It was not only mesmerizing because it was a huge list of striking ideas, but also because it was actually functioning live, contrary to the Memex which remained a concept.
 The reason why it was not only a technology push forward, but the creation of a whole new scientific area is that computers were not anymore just computing machines, but interactive machines that help us in our everyday tasks.
-This vision changed the way we work, our entertainments, and any other of our activities which uses an interactive system at some point.
+This vision changed the way we work, our entertainments, and any other of our activities which today use an interactive system at some point.
 Along with Sutherland's work on Sketchpad~\cite{sutherland63}, and of course Bush's Memex that inspired them, these are the foundations of Human-Computer Interaction.
 
 \subsection{Wegner}
@@ -119,7 +119,7 @@ With this definition, we observe that algorithms cannot deal with infinite input
 They operate on predefined specifications that cannot evolve during computation.
 %This means algorithms are isolated from the outside world during computation.
 At the opposite, interaction is a paradigm that observes the environment continuously.
-Wegners formalizes the concept of \defword{interaction machines} and proves it is more expressive than TMs~\cite{wegner99}.
+Wegner formalizes the concept of \defword{interaction machines} and proves it is more expressive than TMs~\cite{wegner99}.
 
 \myquote{The equivalent expressiveness of TMs, algorithms, computable functions, and formal systems is due not to their maximal expressiveness but to their common reliance on induction for computation and reasoning.}{Peter Wegner~\cite{wegner99}}
 
@@ -152,12 +152,32 @@ It is only limited by what it observes, and how this observation is encoded.
 \subsection{Beaudouin-Lafon}
 
 
-Beaudouin-Lafon defined the Instrumented interaction paradigm~\cite{mbl00}, which extends Schneiderman's direct manipulation~\cite{schneiderman83}. Instruments are tools that enables users to interact with domain objects. To do so, the user performs actions on the instrument, which provide the user an immediate feedback, and perform a command on the domain object. As a consequence, the domain object returns a response to the user. The immediate feedback provides high level of control thanks to a fast perception/action cycle. The response to the command lets the user know the result of his actions, and allows him to continue or correct errors where necessary.
+Beaudouin-Lafon defined the Instrumented interaction paradigm enables users to interact with domain objects~\cite{mbl00}.
+To do so, the user performs actions on the instrument, which provide the user an immediate feedback, and perform a command on the domain object.
+As a consequence, the domain object returns a response to the user.
+The immediate feedback provides high level of control thanks to a fast perception/action cycle.
+The response to the command lets the user know the result of his actions, and allows him to continue or correct errors where necessary.
 
-Beyond instrumented interaction, Beaudouin-Lafon describes three interaction paradigms: \emph{computer-as-a-tool}, \emph{computer-as-a-partner} and \emph{computer-as-a-medium}~\cite{mbl04}.
+%Instruments are tools that
+
+Instrumented interaction is an extension of Schneiderman's \defword{direct manipulation}~\cite{schneiderman83}.
+The concept of \defword{direct manipulation} consists of design principles for user interfaces that favors usability.
+Objects of interest must be visible and directly manipulable, actions must be rapid, reversible and incremental.
+They may seem obvious today, but in the early 80's these principles made GUIs much more powerful than command-line interfaces in many situations.
+
+Instrumented Interaction is an instance of the principle of \defword{reification}, which Beaudouin-Lafon and Mackay define as “the process by which concepts are turned into objects”~\cite{mbl00a}.
+Instrumented interaction is the reification of commands, which enables users to run commands on objects by interacting with instruments; typically widgets on a \defword{Graphical User Interface} (GUI).
+Most of objects of a GUI, if not all, are reifications of a real world concept.
+They also define the principle of \defword{polymorphism} in the context of HCI as “the property that enables a single command to be applicable to objects of different types”.
+Similarly to the same concept in programming languages, it is a powerful tool for the design of user interfaces.
+It enables to reduce and group commands, which is useful in complex software that can propose thousands of commands.
+%%Something facilitate mapping
 
+, and \defword{reuse} “makes previously-provided input available for reuse in the current context”.
+
+
+Beyond instrumented interaction, Beaudouin-Lafon describes three interaction paradigms: \emph{computer-as-a-tool}, \emph{computer-as-a-partner} and \emph{computer-as-a-medium}~\cite{mbl04}.
 
-Reification polymorphism reuse \cite{mbl00a}
 
 \cite{mbl06}
 
@@ -177,15 +197,20 @@ My rationale is to study honestly the strengths and weaknesses of both humans an
 
 It is up to us (researchers, designers, developers, \dots) to decide what we delegate to machines that follow our instructions, and what we keep doing by ourselves with the help of interactive tools.
 It is first of all a matter of purpose.
-There is no point playing a game against a computer you cannot beat. This is not entertaining, and it is unlikely you can reuse its strategy for learning how to play better. However, Garry Kasparov proposed the concept of \defword{advanced chess}\footnote{\url{https://en.wikipedia.org/wiki/Advanced_Chess}}, a variation of chess in which players can use computers to get an overview of possible moves and their implication. Kasparov's idea was to increase chess level, eliminate bad moves, and give the public more understanding on players and computers strategies. He claims that such an advanced chess player is better than humans or computers alone.
+There is no point playing a game against a computer you cannot beat.
+This is not entertaining, and it is unlikely you can reuse its strategy for learning how to play better.
+Garry Kasparov proposed the concept of \defword{advanced chess}\footnote{\url{https://en.wikipedia.org/wiki/Advanced_Chess}}, a variation of chess in which players can use computers to get an overview of possible moves and their implication. Kasparov's idea was to increase chess level, eliminate bad moves, and give the public more understanding on players and computers strategies. He claims that such an advanced chess player is better than humans or computers alone.
 
 %\myquote{An advanced chess player is stronger than a human or computer alone}{G. Kasparov}
 
 Delegating tasks to computers is not a matter of computing power and methods, but also a matter of trust in the process and the outcome.
 Whatever the automatic system capabilities, we need to know its status in real time, to be able to influence its behavior, and to take the control if necessary.
+Roy \etal showed that [Automation Accuracy is Good, but High Controllability May Be Better]~\cite{roy19}.
 
 
-Continuum between Beaudouin-Lafon's tool and partner.
+Beaudouin-Lafon's instrumented interaction opposes the computer-as-a-tool and the computer-as-a-partner paradigms. I see a continuum between these two visions. Every system can act both as a tool and as a partner. 
+
+Example? Semantic pointing~\cite{blanch04} and so on?
 
 instrumented interaction for partners? 
 
@@ -206,14 +231,19 @@ instrumented interaction for partners?
 \caption{Extensions to direct manipulations, for tools and partners.}
 \end{figure}
 
-Evolution in time on this scale (ex. with machine learning).
+\myquote{Algorithms are but building blocks in larger interactive systems, like drops of computation in a sea of interaction}{Beaudouin-Lafon~\cite{mbl08}}
+
+On the Tool side the user has more control over the system, on the partner side the system is more autonomous. I describe this concept through the notion of \defword{fluidity} of an interactive system, the term being inspired by the quote above.
 
 \begin{definition}{Fluidity}
-\defword{Fluidity} of interactive systems. 
+The \defword{fluidity} of an interactive systems refers to .
 \end{definition}
 
+
 Rigid systems perform long calculations with rare notifications, therefore rare occasions for the user to see the result, and change the partner's behavior. Fluid systems are direct manipulation/tools: calculations are fast (at least real time), the user has a continuous view on the system's state, and can interact at any time.
 
+Evolution in time (large time scale) (ex. with machine learning).
+
 \begin{figure}[htb]
 \centering
 \includegraphics[width=.5\textwidth]{delegationevolution}
@@ -226,8 +256,6 @@ Mixed-Initiative~\cite{horvitz99}
 
 co-adaptation \cite{mackay90}
 
-automation accuracy \cite{roy19}
-
 Crowdsourcing: tasks not doable by a computer
 
 \subsection{Technology incompleteness}