 %\documentclass[oneside,10pt,a4paper]{book}\usepackage[ansinew]{inputenc}\usepackage{amsmath}\usepackage[pdftex]{graphicx}\textwidth=15cm\textheight=22.8cm%\hoffset=12mm\voffset=9mm\newtheorem{theo}{Th{\'e}or{\`e}me}\newtheorem{lemme}{Lemme}\newtheorem{prop}[lemme]{Proposition}\newtheorem{priete}[lemme]{Propri\'et\'e}\newtheorem{cor}[lemme]{Corollaire}\newtheorem{defi}[lemme]{D{\'e}finition}\newtheorem{rem}[lemme]{Remarque}\newtheorem{exo}[lemme]{Exercice}\newtheorem{exemple}[lemme]{Exemple}\newtheorem{rappel}[lemme]{Rappel}\long\def\sol#1#2#3{\par\medskip\noindent {\bf Solution de l'exercice \ref{#1}.}\hskip1em{\em #2.}\par{#3}\par}\def\R{{\bf R}}\def\d{\displaystyle}\def\preuve{\par\medskip\noindent{\bf Preuve.}\hskip10pt}\def\qed{\vbox{\hrule height 5pt width 5pt}}\begin{document}

\chapter{Ajustement analytique, régression, corrélation}

\section{Introduction}

	Il est fréquent de s'interroger sur la relation qui peut exister entre deux grandeurs en particulier dans les problèmes de prévision et d'estimation.

Trois types de problèmes peuvent apparaître.

\begin{itemize}
  \item 1. 	On dispose d'un certain nombre de points expérimentaux $(x_{i},y_{i})$, où  $x_{i}$ et $y_{i}$ sont les valeurs prises par les grandeurs $x$ et $y$ et on essaye de déterminer une relation fonctionnelle entre ces deux grandeurs $x$ et $y$. Cette relation, pour des raisons théoriques ou pratiques s'écrira $y = f( x, a,b,c...)$ et le problème sera d'ajuster au mieux les paramètres $a$, $b$, $c$... pour que la courbe représentative de $f$ passe au plus près des points $( x_{i} ,y_{i} )$. Il s'agit d'un problème d'ajustement analytique.
\end{itemize}

\begin{exemple}
Le nombre de particules émises par un élément radioactif varie en fonction du temps. On sait que la loi est de la forme $n=n_{0}e^{-\lambda t}$. Les mesures expérimentales permettront d'estimer au mieux $n_{0}$ et $\lambda$.
\end{exemple}

\begin{itemize}
  \item 2.   On essaye de déterminer la relation statistique qui existe entre les deux grandeurs $X$ et $Y$. Ce type d'analyse s'appelle analyse de régression. On considère que la variation de l'une des deux variables (par exemple $X$) explique celle de l'autre (par exemple $Y$). Chaque domaine d'application a baptisé de noms différents ces deux variables : On trouve ainsi :

\begin{center}
\begin{tabular}{|c|c|}
\hline
 $X$&	$Y$\\
 \hline
Variable explicative	&Variable expliquée\\
Variable contrôlée&	Réponse\\
Variable indépendante	&Variable dépendante\\
Régresseur	....&\\
\hline
\end{tabular}
\end{center}

Dans ce type d'analyse, on fixe a priori les valeurs de $X$. $X$ n'est donc pas une variable aléatoire. Mais la deuxième grandeur $Y$, elle, est une variable aléatoire et sa distribution est influencée par la valeur de $X$. On a alors du point de vue statistique une relation de cause à effet. Le problème sera d'identifier cette relation.
\end{itemize}

\begin{exemple}
On veut déterminer si un produit est toxique. Pour cela on le fait absorber en quantités variables par des souris et on mesure leur temps de survie. On partage la population des souris en quatre lots qui absorberont respectivement 0, 1, 2, 3 doses de produit. 

$X =$ nombre de doses de produit est une variable contrôlée prenant les valeurs (0, 1, 2, 3).

$Y =$ temps de survie d'une souris est une variable aléatoire (réponse à la variable contrôlée $X$).

	Si $Y$ est fonction de $X$, le produit est toxique. Connaître la relation entre $X$ et $Y$ nous permettra d'évaluer ses effets toxiques.
\end{exemple}
	
\begin{itemize}
  \item 3.   Les deux grandeurs X et Y sont aléatoires et on cherche à savoir si leurs variations sont liées. Il n'y a pas ici de variable explicative ni de variable expliquée. Les variables peuvent avoir des causes communes de variation, parmi d'autres, qui expliquent leur relation d'un point de vue statistique : on est en présence d'un problème de corrélation. On cherche alors à mesurer le degré d'association entre les variables.
\end{itemize}

\begin{exemple}
Poids et taille d'un individu, résultats obtenus à deux examens par des étudiants...
\end{exemple}

\section{Ajustement analytique}

\label{ajana}
\subsection{Principe de l'ajustement}

	On dispose d'un certain nombre de points $( x_{i} ,y_{i} )$, formant un nuage statistique, et on cherche à traduire la dépendance entre $x$ et $y$ par une relation de la forme $y = f(x)$ ou $x =g(y)$ selon ce qui a un sens, ou selon ce qui nous intéresse.

\begin{itemize}
  \item Si une relation théorique s'impose à nous comme dans l'exemple des particules radioactives, on ajuste au mieux les paramètres de la loi théorique.
  \item S'il nous faut déterminer empiriquement $f$ ou $g$, on privilégiera les modèles linéaires. Précisons que la linéarité du modèle ne doit pas prêter à confusion : le terme linéaire ne se réfère qu'aux paramètres du modèle: $y = a + bx$  ou $y = a + bx+ cx^2$ sont des modèles linéaires alors que dans le deuxième exemple la relation entre $x$ et $y$ est quadratique. En revanche, $y=\beta_0 \beta_{1}^{x}$ n'est pas un modèle linéaire. Pour déterminer cette relation empirique la forme du nuage statistique peut guider notre choix.
\end{itemize}

Mais quelle méthode utiliser pour déterminer au mieux les paramètres du modèle ?

\subsection{Méthode des moindres carrés}
\begin{itemize}
  \item Soit $y = f(x,a,b,c, ...)$ l'équation de la courbe que l'on cherche à ajuster au nuage statistique. Nous voudrions que les erreurs entre la valeur observée $y_{i}$ et la valeur ajustée $f(x_{i})$ soit minimales. Appelons $e_{i}$ la différence $e_{i}=y_i -f(x_i)$. $e_{i}$ est le résidu de la $i$-ème observation et sa valeur absolue représente la distance entre les points $M_{i}=( x_{i} ,y_{i} )$  et  $P_{i}=( x_{i} ,f(x_{i}))$.

\begin{center}
\includegraphics[width=3in]{residus.pdf}
\end{center}

  \item Les résidus étant positifs ou négatifs, leur somme peut être de faible valeur pour une courbe mal ajustée. On évite cette difficulté en considérant la somme des carrés des résidus (la somme de valeurs absolues n'étant pas pratique pour des développements mathématiques).

  \item Cette somme $\d S(a,b,c,\ldots)=\sum_{i=1}^{n}e_{i}^{2}$ dépend des paramètres $a$, $b$, $c$,... à ajuster. On choisira ces paramètres de manière qu'elle soit minimale. $\sum_{i=1}^{n}e_{i}^{2}$ est appelé {\em variation résiduelle} et nous donne une mesure de l'ampleur de l'éparpillement des observations $y_{i}$ autour de la courbe d'ajustement.
\end{itemize}

\subsection{Cas du modèle linéaire d'ordre 1}

	Dans ce cas la courbe d'ajustement sera une droite d'équation $y = a + bx$. Il nous faut déterminer les deux paramètres $a$ et $b$.

La variation résiduelle s'écrit $\d S(a,b)=  \sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2}$. $S(a,b)$ sera minimum lorsque $\d \frac{\partial S}{\partial a}=\frac{\partial S}{\partial b}=0$. On calcule
\begin{eqnarray*}
\frac{\partial S}{\partial a}&=&-2 \sum_{i=1}^{n}(y_{i}-a-bx_{i}),\\
\frac{\partial S}{\partial b}&=&-2 \sum_{i=1}^{n}(y_{i}-a-bx_{i})x_{i}.
\end{eqnarray*}
En distribuant l'opérateur $\sum$, il vient
\begin{eqnarray*}
\sum_{i=1}^{n}y_{i}-na-b\sum_{i=1}^{n}x_{i}&=&0,\\
\sum_{i=1}^{n}x_{i}y_{i}-a\sum_{i=1}^{nx_{i}}-b\sum_{i=1}^{n}x_{i}^{2}&=&0,
\end{eqnarray*}
ce qui conduit à deux équations dites {\em normales}
\begin{eqnarray*}
na+b\sum_{i=1}^{n}x_{i}&=&\sum_{i=1}^{n}y_{i},\\
a\sum_{i=1}^{nx_{i}}+b\sum_{i=1}^{n}x_{i}^{2}&=&\sum_{i=1}^{n}x_{i}y_{i}.
\end{eqnarray*}

Interprétation géométrique. Notons $\vec{x}=(x_1,\ldots,x_n)$, $\vec{y}=(y_1,\ldots,y_n)$, $\vec{\mathbf{1}}=(1,\ldots,1)$. Alors $S(a,b)$ est le carré de la distance de $\vec{y}$ au point $a\vec{\mathbf{1}}+b\vec{x}$. Par conséquent, $a\vec{\mathbf{1}}+b\vec{x}$ est la projection orthogonale de $\vec{y}$ sur le plan passant par $\vec{x}$, $\vec{\mathbf{1}}$ et l'origine. 

\begin{rem}
Ce système se généralise facilement aux modèles linéaires d'ordre $m$ (courbes d'ajustement polynômiales à $m$ paramètres). On obtient un système linéaire de $n$ équations à $n$ inconnues. L'utilisation des techniques matricielles facilite considérablement sa résolution.
\end{rem}
 
En résolvant ce système, on obtient
\begin{eqnarray*}
\textrm{la pente de la droite  }~~ b&=&\frac{n(\sum_{i=1}^{n}x_{i}y_{i})-(\sum_{i=1}^{n}x_{i})(\sum_{i=1}^{n}y_{i})}{n(\sum_{i=1}^{n}x_{i}^2)-(\sum_{i=1}^{n}x_{i})^2},\\  
\textrm{l'ordonnée à l'origine  }~~ a&=&\frac{n(\sum_{i=1}^{n}x_{i}^2)(\sum_{i=1}^{n}y_{i})-(\sum_{i=1}^{n}x_{i})(\sum_{i=1}^{n}x_{i}y_{i})}{n(\sum_{i=1}^{n}x_{i}^2)-(\sum_{i=1}^{n}x_{i})^2}.
\end{eqnarray*}

Autres expressions pour a et b :

	On introduit $\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$, $\bar{y}=\frac{1}{n}\sum_{i=1}^{n}y_{i}$. Si on utilise le fait que
\begin{eqnarray*}
\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})=\sum_{i=1}^{n}x_{i}y_{i}-\frac{1}{n}(\sum_{i=1}^{n}x_{i})(\sum_{i=1}^{n}y_{i})
\end{eqnarray*}
et que
\begin{eqnarray*}
\sum_{i=1}^{n}(x_{i}-\bar{x})^2 =\sum_{i=1}^{n}x_{i}^2 -\frac{1}{n}(\sum_{i=1}^{n}x_{i})^2 ,
\end{eqnarray*}
l'écriture de $b$ simplifie,
\begin{center}
\begin{tabular}{|c|}
\hline
\\
$\d b=\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}=\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})y_{i}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}$\\
\\
\hline
\end{tabular}
\end{center}
et la première équation normale permet de déterminer $a$,
\begin{center}
\begin{tabular}{|c|}
\hline
\\
$\d a=\bar{y}-b\bar{x}$\\
\\
\hline
\end{tabular}
\end{center}

\begin{rem}
1. $\d \frac{\partial S}{\partial a}=\frac{\partial S}{\partial b}=0$ ne sont que des conditions nécessaires de minimalité pour $S$. L'étude des dérivées secondes montre effectivement que les valeurs trouvées minimisent $S(a,b)$.

	2. La seconde équation signifie que la droite d'ajustement passe par le point $(\bar{x},\bar{y})$ appelé {\em point moyen du nuage}.

	3. Cette droite des moindres carrés est appelée {\em droite de régression de $y$ en $x$}. Elle est unique.

	4.  Si on avait cherché à exprimer la relation entre $x$ et $y$ par $x=a'+b'y$, on aurait obtenu la droite de régression de $x$ en $y$ qui minimise la somme des carrés des distances entre les points $M_{i}=( x_{i} ,y_{i} )$  et  $Q_{i}=(a'+b'y_{i},y_{i})$.
\end{rem}
	
Historiquement, c'est sir Francis GALTON (1822-1911), cousin de Charles DARWIN , qui a introduit la notion de régression : Il a comparé la taille des enfants adultes à la taille moyenne de leurs parents (en multipliant celle des femmes par 1.08). En regroupant les données en classes et en représentant chaque classe par son centre, il a obtenu une relation presque linéaire dont la pente est une estimation de l'héritabilité et est d'environ 2/3. Ceci signifie que des parents très grands ont des enfants plus petits qu'eux, et que des parents très petits ont des enfants plus grands qu'eux. D'où une régression vers la moyenne.

\subsection{Transformations simples permettant d'étendre l'usage de l'ajus\-te\-ment linéaire}

\subsubsection{Schéma exponentiel} 
$y$ et $x$ sont liés par une relation du type $y=y_0 \alpha^x$ (1). On en déduit $\ell n y=\ell n y_0 +x \ell n \alpha$.
	
	En  posant $Y = \ell n y$, $a = \ell n y_0$, $b = \ell n\alpha$,  on est ramené à la recherche des paramètres de la droite $Y = a + bx$ qui représente (1) sur un graphique semi-logarithmique.

\subsubsection{Schéma à élasticité constante}
 $Q$ et $P$ sont liés par une relation du type $Q=AP^E$ (2), où $Q$ est la quantité offerte d'un produit, $P$ le prix demandé, $E$ l'élasticité, $A$ une constante de normalisation. Ce schéma est courant en économie. On tire de (2) la relation $\ell nQ=\ell n A +E \ell n P$.
  
	En  posant  $Y = \ell n Q$, $X = \ell n P$, $a = \ell n A$, on est ramené à la recherche des paramètres de la droite $Y = a + EX$ qui représente la relation (2) sur un graphique à doubles coordonnées logarithmiques.

\subsubsection{Schéma gaussien}
Nous avons vu qu'il existe entre la valeur $x$ d'une variable statistique distribuée normalement et sa fréquence cumulée $y$ la relation $y=\Pi(\frac{x-m}{\sigma})$ (3), où $\Pi$ est la fonction de répartition de la loi normale centrée réduite. Cette relation peut s'écrire $\Pi^{-1}(y)=\frac{x-m}{\sigma}$, et si l'on pose $t=\Pi^{-1}(y)$, elle devient $t=\frac{x-m}{\sigma}$.
	La relation (3) est donc représentée par une droite, la droite de Henry,  sur un papier gausso-arithmétique. $m$ et $\sigma$, caractéristiques de la distribution normale peuvent alors être estimés par la méthodes des moindres carrés.

\subsubsection{Conclusion}
Cette méthode d'ajustement analytique est une méthode d'analyse numérique. Nous allons à présent la traiter sous l'angle statistique, en considérant d'abord, pour tout $i$ entre 1 et $n$, $y_{i}$ comme la réalisation d'une variable aléatoire $Y_{i}$, les $x_{i}$ n'étant pas aléatoires (analyse de régression), puis en considérant, pour tout $i$ entre 1 et $n$, $x_{i}$ et $y_{i}$ comme les réalisations de deux variables aléatoires $X_{i}$ et $Y_{i}$ (problème de corrélation).

\section{Le modèle de régression linéaire simple}

\subsection{Introduction}

	Commençons par un exemple. Le directeur du personnel d'une compagnie de jouets, a découvert qu'il existe une relation logique et étroite entre le rendement fourni par les employés et le résultat obtenu à un test d'aptitudes qu'il a élaboré. Sur huit employés, il a obtenu les résultats suivants
\begin{center}
\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|}
\hline
Employés&	A&	B&	C&	D&	E&	F&	G&	H\\
\hline
Production (Y) (en douzaine d'unités)&	30&	49&	18&	42&	39&	25&	41	&52\\
\hline
Résultats au test d'aptitude (X)&	6&	9&	3	&8&	7&	5&	8&	10\\
\hline
\end{tabular}
\vskip.5cm
\end{center}
\vtop{\hsize=6cm 	Supposons de plus que ce directeur ait calculé, par la technique du paragraphe précédent, une équation d'estimation (l'équation de la droite de régression) pour prédire le rendement futur du candidat (la variable dépendante) en se fondant sur les résultats du test (la variable indépendante).
\begin{eqnarray*}
Y=1.0277+5.1389 X.
\end{eqnarray*}	
On représente sur la figure ci-contre le nuage de points et la droite de régression ainsi obtenus.}

 \vskip-9cm
 
 \hskip6cm\includegraphics[width=4in]{regression_jouets.pdf}
\vskip-4cm

\vtop{\hsize=6cm L'analyse de régression peut nous permettre de déterminer le degré de fiabilité des prédictions obtenues à l'aide de cette équation.
 
Au vu des résultats observés, il semble qu'il
y ait une relation assez étroite entre les résultats au 
test et la productivité des employés. Mais les apparences
sont parfois trompeuses. Qu'en serait-il si la population 
totale de l'ensemble des employés était répartie comme
l'indique la figure (a) ci-contre ?}

 \vskip-9.3cm
 
 \hskip6cm\includegraphics[width=4in]{random.pdf}
 
 \vskip-2.5cm
 
\vtop{\hsize=6cm  Serait-il possible
que, malgré l'échantillon obtenu, un tel diagramme 
représente l'ensemble des employés de la compagnie ?
 Si tel était le cas, il nous faudrait conclure
qu'il n'existe pas de relation entre X et Y car dans une 
telle situation, la pente de la droite de régression pour la 
population (paramètre que nous représenterons par le 
symbole $\beta$) serait égale à 0. 
En somme, il est possible que le directeur ait eu un coup
de malchance et que l'échantillon qu'il a prélevé l'ait 
fortement induit en erreur. 
	Un tel cas n'est pas impossible. En effet, on pourrait 
représenter l'échantillon, perdu dans la population, 
sur la figure (b) ci-contre. }

 \vskip-10cm
 
 \hskip6cm\includegraphics[width=4in]{random_regression.pdf}
\vskip-3cm

La pente positive de la droite 
de régression échantillonnale nous indique une relation. 
On constate qu'alors le résultat obtenu grâce à l'échantillon
est en contradiction avec la réalité de la population.



Comment conclure ? Il nous faut effectuer un calcul statistique pour constater qu'un tel cas n'est certes pas impossible mais fortement improbable. On pourra juger correctement grâce au calcul d'un intervalle de confiance, ou en effectuant un test d'hypothèses. On constatera que la vraie droite de régression (calculée à partir de la population toute entière) peut être, selon les données et la taille de l'échantillon, assez différente de la droite de régression obtenue à partir de l'échantillon mais que, statistiquement, elle se situe dans une région voisine, comme le montre la figure suivante.

\begin{center}
\includegraphics[width=3in]{intro_regression.pdf}
\end{center}
 
	Or pour pouvoir utiliser les techniques de l'analyse de régression linéaire simple en inférence statistique (intervalles de confiance, tests), il faut que certaines hypothèses soient vérifiées. Nous allons les préciser dans les deux paragraphes suivants.

\subsection{Définition du modèle}

	Étant donné $n$ couples d'observations $(x_{1} ,y_1)$, $(x_2 ,y_2)$,....., $(x_n ,y_n)$ , si l'on suppose que la relation plausible entre les deux grandeurs $X$ et $Y$ est linéaire et d'ordre un, alors le modèle de régression linéaire simple s'écrit
\begin{eqnarray*}
Y_i =\alpha+\beta x_i +\epsilon_i,\quad i = 1, 2,\ldots, n,
\end{eqnarray*}
où
\begin{itemize}
  \item $Y_{i}$ est la variable dépendante (ou expliquée) ayant un caractère aléatoire et dont les valeurs sont conditionnées par la valeur $x_{i}$ de la variable explicative (ou contrôlée) $X$ et par celles de la composante aléatoire $\epsilon_i$. $y_{i}$ représente la réalisation de la $i$-ème variable aléatoire $Y_{i}$.
  \item $x_{i}$ est la valeur de la variable explicative (ou régresseur) $X$ mesurée sans erreur ou dont les valeurs sont fixées avant expérience à des valeurs arbitraires. Elle n'est pas susceptible de variations aléatoires et on la considère comme une grandeur certaine.
  \item $\epsilon_i$ dénote la fluctuation aléatoire non observable, attribuable à un ensemble de facteurs ou de variables non pris en considération dans le modèle. Cette fluctuation aléatoire n'est pas expliquée par le modèle et se reflète sur la variable dépendante $Y_{i}$.
\end{itemize}

\textbf{Conclusion}. Pour chaque valeur particulière $x_{i}$ prise par le régresseur $X$, la variable dépendante $Y_{i}$ est une variable aléatoire caractérisée par
\begin{itemize}
  \item Une certaine distribution de probabilité.
  \item Des paramètres descriptifs : sa moyenne et sa variance.
\end{itemize}

\subsection{Conditions d'application du modèle}

Pour pouvoir étudier le modèle de régression linéaire simple, il faut préciser certaines hypothèses fondamentales qui assurent le fondement théorique des méthodes d'analyse que nous allons employer.

\subsubsection{Hypothèses fondamentales du modèle linéaire simple $Y_i =\alpha+\beta x_i +\epsilon_i$.}

\begin{itemize}
  \item La courbe joignant les moyennes des distributions des $Y_{i}$ pour les différentes valeurs $x_{i}$ est une droite. Dans ce cas l'équation de régression est de la forme $E(Y_i)=\alpha+\beta x_i$. Comme nous savons que $E(Y_i)=\alpha+\beta x_i +E(\epsilon_i)$, on en tire que $E(\epsilon_i) = 0$. Les erreurs aléatoires sont de moyenne nulle.
 
  \item La variance $\sigma^2$ de chaque distribution des $Y_{i}$ est la même quelle que soit la valeur $x_{i}$ prise par la variable explicative $X$. Pour tout $i$ entre 0 et $n$, $Var(Y_{i}) =\sigma^2$. Ceci est équivalent à dire que la variance des  $\epsilon_i$ (c'est-à-dire des erreurs aléatoires) demeure constante et égale à $\sigma^2$ pour toutes les valeurs de $X$.
\begin{eqnarray*}
Var(Y_i)=Var(\alpha+\beta x_i)+Var(\epsilon_i)=0+\sigma^2 .
\end{eqnarray*}
On suppose donc que l'ampleur de la dispersion de chaque distribution des $Y_{i}$ est identique, quelle que soient les valeurs prises par la variable explicative $X$.

  \item Les $Y_{i}$ sont des variables aléatoires indépendantes, c'est-à-dire que les observations de la variable expliquée ne dépendent pas des observations précédentes et n'influent pas sur les suivantes.
	
  \item La distribution des $Y_{i}$ est une distribution normale . Ceci revient également à dire que les erreurs $\epsilon_i$ sont distribuées normalement.
\end{itemize}

	Ces hypothèses fondamentales peuvent se résumer ainsi :
\begin{eqnarray*}
Y_{i} \rightharpoonup N(\alpha+\beta x_i,\sigma), \quad \epsilon_i      \rightharpoonup N(0,\sigma),
\end{eqnarray*}
les variables $Y_{i}$ étant indépendantes.

On peut  schématiser ces hypothèses par la figure ci-dessous :

\begin{center}
\includegraphics[width=3in]{vagues.pdf}
\end{center}

\subsection{Inférence sur les paramètres du modèle : estimations et tests d'hypothèse}


\begin{itemize}
  \item Les paramètres $\alpha$ et $\beta$ sont appelés paramètres de régression. Ce sont des constantes, ordonnée à l'origine et pente de la droite de régression, que l'on pourrait calculer si le nuage de points englobait la population toute entière.
  \item Les valeurs $a$ et $b$ déterminées par l'ajustement analytique au paragraphe \ref{ajana} permettent d'en donner une estimation. $a$ et $b$ sont même les meilleurs estimateurs possibles de $\alpha$ et $\beta$ (en anglais, on utilise le terme BLUE (pour Best Linear Unbiaised Estimators).
  \item On considère que $a$ et $b$ sont les valeurs observées dans notre $n$-échantillon des variables aléatoires d'échantillon, notées $A$ et $B$, et définies par
\begin{eqnarray*}
B=\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(Y_{i}-\bar{Y})}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2},\quad A=\bar{Y}-B\bar{x},
\end{eqnarray*}
où $\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i$, $\bar{Y}=\frac{1}{n}\sum_{i=1}^{n}Y_i$.
\end{itemize}
	 

	Pour pouvoir effectuer des calculs statistiques, établir un intervalle de confiance ou exécuter un test statistique sur l'un ou l'autre des paramètres de régression $\alpha$ et $\beta$, il nous faut connaître la distribution d'échantillonnage des deux variables $A$ et $B$. Il faut donc en connaître la forme, la moyenne et la variance. C'est l'objet des deux paragraphes suivants.

\subsubsection{Distribution d'échantillonnage de la variable $B$}

\begin{prop}
\label{varb}
$B$ suit une loi normale,
\begin{eqnarray*}
E(B)=\beta,\quad Var(B)=\frac{\sigma^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}.
\end{eqnarray*}
\end{prop}
\preuve
$B$ est une combinaison linéaire de variables normales indépendantes. Elle est donc distribuée suivant une loi normale. On calcule
\begin{eqnarray*}
E(B)&=&\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(E(Y_{i})-E(\bar{Y}))}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}\\
&=&\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(\alpha+\beta x_{i}-\alpha-\beta\bar{x})}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}\\
&=&\beta,
\end{eqnarray*}
donc $B$ est un estimateur sans biais de $\beta$.
\begin{eqnarray*}
Var(B)&=&\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}Var(Y_{i})}{(\sum_{i=1}^{n}(x_{i}-\bar{x})^2)^2}\\
&=&\frac{\sigma^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}.\qed.
\end{eqnarray*}

\subsubsection{Distribution d'échantillonnage de la variable $A$}

	Il est moins fréquent d'effectuer de l'inférence statistique concernant le paramètre $\alpha$. Plusieurs situations ne comportent aucune valeur dans le voisinage de X = 0. De plus, dans certains cas, l'interprétation du paramètre $\alpha$ est dénuée de sens, dans d'autres, elle présente un certain intérêt. Donnons rapidement les résultats concernant la distribution d'échantillonnage de la variable $A$.

\begin{prop}
\label{vara}
$A$ suit une loi normale,
\begin{eqnarray*}
E(A)=\alpha,\quad Var(A)=\sigma^2(\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}).
\end{eqnarray*}
\end{prop}

\preuve
$A$ est une combinaison linéaire de variables normales indépendantes. Elle est donc distribuée suivant une loi normale. On calcule
\begin{eqnarray*}
E(A)&=&E(\bar{Y})-E(B)\bar{x}=\bar{y}-\beta\bar{x}\\
&=&\alpha,
\end{eqnarray*}
donc $A$ est un estimateur sans biais de $\alpha$. Comme $\epsilon_i$ et $\epsilon_j$ sont indépendantes, $E((Y_i -\alpha-\beta x_i)(Y_j -\alpha-\beta x_j))=0$ si $i\not=j$,
\begin{eqnarray*}
E((B-\beta)(Y_j -\alpha-\beta x_j))&=&E(\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(Y_{i}-\alpha-\beta x_{i})(Y_{j}-\alpha-\beta x_{j})}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2})\\
&=&E(\frac{(x_{j}-\bar{x})(Y_{i}-\alpha-\beta x_{i})^{2}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2})\\
&=&\frac{x_{j}-\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}\sigma^{2}.
\end{eqnarray*}
En additionnnant, il vient
\begin{eqnarray*}
E((B-\beta)(\bar{Y}-\alpha-\beta \bar{x}))=0.
\end{eqnarray*}
Par conséquent,
\begin{eqnarray*}
Var(A)&=&E((\bar{Y}-\alpha-\beta\bar{x}-(B-\beta)\bar{x})^2)\\
&=&E((\bar{Y}-\alpha-\beta\bar{x})+\bar{x}^2 E((B-\beta)^2)\\
&=&\frac{1}{n}\sigma^{2}+\frac{\sigma^2 \bar{x}^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}.\qed.
\end{eqnarray*}

\subsubsection{Recherche d'un estimateur de $\sigma^2$}

Comme $\sigma^2$ est la variance des variables centrées indépendantes $\epsilon_i$, il est naturel de chercher à estimer $\sigma^2$ au moyen de la moyenne des carrés des $\epsilon_i$.

\begin{defi}
\label{defs2}
On introduit la variable aléatoire
\begin{eqnarray*}
S^2=\frac{1}{n-2}\sum_{i=1}^{n}(Y_i -A-Bx_i)^2 .
\end{eqnarray*}
\end{defi}

\begin{prop}
\label{varb}
\begin{eqnarray*}
E(S^2)=\sigma^2.
\end{eqnarray*}
Autrement dit, $S$ est un estimateur sans biais de $\sigma^2$.
\end{prop}
\preuve
On repart de 
\begin{eqnarray*}
E((B-\beta)(Y_j -\alpha-\beta x_j))=\frac{x_{j}-\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}\sigma^{2}.
\end{eqnarray*}
On poursuit avec
\begin{eqnarray*}
E((A-\alpha)(Y_j -\alpha-\beta x_j))&=&E((\bar{Y}-\alpha-\beta\bar{x}-(B-\beta)\bar{x})(Y_{j}-\alpha-\beta x_{j}))\\
&=&\frac{1}{n}\sum_{i=1}^{n}E((Y_{i}-\alpha-\beta x_{i})(Y_{j}-\alpha-\beta x_{j}))-E((B-\beta)\bar{x}(Y_{j}-\alpha-\beta x_{j}))\\
&=&\frac{1}{n}E((Y_{i}-\alpha-\beta x_{i})^2)-\bar{x}E((B-\beta)(Y_{j}-\alpha-\beta x_{j}))\\
&=&(\frac{1}{n}-\bar{x}\frac{x_{j}-\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2})\sigma^{2}.
\end{eqnarray*}
\begin{eqnarray*}
E((A-\alpha)(B-\beta))&=&E(\bar{Y}-\alpha-\beta\bar{x}-(B-\beta)\bar{x})(B-\beta))\\
&=&\frac{1}{n}\sum_{j=1}^{n}E((Y_{j}-\alpha-\beta x_{j})(B-\beta))-\bar{x}E((B-\beta)^2)\\
&=&\frac{1}{n}\sum_{j=1}^{n}\frac{x_{j}-\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}\sigma^{2}-\bar{x}\frac{\sigma^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}\\
&=&-\frac{\bar{x}\sigma^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}
\end{eqnarray*}

On écrit $Y_j -A-Bx_j=Y_j -\alpha-\beta\bar{x}-(A-\alpha)-(B-\beta)x_j$,
\begin{eqnarray*}
E((Y_j -A-Bx_j)^2)&=&E((Y_j -\alpha-\beta\bar{x})^2 +E((A-\alpha)^2)+x_{j}^2 E((B-\beta)^2)\\
&&-2E((A-\alpha)(Y_j -\alpha-\beta\bar{x}))-2x_{j}E((B-\beta)(Y_j -\alpha-\beta\bar{x}))\\
&&+2x_{j}E((A-\alpha)(B-\beta))\\
&=&\sigma^2 (1+\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}+\frac{x_{j}^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2} \\
&&-2(\frac{1}{n}-\bar{x}\frac{x_{j}-\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2})-2x_{j}\frac{x_{j}-\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}-2x_{j}\frac{\bar{x}}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2})\\
&=&\sigma^2 (1-\frac{1}{n}+\frac{\bar{x}^2-2\bar{x}x_{j}+x_{j}^2 -2(x_{j}-\bar{x})^2}{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}),
\end{eqnarray*}
d'où, en sommant,
\begin{eqnarray*}
E((n-2)S^2)&=&\sigma^2 (n(1-\frac{1}{n})-1).\qed
\end{eqnarray*}
Interprétation géométrique. Notons $\vec{Y}$ le vecteur aléatoire dont les composantes sont les $Y_i$, $\vec{\mathbf{1}}$ celui dont toutes les composantes sont égales à 1 et $\vec{x}$ celui dont les composantes sont les $x_i$. Alors $A+B\vec{x}$ est la projection orthogonale de $\vec{Y}$ sur le plan vectoriel engendré par $\vec{\mathbf{1}}$ et $\vec{x}$. Par conséquent, $\vec{Y}-A\vec{\mathbf{1}}-B\vec{x}$ évolue dans un espace vectoriel de dimension $n-2$. C'est pourquoi, pour trouver sa variance, il faut diviser la somme des carrés de ses composantes par $n-2$.


\subsubsection{Distribution d'échantillonnage de la variable $S^2$}

\begin{prop}
\label{vars}
$(n-2)S^2 /\sigma^2$ suit une loi du $\chi^2$ à $n-2$ degrés de liberté,
\begin{eqnarray*}
E(S^2)=\sigma^2,\quad Var(S^2)=\frac{2\sigma^4}{n-2}.
\end{eqnarray*}
\end{prop}
\preuve
On montre que les vecteurs aléatoires $\vec{Y}-A\vec{\mathbf{1}}-B\vec{x}$ et $A\vec{\mathbf{1}}-B\vec{x}$ sont indépendants. Par conséquent, $\vec{Y}-A\vec{\mathbf{1}}-B\vec{x}$ peut s'écrire comme la somme de $n-2$ vecteurs indépendants, centrés, de même variance. Il en résulte que le carré de la norme de $\vec{Y}-A\vec{\mathbf{1}}-B\vec{x}$ est la somme de $n-2$ carrés de variables indépendantes, normales, centrées, de variance $\sigma^2$.\qed

\subsubsection{Standardisation : a. cas des grands échantillons ($n\geq 30$)}

Si $n\geq 30$, on peut estimer $\sigma^{2}$ par $s^2$ qui est la valeur prise dans l'échantillon de $S^2$ estimateur non biaisé de $\sigma^{2}$. Alors\begin{eqnarray*}
T=\frac{B-\beta}{s/\sqrt{\sum_{i=1}^{n}(x_{i}-\bar{x})^2}}
\end{eqnarray*}	   
suit la loi normale $\mathcal{N}(0,1)$.

\subsubsection{Standardisation : b. cas des petits échantillons ($n<30$)}

Si $n<30$, 
\begin{eqnarray*}
T=\frac{B-\beta}{S/\sqrt{\sum_{i=1}^{n}(x_i -\bar{x})^2}}
\end{eqnarray*}     
suit une loi de Student à $n-2$ degrés de liberté.

\begin{rem}
On n'a que $n-2$ degrés de liberté car dans $S$ on a estimé les deux paramètres $\alpha$ et $\beta$ par $A$ et $B$. On peut trouver le même résultat en considérant qu'il y a deux relations entre $A$, $B$ et les $Y_{i}$.
\end{rem}

\subsubsection{Utilisation de ces lois}

Grâce à la connaissance de ces lois, on pourra selon les cas :

\begin{itemize}
  \item obtenir des intervalles de confiance pour $\alpha$ et $\beta$, ce qui nous permet de préciser la marge d'erreur de leurs estimations $a$ et $b$.
\item effectuer un test d'hypothèse sur $\beta$, pente de la droite de régression.
\end{itemize} 

	Si par exemple, on veut déterminer si la dépendance linéaire entre $X$ et $Y$ est significative (en admettant que le modèle linéaire d'ordre 1 est plausible), il nous faudra savoir si la pente de la droite de régression est significativement différente de 0. Dans ce cas on dira que la composante linéaire permet d'expliquer d'une façon significative les fluctuations dans les observations de $Y_{i}$.

\begin{tabular}{rl}
On testera alors l'hypothèse  & $H_{0}$   :  $\beta = 0$\\
			        contre  & $H_{1}$   :    $ \beta\not= 0$.
\end{tabular} 

\subsection{Quelques considérations pratiques dans l'application des méthodes de régression}

\subsubsection{Extrapolation avec une équation de régression}

	Il faut être très prudent dans l'utilisation d'une équation de régression en dehors des limites du domaine étudié de la variable explicative. La droite de régression empirique est basée sur un ensemble particulier d'observations. Lorsque nous effectuons une prévision au delà des valeurs de $X$ utilisées dans l'analyse de régression, nous effectuons une extrapolation.

	Du point de vue purement statistique, toute extrapolation avec une équation de régression n'est pas justifiée puisqu'il n'est absolument pas évident que le phénomène étudié se comporte de la même façon en dehors du domaine observé. En effet la vraie fonction de régression peut être linéaire pour un certain intervalle de la variable explicative et présenter un tout autre comportement (du type curviligne par exemple) en dehors du champ observé.

	Même si des considérations théoriques ou pratiques permettent de penser que l'équation de régression peut s'appliquer dans tout domaine, un autre inconvénient apparaît : la précision de nos estimations et de nos prévisions diminue à mesure que l'on s'éloigne de la valeur moyenne de la variable explicative, c'est-à-dire que la marge d'erreur augmente comme le montre la figure ci-après.
 
\begin{center}
\includegraphics[width=3in]{region_de_confiance.pdf}
\end{center}


\subsubsection{Relation de cause à effet}

	Le fait qu'une liaison statistique existe entre deux variables n'implique pas nécessairement une relation de cause à effet. Il faut s'interroger sur la pertinence de la variable explicative utilisée comme élément prédicteur de la variable dépendante et examiner s'il n'existe pas certains facteurs ou variables non incluses dans l'analyse et dont les variations provoquent sur les variables initiales de l'étude un comportement de régression illusoire.

\subsubsection{Étude de la pertinence du modèle}

	Une manière simple de détecter les défaillances du modèle consiste à calculer les résidus donnés par la formule : $e_{i} = y_{i} - (a + bx_{i})$ et surtout les résidus réduits $er_{i} =e_i /s$ où $s$ est l'estimateur non biaisé de l'écart-type $\sigma$ de la distribution des erreurs. Ces résidus réduits estiment les erreurs réduites qui sont distribuées normalement suivant une loi gaussienne centrée réduite.
	
	Une étude systématique des résidus est un élément essentiel de toute analyse de régression. Un graphique de ces résidus révèle les gros écarts au modèle.  On doit représenter le graphique des résidus en fonction de toute caractéristique qui peut avoir une action sur eux. Voici trois graphiques possibles qui paraissent naturels et qui permettent d'éviter bien des erreurs.
\begin{itemize}
  \item Graphique des résidus $er_i$ en fonction des valeurs ajustées  .
  \item Graphique des résidus $er_i$ en fonction des valeurs $x_{i}$ du régresseur.
  \item Graphique des résidus $er_i$ dans leur ordre d'acquisition ; en effet le temps peut être la caractéristique essentielle dans de nombreuses études.
\end{itemize}

	Si le modèle est correct, les résidus eri doivent se trouver approximativement entre -2 et +2, étant entendu que leur moyenne est nulle. Ils ne doivent présenter aucune structure particulière. Si jamais ils en présentent une, c'est que le modèle n'est pas complètement pertinent.
	
\subsection{Mesure de l'ajustement : l'analyse de variance}

	Un autre objectif d'une étude de régression est de déterminer dans quelle mesure la droite de régression est utile à expliquer la variation existante dans les observations des $Y_{i}$. On veut donc évaluer la qualité de l'ajustement du modèle linéaire simple.
	
\subsubsection{Analyse de la variance}

On rappelle que l'on note $\hat{y}_i$ la valeur estimée de $Y_{i}$ à l'aide de la droite de régression : $\hat{y}_i =a+bx_i$. Pour chaque valeur $y_{i}$, l'écart total $y_{i} -\bar{y}$ peut être décomposé en somme de deux écarts :

\begin{center}
\begin{tabular}{|ccccc|}
\hline
$y_{i} -\bar{y}$&$=$&$\hat{y}_i -\bar{y}$&$=$&$y_i -\bar{y}$\\
\textbf{écart total}       &$ = $&     \textbf{écart expliqué} par la droite de  & $+$ &  \textbf{écart inexpliqué} par la droite de\\
&&     régression lorsque $X = x_{i}$&&		    régression lorsque $X = x_{i}$ : \textbf{résidu}\\
\hline
\end{tabular}
\end{center}
		
		Cette décomposition peut être visualisée sur la figure ci-après.

\begin{center}
\includegraphics[width=4in]{variance.pdf}
\end{center}

On peut donc exprimer la variation totale dans les observations de $y_{i}$ comme la somme d'une variation expliquée (attribuable à la droite de régression) et d'une variation inexpliquée (attribuable aux résidus). On démontre le résultat suivant :

\begin{center}
\begin{tabular}{|ccccc|}
\hline
&&&&\\
$\sum_{i=1}^{n}(y_{i} -\bar{y})^2$&$=$&$\sum_{i=1}^{n}(\hat{y}_i -\bar{y})^2$&$=$&$\sum_{i=1}^{n}(y_i -\bar{y})^2$\\
&&&&\\
\textbf{variation totale}       &$ = $&     \textbf{variation expliquée}& $+$ &  \textbf{variation résiduelle}\\
&&par la régression&&\\
\hline
\end{tabular}
\end{center}


\subsubsection{Le coefficient de détermination} 

	Pour mieux apprécier la contribution de la variable explicative pour expliquer les fluctuations dans la variable dépendante on définit le coefficient de détermination, appelé aussi coefficient d'explication. Ce nombre, noté $r^2$, est la proportion de la variation totale qui est expliquée par la droite de régression.
\begin{eqnarray*}
r^2 =\frac{\textrm{variation expliquée}}{\textrm{variation totale}}=\frac{\sum_{i=1}^{n}(\hat{y}_i -\bar{y})^2}{\sum_{i=1}^{n}(y_i -\bar{y})^2}.
\end{eqnarray*}

\begin{itemize}
  \item C'est un indice de la qualité de l'ajustement de la droite aux points expérimentaux.
  \item Ce coefficient varie toujours entre 0 et 1. Cette propriété découle immédiatement de la définition.
  \item $100r^2$ a une interprétation concrète : c'est le pourcentage de la variation de $Y$ qui est expliquée par la variation de $X$.
  \item On peut déduire de $r^2$ le coefficient de corrélation linéaire simple par $r=\pm\sqrt{r^2}$, le signe de $r$ étant le même que celui de $b$, pente de la droite de régression.
\end{itemize}

	On démontre algébriquement que	 
\begin{eqnarray*}
r=\frac{\sum_{i=1}^{n}(y_i -\bar{y})(\hat{y}_i -\bar{y})}{\sqrt{\sum_{i=1}^{n}(y_i -\bar{y})^2}\sqrt{\sum_{i=1}^{n}(\hat{y}_i -\bar{y})^2}}
\end{eqnarray*}

Nous définirons  un coefficient analogue dans le paragraphe suivant qui concerne justement la corrélation pour mesurer l'intensité de la liaison linéaire entre deux variables.

\section{Corrélation linéaire}

\subsection{Introduction et vocabulaire}

	Nous prélevons d'une population un échantillon aléatoire de taille n et nous observons, sur chaque unité de l'échantillon les valeurs de deux variables statistiques que nous notons conventionnellement $X$ et $Y$. On dispose donc de $n$ couples d'observations $( x_{i} ,y_{i} )$. On veut déterminer par la suite si les variations des deux variables sont liées entre elles, c'est à dire s'il y a corrélation entre ces deux variables.

	L'existence de cette corrélation peut être déterminée graphiquement en traçant le nuage des points $M_{i}=( x_{i} ,y_{i} )$, $1\leq i\leq n$, appelé {\em diagramme de dispersion}. La forme de ce nuage nous permettra de déceler le cas échéant, la nature de la liaison entre $X$ et $Y$. Il nous renseignera sur la forme de la liaison statistique entre les deux variables observées ainsi que sur l'intensité de cette liaison.
 

\begin{itemize}
  \item Dans ce cours, nous ne traiterons que de la forme linéaire. les points auront alors tendance à s'aligner selon une droite. On dit qu'il y a {\em corrélation linéaire}.
  \item Si $Y$ croît en même temps que $X$, la corrélation est dite {\em directe} ou {\em positive}. Si $Y$ décroît lorsque $X$ croît, la corrélation est dite {\em inverse} ou {\em négative}.
\end{itemize}

Essayons d'associer aux différents nuages de points les conclusions qui s'y rattachent.

\vskip-2cm
\hskip1.5cm\includegraphics[width=2in]{random_correlation(a).pdf}\hskip-2cm
\includegraphics[width=2in]{random_correlation(b).pdf}\hskip-2cm
\includegraphics[width=2in]{random_correlation(c).pdf}

\vskip-2cm\hskip4cm(a)\hskip2.5cm (b)\hskip2.5cm (c)

\vskip-1cm

\hskip3cm\includegraphics[width=2in]{random_correlation(d).pdf}\hskip-2cm
\includegraphics[width=2in]{random_correlation(e).pdf}

\vskip-2cm

\hskip5.4cm(d)\hskip2.6cm (e)

\vskip1cm
Conclusions :	

(a)  Forte corrélation négative

(b) 	Absence de corrélation linéaire mais présence d'une liaison de forme 
     parabolique.

(c) 	Faible corrélation linéaire mais présence d'une liaison de forme parabolique.

(d) 	Absence de corrélation et aucune liaison apparente. Indépendance entre ces deux variables.

(e) 	Corrélation positive marquée.
 

\subsection{Définition du coefficient de corrélation linéaire}

\begin{defi}
Le coefficient de corrélation linéaire, noté $r$, est un nombre sans dimension  qui mesure l'intensité de la liaison linéaire entre deux variables observées dans un échantillon de taille $n$. Il est donné par la formule
\begin{eqnarray*}
r=\frac{\sum_{i=1}^{n}(x_i -\bar{x})(y_i -\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i -\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i -\bar{y})^2}}
\end{eqnarray*}
\end{defi}

De même que le coefficient de détermination,  $r^2$ représente le pourcentage de la variation de $y$ expliquée par la variation de $x$.

\begin{rem}
En raison de sa symétrie,  r  mesure aussi bien l'intensité de la liaison linéaire entre $x$ et $y$ qu'entre $y$ et $x$.
\end{rem}

\subsection{Propriétés du coefficient de corrélation linéaire}


\begin{priete}
On a toujours $-1\leq r\leq1$.
\begin{itemize}
  \item La corrélation parfaite, correspondant au cas $|r|=1$, se rencontre très peu en pratique, mais sert de point de comparaison. Plus $|r|$ est proche de 1, plus les variables $x$ et $y$ seront étroitement liées.	
  \item Si $x$ et $y$ sont indépendantes, on a bien sûr $r = 0$. Mais la réciproque n'est pas nécessairement vraie. Si $r = 0$, on peut affirmer qu'il n'existe pas de liaison linéaire entre $x$ et $y$. Mais il peut exister une liaison d'un autre type.
\end{itemize}
\end{priete}

\hskip4cm Droite d'ajustement de $x$ en $y$

\vskip-3cm\hskip3cm
\includegraphics[width=3in]{parabole.pdf}

\vskip-5.4cm
\hskip9.5cm Droite d'ajustement de $y$ en $x$
\vskip2cm
\begin{priete}
La droite d'ajustement linéaire de $y$ en fonction de $x$ dans notre échantillon a pour équation $y = a + bx$ avec
\begin{eqnarray*}
b=\frac{\sum_{i=1}^{n}(x_i -\bar{x})(y_i -\bar{y})}{\sum_{i=1}^{n}(x_i -\bar{x})^2},\quad \textrm{donc}\quad b=r\frac{s_x}{s_y}, 
\end{eqnarray*}
où $s_x$ et $s_y$ représentent respectivement les variances de $X$ et de $Y$ dans l'échantillon des $n$ points.
\end{priete}

\begin{priete}
Le signe du coefficient de corrélation permet de savoir si la corrélation est positive ou négative puisque $r$ et $b$ sont de même signe.
\end{priete}

\begin{priete}
Si la droite d'ajustement linéaire de $y$ en fonction de $x$ a pour équation 
$y = a + bx$ et celle de $x$ en $y$ a pour équation $x = a' + b'y$, alors
on a $b=r\frac{s_x}{s_y}$ et aussi par symétrie $b'=r\frac{s_y}{s_x}$. 	D'où  $bb'=r^2$. 
\end{priete}

On retrouve ainsi que si la liaison entre $x$ et $y$ est forte, les pentes $b$ et $b'$ sont telles que $b'$ est voisine de $1/b$, et les droites sont presque confondues. 

\subsection{Comment tester l'indépendance linéaire de $X$ et de $Y$ ?}

	La question est de savoir si la valeur trouvée pour $r$ est significativement différente de 0 ou pas. Le coefficient de corrélation $r$ calculé à partir d'un échantillon de taille $n$ donne une estimation ponctuelle du coefficient de corrélation de la population noté $\rho$. $\rho$ est défini par
\begin{eqnarray*}
\rho=E(\frac{X-E(X)}{\sigma(X)}\frac{Y-E(Y)}{\sigma(Y)})=\frac{E(XY)-E(X)E(Y)}{\sigma(X)\sigma(Y)}=\frac{Cov(X,Y)}{\sigma(X)\sigma(Y)}.
\end{eqnarray*}

Appelons $R$ la variable aléatoire ``coefficient de corrélation d'un échantillon de taille $n$ prélevé au hasard dans une même population, $\d R=\frac{X-E(X)}{\sigma(X)}\frac{Y-E(Y)}{\sigma(Y)}$. Bien sûr on a $E(R) = \rho$. On suppose que $X$ et $Y$ sont distribuées suivant une loi normale conjointe (loi binormale). Il s'avère que la distribution de $R$ ne dépend que de $n$ et de $\rho$. On représente la fonction la fonction de densité de $R$ sur la figure suivante pour $n=9$, $\rho = 0$ et $\rho = 0.8$. On constate que la densité de $R$ est symétrique pour $\rho = 0$ et c'est le seul cas où cette propriété est vérifiée.
 

\begin{center}
\includegraphics[width=2in]{R.pdf}

Distribution de $R$ pour $\rho=0$ et $\rho=0.8$, lorsque $n=9$
\end{center}

On pourra tester l'indépendance de $X$ et $Y$ en exécutant le test statistique suivant.
	
\begin{enumerate}
  \item On choisit un seuil de signification $\alpha$.
  \item On teste l'hypothèse $H_{0}$ contre l'hypothèse $H_{1}$ suivante,
  
\begin{tabular}{cl}
$H_{0}$ :& $X$ et $Y$ ne sont pas corrélés linéairement, c'est-à-dire $\rho = 0$.\\
$H_{1}$  :& $X$ et $Y$  sont corrélés linéairement, c'est-à-dire $\rho \not= 0$.
\end{tabular}	
  \item On se place sous l'hypothèse $H_{0}$ , c'est-à-dire que l'on suppose que $\rho = 0$.
La fonction discriminante du test est
\begin{eqnarray*}
T=\frac{R-E(R)}{\sigma(R)}=\frac{R-\rho}{\sigma(R)}=\frac{R}{\sigma(R)}.
\end{eqnarray*}
On montre qu'elle peut s'écrire $\d T=\frac{R\sqrt{n-2}}{\sqrt{1-R^2}}$.
$T$ est distribuée suivant une loi de Student à $n-2$ degrés de liberté.
  \item  On calcule la valeur réduite $\d t_0 =\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}$, $r$ étant la valeur du coefficient de corrélation de notre échantillon. Puis on cherche dans la table de Student $P_{t_0}=P(|T|\geq t_0)$.
\begin{itemize}
  \item si $P_{t_0}<\alpha$, on rejette $H_0$ : $X$ et $Y$ sont linéairement dépendants.
  \item si $P_{t_0}>\alpha$, on accepte $H_0$ : $X$ et $Y$ sont linéairement  indépendants.
\end{itemize}
\end{enumerate}
 
\begin{rem}
\begin{enumerate}
  \item Bien sûr, on constate que plus la taille de l'échantillon est petite, plus le coefficient de corrélation de l'échantillon doit être élevé pour être significativement différent de 0. Ordre de grandeur au seuil de 5\% :	\begin{tabular}{rl}
On accepte $H_0$ pour $r < 0.378$ & si $n =20$\\
On accepte $H_0$ pour $r  < 0.549$ & si $n =10$.
\end{tabular}
\item Si on veut tester d'autres valeurs de $\rho$, il faut employer une autre méthode et passer par ce qu'on appelle la transformation de FISHER.
\end{enumerate}
\end{rem}

\subsection{Mise en garde à propos de la corrélation}

Il existe plusieurs explications du fait que deux séries varient en même temps, et dans certaines situations, l'analyste est en droit d'interpréter les mesures de corrélation dans le sens d'une relation de cause à effet. Cependant le seul fait que deux variables soient reliées entre elles, au sens statistique du terme, n'est pas suffisant pour conclure à l'existence d'une relation de cause à effet. En d'autres termes, la seule existence d'une relation statistique n'est pas une preuve de causalité.

	Il existe une relation de cause à effet si la variation d'une variable est attribuable à la variation de l'autre variable. Par exemple la variation de température dans une réaction chimique peut causer une variation du résultat de cette réaction.

	Par ailleurs, deux variables peuvent être conjointement influencées par un facteur de cause commune. Il est probable qu'il existe une relation étroite entre les ventes de bijoux et les ventes d'appareils stéréophoniques; toutefois, il serait farfelu d'imputer à l'une de ces variables les variations observées de l'autre variable. Ici, les variations des deux variables sont probablement le résultat d'une variation des revenus des consommateurs.

	Certaines relations sont accidentelles. Même s'il existe une relation entre le nombre de voitures vendues au Canada et le nombre d'éléphants en Afrique, il serait absurde d'analyser le marché de l'automobile au Canada en se basant sur cette relation. Les relations de ce genre sont appelées fausses corrélations.

%\end{document}