Le modèle statistique le plus simple à utiliser et à comprendre est le modèle de régression linéaire simple. C'est le modèle qui permet de mesurer l'influence d'une variable quantitative sur une autre variable quantitative. On peut s'intéresser par exemple à l'influence de la température sur la longueur d'une tige en métal, tel qu'un rail de chemin de fer. Tout le monde sait que les rails de chemins de fer ne sont pas placés avec une jointure parfaite en raison de l'élongation due à la chaleur. On peut s'intéresser à l'influence de la taille sur le poids, pour des animaux ou des êtres humains, ou de l'ancienneté sur le salaire. Attention dans les trois exemples que j'ai pris, j'ai pris soin de donner que des variables continues, ou pour lesquelles la continuité est acceptable. J'ai aussi pris soin de prendre trois exemples dans lesquels il n'y a pas vraiment d'ambiguïté sur le sens de la liaison entre les variables, personne ne penserait à dire que c'est la hauteur du mercure dans un tube qui influence la température ou qu'une augmentation de salaire fait augmenter l'ancienneté. La plupart du temps, les utilisateurs pensent que pour mesurer une liaison entre deux variables quantitatives il faut calculer un coefficient de corrélation linéaire. Il est sur que la régression linéaire simple et le calcul du coefficient de corrélation linéaire ont un lien très fort entre eux, mais ont certaines différences qu'il s'agit de comprendre. Tout d'abord il faut noter que pour les variables quantitatives qui ne sont pas continues, on utilise très souvent les coefficients de corrélation et la régression linéaire et qu'il s'agit dans les deux cas d'une approximation. La continuité parfaite des variables n'existe pas très souvent dans la réalité. Une fois cela noté, la différence essentielle, réside dans le fait que dans la corrélation le rôle des deux variables est parfaitement interchangeable, dans la régression linéaire il ne l'est pas. Ce ne sont pas les statistiques qui peuvent dire si une variable est explicative ou à expliquer. Les avantages de la régression linéaire simple par rapport à la corrélation linéaire sont nombreux. Les principes de la régression linéaire simple se généralisent à la régression non linéaire, quadratique ou logarithmique par exemple, mais surtout à la régression multiple, puis à la régression sur variables qualitatives que l'on appelle analyse de variance, et à toutes les variantes de ce que l'on appelle les modèles linéaires, analyses de covariances et autres. Un certain nombre des principes de la régression se retrouvent aussi dans les modèles linéaires généralisés, régression logistique, modèle log linéaire etc. et dans toute la statistique paramétrique.