On parle de tests automatisés mais ce terme prête à confusion. Ce que l’on automatise, ce sont des vérifications : des contrôles qui sont faits d’une manière algorithmique.
Le test, quant à lui, consiste en l’évaluation d’un produit par l’exploration et l’expérimentation. C’est une investigation qui peut impliquer, entre autres, l’analyse de risques, la créativité, le questionnement, l’adaptation, l’intuition ou encore la modélisation. Il nous permet de mieux connaître le produit et de capter de l’information pour aider à prendre des décisions quant aux améliorations à faire.
Un test automatisé est un script qui va suivre un scénario précis avec un jeu de données connu. Ce script ne nous apprend rien de nouveau. Son objectif est de vérifier qu’un comportement attendu est toujours présent dans l’application d’une version à une autre. On pourrait parler de fact-checking.
Les tests automatisés sont d’une aide précieuse pour maintenir dans le temps la stabilité du produit. Cependant, à eux seuls, ils ne sont pas suffisants pour concevoir un produit fiable et pertinent pour ses utilisateurs.
Il n’est pas question d’opposer l’automatisation et le test : l’automatisation vient en support du test. A mon sens, associer le test exploratoire aux tests automatisés est un combo gagnant.