L’offre Visual Studio 2010 s’est enrichie de deux nouveaux produits : Microsoft Test Manager 2010 (MTM) qui sert à gérer des campagnes de tests fonctionnels, et Lab Management qui permet de gérer des environnements de test physiques et virtuels. Ces deux nouveaux venus apportent du souffle dans le domaine du test. Axés sur la facilité d’accès et sur l’efficacité, ils permettent à des équipes de développement de coopérer de manière fluide avec des testeurs au travers d’une plate-forme commune : Team Foundation Server 2010.

Les tests : mal-aimés, et pourtant…

Les tests applicatifs devraient faire partie de tout développement, puisqu’ils permettent de garantir la qualité des livrables. Qui oserait prétendre le contraire ? La question des tests se pose ainsi pour chaque projet et le problème est traité de maintes manières différentes : un chef de projet qui effectue quelques scénarii avant la livraison, une campagne de tests UAT (User Acceptance Tests) qui nécessite la mobilisation de plusieurs testeurs ou que l’on externalise, jusqu’à l’automatisation de tests d’IHM mise au point par la MOA assistée de quelques développeurs/testeurs.
Chaque approche génère son coût en ressources et en outils, mais aussi son propre retour sur investissement selon la qualité visée et surtout le nombre de livraisons au fil du temps. Depuis quelques années, nous surfons sur la vague de l’agilité (personne ne se prétendra « pas agile »), et l’un des Graal du moment est le Continuous Delivery, c’est-à-dire pouvoir fournir très fréquemment et à la demande des artefacts de qualité. En effet, le Continuous Delivery répond à des problématiques clés dans le monde du développement, à savoir : le Time To Market, le fait de pouvoir rapidement acheminer en production une nouvelle demande, et la réduction des coûts de maintenance. Donc le ROI, parce qu’en misant sur la qualité, on évite les bugs qui se seraient révélés tard dans le cycle de développement et qui auraient nécessité un nouveau cycle de correctifs-déploiement-tests plus onéreux (par exemple quand c’est l’utilisateur final qui tombe sur un bug bloquant).
En investissant sur la qualité et sur les tests, on estime ainsi pouvoir réduire d’au moins un tiers la note de la maintenance !
Certes, ces propos n’ont rien de révolutionnaire. Pourtant, la réalité sur le terrain ne colle pas toujours avec cette théorie. Les tests ne sont-ils pas les mal-aimés dans les développements informatiques - du moins en France ? N’est-ce pas l’un des premiers postes qui subit des réductions de coûts, alors que le fonctionnel et la production de code, eux, restent privilégiés ? Dans ce contexte, il est important de disposer d’outils qui nous aident à atteindre ce but, celui d’être le plus efficace dans le cycle de livraison, en termes de temps de correction et de temps de test.

Les nouveaux outils de test de Visual Studio 2010

Microsoft Test Manager 2010

Cette solution permet de réaliser des tests d’interface graphique autour des technologies suivantes :

• Windows Forms
• WPF
• Silverlight 4.0
• Web : Internet Explorer 7+ et Firefox 3.5 ou 3.6

En voici les principaux apports en 5 points :

• Une interface relookée et simplifiée par rapport à Visual Studio, car MTM est destiné à des testeurs qui ne sont pas nécessairement des informaticiens, l’accent a été mis sur l’ergonomie.
• Une organisation en campagnes de tests, chaque campagne permettra de tester une version particulière de l’application, et possèdera de nombreux indicateurs statistiques.
• Un Test Recorder et un Test Runner pour respectivement enregistrer et rejouer les actions effectuées par un testeur sur l’application.
• La possibilité de dérouler une campagne sur différents environnements et configurations.
• La faculté pour un développeur de transformer un test dit manuel en un test automatisé en rattachant du code exécutable au Test Case.

Le Test Recorder de Microsoft Test Manager 2010

Le Test Case : élément central

Une campagne de test regroupe un ensemble de Tests Cases que l’on peut organiser de manière hiérarchique via des Test Suites. Les Test Cases sont des éléments de travail de TFS (Team Foundation Server) et sont donc visibles et manipulables aussi bien par les testeurs que par les développeurs depuis Visual Studio. Deux clients, correspondants à deux rôles bien différents, utilisent donc les mêmes données sur le serveur TFS.

Un Test Case dans Microsoft Test Manager 2010

Chaque Test Case décrit une succession d’étapes qui guident le testeur. Il est possible de factoriser des étapes qui seraient communes à plusieurs tests (les actions pour se connecter au site par exemple) à travers des Shared Steps. De même, les tests sont très facilement paramétrables avec des listes de données ce qui entraînera l’exécution du test pour chaque ligne de données.

Des rapports de bugs exhaustifs sans effort

Lors de l’exécution d’une campagne, le testeur déroule les étapes des Test Cases et peut facilement créer une fiche de bug TFS le cas échéant. De plus l’outil intègre nativement de nombreux collecteurs de données qui vont enrichir la fiche avec toutes données disponibles au moment du test :

• Script des actions effectuées,
• Informations sur l’environnement de test (OS, Services Packs, Framework, langue, etc.),
• Vidéo du test,
• Captures d’écran (à la demande du testeur),
• Intellitrace : ce sont toutes les données de débogage de l’application ciblée (en .NET) au fil du temps.

Avec toutes ces informations à sa disposition, le développeur dispose de très bonnes chances pour parvenir à reproduire le bug, ce qui évite les allers-retours coûteux entre les développeurs et les testeurs !
Bien sûr tout cela n’enlève rien aux fonctionnalités existantes de Visual Studio autour des tests unitaires, tests d’intégration, tests Web et tests de montée en charge.