Les logiciels sont présents dans presque tout ce que nous faisons et il est vrai que nous sommes convaincus de leur efficacité. Ils tombent parfois en panne, ce qui suscite l’agacement, mais dans la plupart des cas, ils fonctionnent conformément à nos attentes. Comment avons-nous su nous laisser convaincre ? Par des expériences positives répondant à nos attentes. Un logiciel bien testé évite une mauvaise expérience client, puisque les clients ne voient jamais les bogues : ils sont identifiés et corrigés au début du processus de développement. Cette automatisation des tests, intégrée à son processus de livraison continue, a permis à Intesa Sanpaolo d’identifier 700 bogues lors de la validation de nouvelles fonctionnalités de son application mobile phare, en production, au cours des 12 derniers mois. Ainsi, l’automatisation des tests est essentielle pour tout processus moderne de livraison d’application.

Les enjeux de la confiance en l’IA

De la même façon, nous apprenons également à nous fier à l’IA, de plus en plus intégrée aux logiciels et applications que nous utilisons quotidiennement (même si ce n’est pas encore le cas à l’échelle d’un logiciel classique). Mais il y a également de nombreux exemples de mauvaises expériences avec l’IA qui compromettent l’éthique, la responsabilité et l’inclusion, érodant ainsi le lien de confiance. Par exemple, comme nous le décrivons dans No Testing Means No Trust In AI: Partie 1, Compas est une application d’apprentissage machine (ML) intégrant l’IA (AIIA), utilisée par des juges dans 12 États américains pour décider d’accorder une liberté sous caution à des accusés en attendant leur procès et choisir la durée des peines de prison. Des chercheurs ont identifié que bien souvent, Compas prévoyait que les accusés noirs présentaient un plus fort risque de récidive que le risque réel, alors que l’application sous-estimait bien souvent le risque que des accusés blancs récidivent.

La perte de confiance dans les AIIA constitue un risque majeur pour l’innovation basée sur l’IA. Les attentes par rapport aux applications élaborées à partir de l’IA sont liées au fait qu’outre l’aspect du fonctionnement, nous espérons un comportement intelligent : les AIIA doivent parler, écouter, voir et comprendre. Les données d’analyses Forrester montrent qu’en 2021, 73 % des entreprises prétendent adopter l’IA pour créer de nouvelles solutions, par rapport à 68 % en 2020, et tester ces applications élaborées à partir de l’IA devient encore plus critique.

Figuring the amount of rigor in testing and there needed effort should be commensurate to the level of business risk the AIIA carries
Éloignez-vous des zones rouges !

Appréhender les tests des logiciels et applications

Les conséquences liées à une négligence des tests d’AIIA, assez lourdes, planent sur les applications dans des domaines impactant la vie et la sécurité (par exemple, les voitures sans chauffeur et les usines automatisées), la cybersécurité ou l’aide dans la prise de décision stratégique. Et au fur à mesure que l’IA évolue et que nous réduisons progressivement l’intervention humaine, tester les AIIA devient de plus en plus critique.

D’un autre point de vue, le World Quality Report (WQR) de Capgemini montre que 88 % des responsables informatiques envisagent d’utiliser l’IA dans leurs tests ou de tester leur IA. Et je m’attends à ce que le nombre de tests AIIA réalisés monte en flèche. Voici les questions les plus courantes auxquelles je réponds pour les clients de Forrester :

1) Comment puis-je équilibrer le risque lié aux tests insuffisants ou excessifs pour les AIIA ?

2) Comment puis-je savoir si mon test IA est suffisant ?

3) Il faut tout un village pour tester des AIIA. Qui doit être impliqué ?

4) Quelles sont les pratiques et les compétences existantes en matière de test que je peux utiliser et les nouvelles dont j’ai besoin ?

5) Les tests sont-ils identiques pour tous les types d’IA impliqués ?

6) Qu’en est-il de l’automatisation des tests d’AIIA ?

7) Comment cette automatisation s’intègre-t-elle aux MLOps (DeOps pour IA) ?

Si vous faites partie des 73 % des entreprises adoptant l’IA pour rendre votre entreprise plus intelligente, plus dynamique et plus créative, lisez mon rapport Why (and how) to test AI-infused applications (accès clients Forrester uniquement) pour obtenir les réponses à vos questions les plus courantes.  

Contactez-nous pour toute question.

Note: cet article a été traduit. Langue originale : anglais.