OAKLAND
Californie, 13 octobre – Les deux tiers des 100 plus grandes banques du monde utilisent le géant de la notation de crédit Fair Isaac Corp (FICO.N) et son logiciel d’intelligence artificielle pour prendre des décisions de prêt et, en cas de problème, pourraient causera de graves dommages.
![Les](https://cloudfront-us-east-2.images.arcpublishing.com/reuters/UXDDDE4HM5OALDPNVEVKAMBYLM.jpg)
La crise est passée presque au début de la pandémie
Comme FICO l’a déclaré à Reuters, l’outil d’intelligence artificielle utilisé par la société Bozeman, basée au Montana, pour aider les banques à identifier les fraudes par carte de crédit et de débit a conclu que l’augmentation des achats en ligne signifie que les fraudeurs doivent être plus occupés que d’habitude.
Un logiciel d’intelligence artificielle dit aux banques de rejeter des millions d’achats légitimes à un moment où les consommateurs se bousculent pour obtenir du papier toilette et d’autres produits essentiels.
Mais les consommateurs ont fini par voir peu de rejet
Selon FICO. La société a déclaré qu’un panel de 20 analystes mondiaux qui surveillent en permanence ses systèmes a recommandé des ajustements temporaires pour éviter un blocage des dépenses. L’équipe alerte automatiquement en cas d’achats inhabituels susceptibles de dérouter l’intelligence artificielle, utilisée par 9 000 institutions financières pour détecter les fraudes sur 2 milliards de cartes de crédit.
Il est inhabituel qu’une telle équipe d’entreprise fasse partie de la profession émergente des opérations d’apprentissage automatique (MLOps). Dans une enquête distincte l’année dernière, FICO et la société de conseil McKinsey & Co ont constaté que la plupart des organisations interrogées ne surveillaient pas régulièrement les programmes basés sur l’IA après leur lancement.
Le problème
Selon les scientifiques qui gèrent ces systèmes, est que les erreurs peuvent abonder lorsque l’environnement réel s’écarte, ou en termes techniques « s’écarte », des exemples utilisés pour former l’IA. Dans le cas de FICO, il a déclaré que son logiciel s’attendait à plus d’achats en personne que d’achats virtuels, et que les taux de retournement entraînaient un pourcentage plus élevé de transactions signalées comme problématiques.
Les changements saisonniers
Les changements dans la qualité des données ou des événements majeurs tels qu’une pandémie peuvent tous conduire à une série de mauvaises prévisions d’IA.
Imaginez un système qui recommande des maillots de bain aux acheteurs d’été
Sans se rendre compte que le verrouillage COVID rend les pantalons de survêtement un meilleur ajustement. Ou le système de reconnaissance faciale qui fonctionne mal parce que les masques faciaux sont devenus populaires…
La pandémie a dû être un « signal d’alarme » pour les personnes qui ne surveillent pas de près les systèmes d’IA, car elle a déclenché d’innombrables changements de comportement, a déclaré Aleksander Madry, directeur du Center for Deployable Machine Learning du MIT.
Faire face à la dérive est un énorme problème pour les organisations qui tirent parti de l’IA, a-t-il déclaré. « C’est ce qui nous retient vraiment de notre rêve d’IA révolutionnant tout en ce moment. »
Ajoutant à l’urgence pour les utilisateurs de résoudre le problème
L’UE prévoit d’adopter une nouvelle loi sur l’intelligence artificielle dès l’année prochaine qui nécessitera un certain suivi. La Maison Blanche a également appelé à une surveillance dans les nouvelles directives sur l’IA ce mois-ci pour garantir que les systèmes « ne fonctionnent pas en dessous des niveaux acceptables au fil du temps ».
Une détection lente des problèmes peut être coûteuse
Unity Software Inc (UN), dont le logiciel publicitaire aide les jeux vidéo à attirer les joueurs, a estimé en mai qu’il perdrait 110 millions de dollars de ventes cette année, soit environ 8% du chiffre d’affaires total prévu, après son outil d’IA qui détermine qui a été tiré par les clients. %. Afficher des publicités qui ont cessé de fonctionner est aussi bon que jamais. La société a déclaré que ses systèmes d’intelligence artificielle étaient également à blâmer pour avoir appris à partir de données corrompues.
Unity
Basé à San Francisco, a refusé de commenter l’appel aux résultats. Les dirigeants de l’entreprise affirment que Unity déploie des outils d’alerte et de récupération pour détecter les problèmes plus rapidement, reconnaissant que les extensions et les nouvelles fonctionnalités priment sur la surveillance.
Marché immobilier Zillow Group Inc (ZG.O) a annoncé en novembre qu’il prévoyait une dépréciation de 304 millions de dollars sur les maisons qu’il avait achetées, plus que le prix de revente, sur la base d’un algorithme de prévision des prix. La société de Seattle a déclaré qu’AI n’était pas en mesure de suivre la volatilité rapide et sans précédent du marché et de se retirer de l’activité d’achat et de vente.
nouveau marché.
L’IA peut mal tourner à bien des égards
Il est bien connu que les données d’entraînement faussées selon la race ou d’autres lignes peuvent conduire à des prédictions biaisées injustes. Selon des enquêtes et des experts du secteur, de nombreuses entreprises examinent désormais les données au préalable pour éviter que cela ne se produise. En revanche, peu d’entreprises considèrent les dangers d’un modèle bien élevé qui échoue plus tard, ont déclaré les sources.
« C’est une question urgente »
A déclaré Sara Hooker, responsable du laboratoire de recherche Cohere For AI. « Comment mettre à jour un modèle qui devient obsolète à mesure que le monde change ? ».
Au cours des dernières années
Plusieurs startups et géants du cloud computing ont commencé à vendre des logiciels pour analyser les performances, définir des alertes et introduire des correctifs conçus pour aider les équipes à garder un œil sur l’intelligence artificielle. La société mondiale d’études de marché IDC estime que les dépenses en outils opérationnels d’IA atteindront au moins 2 milliards de dollars d’ici 2026, contre 408 millions de dollars l’année dernière.
Les investissements en capital-risque dans les entreprises développant et exploitant l’intelligence artificielle ont atteint près de 13 milliards de dollars l’année dernière, et 6 milliards de dollars ont été investis jusqu’à présent cette année, selon PitchBook, une société basée à Seattle qui suit le financement.
Arize AI
Qui a levé 38 millions de dollars auprès d’investisseurs le mois dernier, peut surveiller des clients tels que Uber, Chick-fil-A et Procter & Gamble. La directrice des produits, Aparna Dhinakaran, a déclaré qu’elle avait eu du mal chez son ancien employeur à repérer rapidement où les prédictions de l’IA avaient mal tourné, et des amis ailleurs lui avaient parlé de leurs propres retards.
« Le monde d’aujourd’hui est que vous ne savez qu’il y a un impact commercial que deux mois plus tard », a-t-elle déclaré.
Note de fraude.
Certains utilisateurs d’IA ont construit leurs propres capacités de surveillance
Ce qui, selon FICO, l’a sauvé au début de la pandémie.
Alors que de plus en plus d’achats en ligne ont lieu
Des alertes sont déclenchées – ce que l’industrie appelle « carte non présente ». Historiquement, une plus grande partie de ce paiement a tendance à être frauduleuse, et sur une échelle FICO de 1 à 999, une augmentation des transactions entraîne des transactions plus élevées (plus il est élevé, plus il est probable qu’il soit frauduleux), a déclaré Scott Zoldi, directeur de l’analyse de FICO.
Les vêtements grand public changent trop rapidement pour réécrire les systèmes d’IA
A déclaré Zoldi. En conséquence, FICO conseille aux clients américains de n’examiner et de ne rejeter que les transactions avec un score supérieur à 900, a-t-il déclaré, et un score supérieur à 850. Il dispense les clients d’examiner les transactions légitimes qui dépassent l’ancien seuil de 67 % et leur permet de se concentrer sur les cas véritablement problématiques.
Au cours des six premiers mois de la pandémie
Les clients ont découvert 25 % de fraudes en plus que prévu aux États-Unis et 60 % de plus au Royaume-Uni, a déclaré Zoldi.
« Vous n’êtes pas responsable de l’IA à moins que vous ne surveilliez »
A-t-il déclaré.
💡 Ressource et référence
« Reuters.com », de : Quand l’IA est hors de contrôle, amène les humains..