Dans un monde où les données sont de plus en plus nombreuses et complexes, la logique floue apparaît comme une méthode de traitement de l'information particulièrement adaptée.
En combinant intelligence artificielle et modélisation de systèmes complexes, elle offre des perspectives prometteuses pour les organisations en quête d'amélioration de la qualité de leurs données et de leur prise de décision.
Sommaire :
1. Qu’est-ce que la logique floue ?
2. Pourquoi utiliser de la logique floue ?
3. Les applications de la logique floue
4. Quelques exemples d’application de la logique floue
Qu’est-ce que la logique floue ? 🤔
La logique floue est une approche issue d’une théorie mathématique qui a été développée dans les années 60 par le mathématicien Lotfi Zadeh.
Utilisée aujourd’hui en intelligence artificielle, c’est une méthode de traitement de l'information également connue sous le nom de logique incertaine ou « fuzzy logic », permettant de traiter des informations imprécises ou incertaines.
Contrairement à la logique classique, qui énonce que toute proposition est soit vraie, soit fausse, la logique floue permet d'exprimer une proposition avec un certain degré de certitude ou d'incertitude.
La logique floue est donc une méthode de traitement de l’information, capable de représenter des nuances et des degrés de concordance, en utilisant des valeurs intermédiaires comprises entre 0 (pas de similitude) et 1 (lorsque la similitude est totale).
Pourquoi utiliser de la logique floue pour traiter ses données ?
La logique floue présente pour avantage d'être intuitive et de faire intervenir des variables et des nuances dans un résultat qui, habituellement, est exprimé en résultat vrai ou résultat faux.
Elle permet ainsi de résoudre des situations complexes de rapprochement de données qui ne sont pas écrites exactement de la même façon.
Elle crée des ponts entre des sources de données ne disposant pas de clé commune. La clé commune étant la condition sine qua non pour pouvoir faire des croisements entre les données. C’est tout un champ des possibles, inexploité, qui s’ouvre alors aux organisations utilisant cette méthode approche.
Pour illustration, la logique floue rapproche des noms de personnes qui ont été saisis différemment et qu’une méthode classique de comparaison ne permet pas d’associer.
Emma Dupont et Emma Dupond
Malaurie ou Malorie voir même Mallorie
Pour découvrir une utilisation de la logique floue dans le domaine des assurances, voir notre article ‘‘Comment s’affranchir des erreurs de saisies dans les assurances ?’’
Quelles sont les applications de la logique floue ? 🔍
La logique floue est utilisée, entre autres, dans les systèmes d’aide à la conduite des véhicules, la reconnaissance de formes, le contrôle des robots, le diagnostic médical ou encore à la prise de décision.
Les outils assurantiels d’analyse et de prévention des risques en intègrent déjà, tout comme les intelligences artificielles qui gèrent le trafic routier et aérien. On la retrouve également dans les modèles de prédiction météorologique et climatique.
Elle est particulièrement appliquée pour réaliser un pont entre plusieurs sources de données, pouvant contenir des éléments non strictement identiques.
Lorsque la logique floue est appliquée à un texte, elle propose des correspondances de segments de texte qui peuvent être inférieures à 100%. Il est alors possible de s’affranchir des erreurs de saisies, des encodages différents, d’une structure de données non identique, etc. Un seuil, appelé coefficient de confiance, permet alors de rapprocher le niveau de similitude entre les segments de texte associés.
La logique floue est utilisée dans tous les domaines où le besoin est de traiter des informations incertaines ou imprécises. Appliquée à des données texte approchantes, elle permet de réaliser des rapprochements et des réconciliations entre des mots ou groupes de mots non identiques.
Quelques exemples d’application de la logique floue
Pour illustrer des cas d’application de la logique floue – fonctionnalité essentielle, présente dans la solution Tale of Data - dans le rapprochement de données orthographiées différemment, voici quelques exemples concrets d’utilisation de la logique floue chez nos clients.
Rapprochement de données par logique floue
Dans toutes les organisations qui utilisent des bases de données avec des contacts / clients / fournisseurs / adhérents, etc…, la logique floue permet de rapprocher des noms et prénoms malgré des différences d’orthographe.
Voici un tableau illustrant un audit, réalisé par un de nos clients, sur la qualité des données de sa base clients et les principales erreurs rencontrées :
Citons un autre cas d’utilisation de la logique floue.
Un de nos clients avait besoin de rapprocher ses bons de commandes avec les informations que ses fournisseurs lui renvoyaient sur les commandes livrées.
Voici les références des bons de commandes envoyées aux fournisseurs ; ces références étant composées de 2 lettres et 8 chiffres :
AX01259783
AT01478936
AX56321454
AO58960123
La première erreur de retranscription des fournisseurs était la confusion entre des lettres et des chiffres. En effet, les bons de commande étant composés de lettres et de chiffres, l’erreur de saisie la plus courante était commise sur l’inversion du zéro et de la lettre o, ou encore la lettre i avec le chiffre 1.
De plus, lorsque les 3 premiers caractères comprenaient le chiffre zéro ou la lettre o, il y avait encore plus d’erreurs, ces dernières diminuant en fonction de l’éloignement du zéro par rapport aux lettres.
Voici quelques exemples d’erreurs rencontrées dans la saisie des bons de commande par le fournisseur :
Le rapprochement par logique floue a permis :
de pouvoir rapprocher des références en combinant le zéro et la lettre o, le i et le 1,
d’intégrer ces règles de gestion dans le rapprochement des références,
de ne plus avoir de bon de livraison ’orphelins’ qu’il fallait rapprocher à la main en imaginant toutes les combinaisons d’erreur possibles.
En plus de ces cas, notre client a pu s’affranchir d’autres erreurs comme la suppression de caractères spéciaux, l’empêchant jusque là, de rapprocher automatiquement les références. Citons les exemples les plus rencontrés :
les tirets en trop au début ou la fin d’une référence,
des apostrophes,
des espaces en trop au début ou la fin d’une référence,
les majuscules/minuscules sur les lettres,
des références saisies toutes les unes à la suite des autres, séparées uniquement d’une virgule, sans aucun espace, …
La logique floue a permis à notre client de s’affranchir des erreurs de saisie et de travailler avec des informations incorrectes, sans que celles-ci impactent son activité.
Les erreurs étant inévitables lorsque des êtres humains interagissent avec des systèmes informatiques, il est raisonnable et réaliste de considérer la bataille des erreurs de saisie perdue d’avance.
Au lieu d'exiger une amélioration de la qualité des données saisies par ses fournisseurs, notre client, équipé de Tale of Data, peut dorénavant se concentrer pleinement à ses activités ; ne plus gaspiller de temps et des ressources précieuses à résoudre ces erreurs.
La logique floue permet donc de réaliser des rapprochements ou des associations avec des données ‘presque’ pareilles, mais aussi d’effectuer de l'enrichissement de données.
Enrichissement des données par logique floue
On entend par enrichissement des données, l’opération qui consiste à compléter des informations avec d’autres, en croisant les données provenant de différentes sources.
Un des enrichissements les plus connus, le plus simple et le plus utilisé est la fonction « recherche V » sous Excel. Mais dans ce cas, il est indispensable de disposer d’une clé commune entre les deux sources, pour pouvoir rapprocher les données et ensuite les croiser.
L’enrichissement par logique floue permet de s’affranchir de cette clé commune.
Différentes stratégie de rapprochement par logique floue sont proposées en standard dans Tale of Data : une orthographe approchante (une ou plusieurs différences), la phonétique, en ignorant la casse, les accents, les espaces,... Quelle que soit la stratégie et la fonction utilisée, Tale of Data détecte des termes 'approchants' et propose de les corréler. Libre à l’utilisateur ensuite d’accepter les propositions.
De plus, la pondération du rapprochement par l’indice de confiance mesure la fiabilité du rapprochement. Le taux, proposé par la solution Tale of Data, s’exploite de la façon suivante :
Si l'indice = 1, la correspondance est totale et le rapprochement fiable à 100% entre les sources. Dans ce cas, tous les champs rapprochés sont identiques.
Si l'indice est compris entre 0,99 et 0,85, les rapprochements proposés sont à étudier et la décision sera prise au cas par cas. Il peut y avoir, par exemple, une seule lettre d'écart (Dupond et Dupont) et malgré cette différence, ce sont bien les mêmes données. Il sera donc logique de les assembler.
Enfin, si l'indice est inférieur à 85%, la jointure est peu fiable. Elle présente de grandes différences sur les champs rapprochés et il est peu probable que leur étude soit pertinente. Tale of Data vous permet de ne pas rapprocher ces données.
L'indice de confiance facilite les décisions de rapprochement.
Pour illustrer la logique floue utilisée dans les cas d’enrichissement de données, un de nos clients complète son CRM avec les données publiques de la base SIRENE, disponibles en open data.
Dans son CRM, l’information du SIRET ou SIREN n’est pas une donnée obligatoire ; il ne peut donc pas utiliser cette clé fiable pour réaliser le pont entre son CRM et la base SIRENE des entreprises françaises. Il a été contraint d’utiliser le nom de la société, dont l’orthographe peut parfois comporter des exotismes dans son CRM.
La logique floue a donc été la stratégie indispensable pour associer les noms des entreprises de la base SIRENE avec celles de son CRM, dont les orthographes n’étaient pas toujours correctes.
Pour exemple, voici les différentes orthographes qu’il a pu retrouver dans son CRM pour la société EDF :
En plus des opérations d’enrichissement réalisées par la logique floue, il a pu identifier les doublons, triplons, quadruplons, présents dans son CRM et prendre conscience de la non-qualité de ses données.
L’utilisation de la solution Tale of Data lui a permis, grâce à la stratégie de logique floue, d’enrichir ses données mais aussi d'améliorer la qualité de ses données (voir à ce propos notre article sur l’enrichissement de vos données grâce à l’open data)
Logique floue et Big data : conclusion
Pour résumer, la logique floue est une méthode de traitement de l'information et de mise en qualité qui permet de gérer des informations approchantes ou imprécises.
Elle est utilisée dans de nombreux domaines pour modéliser des systèmes complexes et est capable de représenter des nuances et des degrés de corrélation entre des données approchantes.
Elle offre de nombreux avantages grâce à l’intelligence artificielle et assure des combinaisons de données beaucoup plus larges que l’utilisation d’une clé commune.
👉 Enfin, la logique floue garantit des opérations de mise en qualité des données avec des résultats largement supérieurs à des rapprochements utilisant une clé commune. Sur ce sujet, voir notre article sur la data quality.