Référentiels produits : comment les réconcilier ?

Simplifiez la gestion des référentiels grâce à la réconciliation des données.

Les obstacles des référentiels produits

Notre client, un acteur majeur du crédit à la consommation, souhaitait proposer en ligne à tout acheteur d’un véhicule d’occasion un plan de financement en un clic.

Les sites partenaires vendeurs de véhicules d’occasion utilisent majoritairement comme référentiel automobile l’Argus (parfois JATO), en revanche les algorithmes de création du plan de financement de notre client se basaient sur un autre référentiel : EUROTAX.

Afin que le particulier puisse recevoir son plan de financement en quelques secondes, il fallait établir une correspondance unique entre les entrées des référentiels qui n’avaient pas de clé commune et dont les différences dans la description des véhicules rendaient cette correspondance non triviale.

Réconcilier des référentiels produits avec Tale of Data

Utilisation de jointures spéciales (dites « full-text »)* conçues par Tale of Data (100 000 entrées environ par référentiel) :

• Création d’une clé composite pour chaque référentiel par concaténation de plusieurs champs (ex : modèle, libellé version longue, nombre de portes, année de mise en service, ...)

• La clé composite est mise en correspondance avec les clés composites des autres référentiels qui ont le plus de « mots » en commun. De plus les mots sont pondérés en fonction de leur rareté dans le corpus de clés composites (principe : plus un mot est rare dans le corpus, plus la correspondance est crédible)

• Elimination des correspondances multiples par des champs numériques dit d’arbitrage (comme le prix TTC ou le niveau d’émission de CO2) : ces champs ne sont pas assez standardisés pour être mis dans la clé composite, mais ils s’avèrent très efficaces pour faire un choix lorsqu’un véhicule d’un référentiel est mis en correspondance avec plusieurs véhicules d’un autre référentiel. On prendra donc celui qui a le prix puis le taux d’émission de CO2 le plus proche.

Les bénéfices de la réconciliation des référentiels produits

Grâce à l’implication des experts métier (qui possèdent une connaissance approfondie des référentiels automobiles) les champs intervenant dans la clé composite ainsi que les champs d’arbitrage ont pu être déterminés de manière optimum.

Le taux de correspondances uniques est passé :

• De 55% dans la première approche qui consistait à demander aux Data Scientists du client de coder en python des algorithmes de correspondance de chaînes de caractères, algorithmes régulièrement retoqués par le métier, et ce depuis plusieurs mois

• À 95% dans l’approche par clé composite et implication du métier proposée par Tale of Data

Les 5% restant de correspondances multiples ne présentant pas de différence significative au niveau du plan de financement généré, l’approche Tale of Data a été validée au bout d’une semaine par les équipes métier du client.