Étude de cas: Université de l'Indiana, virtualisation des données et initiative d'aide à la décision

"Nous pouvons utiliser des outils de business intelligence pour résoudre des problèmes et demander à des techniciens très intelligents d'écrire du code, mais si cela ne répond pas aux besoins de l'entreprise et ne répond pas réellement aux questions que les gens doivent connaître, alors en fin de compte, notre travail est inutile", a déclaré Dan Young. , architecte de données en chef à l'Université d'Indiana (IU). Young a déclaré qu'IU avait trouvé un moyen de répondre à ces questions pour plusieurs écoles et départements en utilisant la virtualisation des données fournie par dénoder.

Young a fait remarquer que le programme, appelé le Initiative d’aide à la décision (DSI) est « une opportunité pour IU de se réinventer en ce qui concerne l'analyse et la façon dont nous utilisons les données pour prendre des décisions. » L'Université d'Indiana est une institution multi-campus avec huit sites dans tout l'Indiana et plus de 19,000 114,000 employés, au service d'un corps étudiant de plus de XNUMX XNUMX personnes.

Évaluation des données

Historiquement, trouver des données précises et opportunes pour la prise de décision a été un défi pour IU. Leur entrepôt de données a servi pendant 15 ans et était devenu « encombré de multiples copies de données similaires », a-t-il déclaré. Les définitions étaient également incohérentes entre les départements et les campus, et les décisions cruciales nécessitent des informations opportunes, pertinentes et précises, qui n'étaient pas disponibles. Selon le site Web du DSI, les principaux décideurs universitaires « traitent souvent trop de données, dans trop de formats, dans trop d'endroits, pour être utiles. Ils ne savent peut-être même pas où trouver toutes ces données, ni même qu’elles existent.

Young cherchait un moyen d'éliminer les incertitudes liées aux décisions majeures, mais souhaitait également un projet qui pourrait être basé sur un Cadre agile. « Nous voulions vraiment essayer de concentrer nos efforts de business intelligence et notre travail de développement de données autour de l’idée d’Agile BI. Nous voulions essayer d’apporter de la valeur à l’université de manière itérative.

La notion de livraison progressive : « Prendre ce que vous avez et produire rapidement des tranches, des morceaux d'un tableau complet, afin que vous puissiez démontrer votre valeur et que les gens puissent commencer à l'utiliser le plus tôt possible » était un élément clé de la solution qu'il a adoptée. envisagé.

« Dans un projet de type entrepôt de données traditionnel, vous passeriez des mois à rassembler les exigences, à rédiger toute votre documentation, puis à créer les données, puis à créer la visualisation. Au moment où vous arrivez à la fin de ce cycle, vous rapportez votre produit à l'utilisateur final et il vous dit : « Oui, c'est génial ». C'est ce que j'ai demandé, mais je n'en ai plus besoin car mes exigences ont changé, et cela fait 18 mois.'

Avec pour mission de fournir des données opportunes, pertinentes et précises pour faciliter une meilleure prise de décision dans l’ensemble de l’Université, l’Initiative d’aide à la décision est née.

Élaboration de programmes

Young a envisagé plusieurs modeleurs relationnels outil-objet, comme Hibernate et .NET/Link, mais une réflexion plus approfondie sur le contexte des outils d'enregistrement l'a amené à des idées différentes.

« En fin de compte, l'un de mes défis était d'examiner l'espace technologique et d'essayer de déterminer [s'il existait] des outils qui pourraient nous aider à devenir une organisation de type Agile BI. »

Il a continué ses recherches et a découvert une technologie appelée «virtualisation des données.' Young a déclaré qu'il avait entendu parler de l'agrégation de données, mais que la virtualisation des données offrait différents outils « spécialement conçus pour faciliter cette approche agile d'exposition des données.

Tout en examinant les technologies et en « essayant de comprendre ce qui pourrait convenir », a-t-il déclaré, ils ont constitué une équipe et embauché des développeurs. Après avoir exploré les possibilités, en juin 2015, « nous avons décidé que Denodo serait un bon choix pour nous alors que nous essayions d'avancer dans la méthodologie Agile BI. »

Bien qu'il s'agisse d'une petite entreprise, Ravi Shankar, directeur marketing de dénoder, dit qu'ils ont travaillé spécifiquement dans virtualisation des données technologie depuis 20 ans :

« Le concept de virtualisation des données existe depuis un certain temps. Auparavant, cela s'appelait Enterprise Information Integration (EII), puis cela s'est transformé en fédération de données, et maintenant c'est la virtualisation des données. La technologie en tant que concept existe donc depuis longtemps – c'est simplement que la nomenclature a évolué à mesure que la fonctionnalité évoluait.

La virtualisation des données intègre des données provenant de sources, d'emplacements et de formats disparates, sans les répliquer, pour créer une seule couche de données « virtuelle » qui fournit des services de données unifiés pour prendre en charge plusieurs applications et utilisateurs.

Shankar a déclaré qu'il existe quatre attributs clés de la virtualisation des données :

• Abstraction de données: Cela permet aux clients d’accéder et d’utiliser les données sans avoir à se soucier de leur provenance. "Les consommateurs accèdent simplement à la couche de virtualisation des données et demandent les informations, la virtualisation des données va chercher ces informations et les récupère à partir des différentes sources, qui sont toutes dans des formats différents."
• Connectez-vous, ne collectez pas : Avec virtualisation des données il n’y a aucune réplication. « C'est le Saint Graal de toute entreprise que de pouvoir intégrer les informations afin de pouvoir fournir une vision globale de l'entreprise. » Mais la virtualisation des données est un moyen très propre de permettre l'accès, quel que soit l'endroit où se trouvent les données, sans avoir à les regrouper physiquement dans un endroit donné, a-t-il déclaré. « Donc, si vous ne répliquez pas les données, cela améliore réellement la vitesse. Vous vous connectez aux sources et accédez aux données sans avoir à toutes les rassembler en un seul endroit.
• Les données sont fournies en temps réel : Lorsqu'une entreprise fonctionne en permanence et que les systèmes sources sont continuellement mis à jour, la virtualisation des données fournit des rapports précis en temps réel à mesure que les données sources changent.
• La virtualisation des données offre de l'agilité : Il s’agit d’une technologie très Agile, permettant d’apporter des modifications en profondeur sans que l’entreprise ne soit impactée.

La virtualisation des données présente de nombreux avantages, a déclaré Shankar. « Ils sont capables de livrer des choses beaucoup plus rapidement que [s'ils devaient] utiliser d'autres solutions d'intégration de données similaires. des technologies comme ETL." Il a ajouté : « Ils peuvent y parvenir avec moins de ressources. Ils n'ont pas besoin d'autant de développeurs pour le faire : un quart des développeurs et un quart du temps nécessaire avec d'autres technologies.

Gartner Research prédit également des économies grâce à la virtualisation des données : « D’ici 2020, les organisations dotées de capacités de virtualisation des données dépenseront 40 % de moins pour créer et gérer des processus d’intégration de données pour connecter des actifs de données distribués. »

Young ajoute un cinquième attribut important de la virtualisation des données de Denodo dont IU avait besoin : la sécurité. "En particulier avec l'entrepôt de données logique, mais [également avec] tous les services proposés par l'outil, il nous permet de fournir une sécurité basée sur des politiques au niveau des colonnes et des lignes, et s'intègre bien à notre annuaire actif." Il a déclaré que les complications liées à l'écriture des contrôles ne sont plus un problème car « il suffit de placer les bons groupes Active Directory au bon endroit, et les gens y ont accès. C'est une mise en œuvre beaucoup plus simple pour nous à cette fin.

Comment IU utilise la virtualisation des données

L'Université offre aux décideurs la possibilité de demander une « charte » ou un projet en utilisant l'Initiative d'aide à la décision, a déclaré Young. Un utilisateur remplit un formulaire en ligne demandant un rapport ou un ensemble de données, avec une section obligatoire décrivant : « Le problème commercial qu’il nous aidera à résoudre ».

Le formulaire nécessite également l'affectation d'un propriétaire de produit, pour utiliser le « langage Agile », a-t-il déclaré : « Si cette charte est sélectionnée, voici les gens d'affaires que nous sommes prêts à engager pour aider à définir les exigences et à suivre ce processus. avec toi." Cela garantit que le projet aura quelqu'un désigné, « pour travailler avec nos analystes commerciaux pour aider à traduire ces exigences en livrables supplémentaires », a-t-il déclaré. Un comité de pilotage évalue ensuite et priorise les chartes.

Un exemple de ce qui peut être accompli grâce au DSI est appelé Academic Metrics 360 (AM360). Considéré comme le « joyau de la couronne » d'IU, le projet utilise la virtualisation des données pour fournir une vue à 360° d'un centre universitaire, a-t-il déclaré. "Ils peuvent examiner le nombre d'heures de crédit, ce qu'ils enseignent et le nombre d'étudiants qui suivent ces cours, et comment cela se traduit finalement en revenus et en financement." L'objectif final est de garantir que « toutes les divisions puissent essentiellement disposer des mêmes informations », permettant à chacune de présenter ces données aux examens annuels avec le doyen pour justifier une augmentation du financement ou pour mettre en évidence les défis ou les réalisations, a-t-il déclaré.

Évaluation du programme

"Nous effectuons la partie exécution du DSI depuis un peu plus de deux ans", et cela aide les décideurs à savoir où trouver les données, d'où elles viennent et comment elles sont dérivées, a déclaré Young.

Le projet AM360 fournit « une structure de reporting commune pour bon nombre de ces discussions afin que la doyenne dispose d'une version défendable de la vérité qu'elle peut utiliser », et les divisions et départements de l'école peuvent tous travailler essentiellement à partir des mêmes chiffres.

« Une école en elle-même peut ne pas être d’accord avec notre mise en œuvre. Ils pourraient dire : « Eh bien, ce n’est pas correct à cause du XY et du Z. » Ce n'est pas grave, car cela démarre une conversation, cela démarre une discussion avec cette école, et ensuite nous sommes prêts à affiner nos algorithmes pour créer ces visualisations afin de pouvoir les améliorer.

Young affirme que Denodo a donné à IU un moyen de créer un entrepôt de données logique en rassemblant des sources et des formes de données disparates dans une vue unifiée :

« Ainsi, que les données proviennent d'un ERP, d'un système financier ou d'un système de gestion de l'apprentissage en ligne basé sur le cloud, les utilisateurs viennent simplement sur Denodo pour les récupérer, et ils ne le savent pas – cela ressemble pour eux à une base de données. , cela ressemble à une base de données, et ils ne connaissent pas nécessairement certains détails techniques sur l'origine des données et comment tout cela est en quelque sorte assemblé dans ce tissu de données à l'arrière.

Conclusion

Young recommande : « Utiliser le bon outil pour le travail, comprendre les différences entre les technologies et les points forts de chacune » et savoir où les placer. Denodo et IU ont eu des conversations continues sur les fonctionnalités et les améliorations, a-t-il déclaré. « C'est très fluide. Denodo livre également de manière itérative, il ne faut donc pas longtemps pour obtenir des correctifs et ce genre de choses. Nous entretenons de bonnes relations avec les fournisseurs.

Shankar a dit :

« Une chose que je veux juste mentionner ici, c'est que je travaille dans le domaine technologique depuis près de 30 ans [et] nous avons toujours recherché l'éternel Saint Graal d'avoir une source unique pour toutes les données. Au lieu de chercher à obtenir un référentiel unique, la virtualisation des données est pour moi une technologie que nous pouvons utiliser pour obtenir ce référentiel virtuel unique.

La force de Denodo réside dans l'accès et la livraison des données, a-t-il déclaré.

« Si vous essayez d'effectuer des transformations lourdes et que vous souhaitez stocker ces informations et vendre la sauvegarde, nous ne sommes pas l'outil pour cette [tâche] particulière. Il y a des endroits où vous utiliseriez la virtualisation des données au lieu d'ETL et il y a des endroits où vous devez utiliser ETL car vous avez besoin de ce niveau de charge en masse, surtout si vous déplacez de gros volumes de données dans un entrepôt de données ou si vous essayez de faire beaucoup de transformations dans différents formats.

Young déclare avoir eu « une très bonne adoption organique de Denodo par les services techniques extérieurs ». Plusieurs autres groupes du campus ont vu l’utilité de l’outil « pour mélanger et rassembler les données ». L'équipe a travaillé pour faire de Denodo « un outil à très faible barrière », en utilisant une documentation accessible et en le rendant facile à adopter par des utilisateurs non techniques, a-t-il déclaré, mais les utilisateurs ayant une expérience technique sont également présents.

« Si vous avez des gens qui ont utilisé des outils de développement de bases de données, Denodo entre parfaitement dans cette catégorie. Il n'est pas difficile pour quelqu'un qui a utilisé Oracle ou un outil serveur SQL de se lancer et de commencer à utiliser Denodo et de comprendre conceptuellement comment tout cela s'articule.

Young a déclaré que c'était devenu « vraiment précieux pour nous dans toute l'université ».

Image utilisée sous licence de Shutterstock.com

Source : https://www.dataversity.net/case-study-indiana-university-data-virtualization-decision-support-initiative/