{"id":1261,"date":"2012-02-03T10:26:04","date_gmt":"2012-02-03T09:26:04","guid":{"rendered":"http:\/\/www.solucominsight.fr\/?p=1261"},"modified":"2015-01-21T09:57:09","modified_gmt":"2015-01-21T08:57:09","slug":"quest-ce-que-le-paysage-technologique-du-big-data","status":"publish","type":"post","link":"https:\/\/www.riskinsight-wavestone.com\/en\/2012\/02\/quest-ce-que-le-paysage-technologique-du-big-data\/","title":{"rendered":"Quel est le paysage technologique du Big Data ?"},"content":{"rendered":"

[Article r\u00e9dig\u00e9 en collaboration avec \u00a0Lise Gasnier]<\/em><\/em><\/p>\n

MMI<\/strong> (Mathieu Millet) : Le premier \u00e9l\u00e9ment structurant dans le contexte Big Data est le socle de \u201cstockage\u201d<\/em> des donn\u00e9es.<\/strong><\/p>\n

L\u2019approche historique est celle des offres de DatawareHouse, qui ont \u00e9volu\u00e9, sous forme d\u2019appliance<\/em> notamment, pour supporter de plus grandes quantit\u00e9s de donn\u00e9es et faire porter par le \u00ab stockage \u00bb une capacit\u00e9 de traitement \u00e9tendue (principe de PushDown<\/em>). On retrouve les offres de fournisseurs tels que TeraData (leader historique sur le march\u00e9), Oracle avec ExaData, IBM\/Netezza\/Informix ou encore, EMC\/Greenplum ou HP\/Vertica.<\/p>\n

Ces solutions ont toutes en commun un mod\u00e8le de donn\u00e9es fortement structur\u00e9 (type, table, sch\u00e9ma, \u2026) et le langage de requ\u00eate SQL.<\/p>\n

L\u2019approche en rupture est celle propos\u00e9e par Google, avec la publication de son Livre Blanc Big Table. Cette approche consiste en 2 grands principes. Tout d\u2019abord, il s\u2019agit de reprendre les principes de scalabilit\u00e9 (horizontale) des clusters de calcul scientifique (HPC).Puis, on peut se permettre de s’affranchir de certaines contraintes inh\u00e9rentes \u00e0 un usage transactionnel des bases de donn\u00e9es relationnelles traditionnelles, et qui ne sont plus strictement n\u00e9cessaires pour les usages analytiques, telles que les principes d\u2019ACIDit\u00e9 (Atomicit\u00e9, Coh\u00e9rence, Isolation et Durabilit\u00e9), le langage SQL (Not-Only SQL, NoSQL) et la contrainte de Coh\u00e9rence (imm\u00e9diate) du th\u00e9or\u00e8me CAP[1]<\/a> de Brewer .<\/p>\n

Cependant, pour simplifier la mise en \u0153uvre d\u2019une telle solution\u00a0 et rendre l\u2019infrastructure simple, scalable (\u00e0 plusieurs centaines de n\u0153uds), avec du mat\u00e9riel \u00e0 bas co\u00fbt (donc sans inclure de r\u00e9seau faible latence, type InfiniBand ou m\u00eame sans r\u00e9seau de stockage sp\u00e9cifique), le framework de \u201cgestion\u201d d\u2019un tel cluster est oblig\u00e9 de contraindre fortement l\u2019organisation et la mani\u00e8re de d\u00e9velopper. Les principes de Map Reduce[2]<\/a> (toujours d\u00e9crits dans le Libre Blanc de Google) r\u00e9pondent \u00e0 ces contraintes.<\/p>\n

La solution la plus embl\u00e9matique de cette approche est Hadoop et son \u00e9cosyst\u00e8me. D\u00e9velopp\u00e9 initialement par Yahoo, maintenant support\u00e9 par la fondation Apache, Hadoop impl\u00e9mente un syst\u00e8me de Fichiers massivement Distribu\u00e9s (HDFS) et un moteur Map Reduce. Hadoop est \u00e9paul\u00e9 par tout un \u00e9cosyst\u00e8me afin d\u2019\u00e9tendre son champ fonctionnel, avec par exemple HBase (base de donn\u00e9es de type NoSQL) ou encore Hive (entrep\u00f4t de donn\u00e9es disposant d\u2019un langage de requ\u00eatage \u00e0 la SQL<\/em>).<\/p>\n

Hadoop a tellement le vent en poupe que presque tous les acteurs du DatawareHouse (Oracle, Microsoft, IBM, Teradata,\u2026) ou de l\u2019analytique (SAS, R, Micro Strategy, …) ont maintenant annonc\u00e9 des solutions autour de ce nouvel \u00e9cosyst\u00e8me.<\/p>\n

LGA <\/strong>(Lise Gasnier) : La finalit\u00e9 du stockage est d’extraire l’information utile des donn\u00e9es. L’analyse est naturellement l’autre volet majeur du paysage technologique du Big data.<\/strong><\/p>\n

Dans ce domaine, l’innovation porte sur l’int\u00e9gration des solutions d’analyse \u00e0 celles de stockage pour \u00e9viter les mouvements des donn\u00e9es. Mathieu a cit\u00e9 Hive pour sa compatibilit\u00e9 avec Hadoop. Citons \u00e9galement Greenplum un d\u00e9riv\u00e9 de Postgres qui repose sur une architecture distribu\u00e9e sur un cluster de machines. Cette tendance \u00e0 l’interaction se traduit aussi par le rapprochement d’acteurs issus des deux mondes: Revolution Analytics (BI) et IBM Netezza,par exemple,\u00a0 sont partenaires depuis d\u00e9but 2011.<\/p>\n

Une approche banalis\u00e9e de ce rapprochement entre traitements et donn\u00e9es est celle des grilles de donn\u00e9es tels que Oracle Coherence, Terracotta ou Gigaspaces XAP. Elles offrent la capacit\u00e9 de distribuer les donn\u00e9es sur des n\u0153uds de calcul. Elles se trouvent donc \u00e0 la jonction entre clusters de traitements distribu\u00e9s et bases de donn\u00e9es m\u00e9moire.<\/p>\n

Ces derni\u00e8res, en \u00e9conomisant les acc\u00e8s aux disques, permettent d\u2019utiliser des approches analytiques classiques tout en garantissant les performances \u00e0 mesure que la complexit\u00e9 des requ\u00eates et leur volume \u00e9volue. M\u00eame si les produits (comme les appliances analytiques SAP HANA et Kognitio WX2) ne sont pas en mesure, aujourd\u2019hui, de g\u00e9rer les p\u00e9taoctets du Big Data, il faudra \u00eatre attentif \u00e0 l\u2019innovation sur ce march\u00e9 en croissance car on observe une convergence de diff\u00e9rentes technologies au sein des solutions propos\u00e9es par les \u00e9diteurs.<\/p>\n

Toujours sur le plan de l\u2019analyse, on assiste \u00e0 la diffusion et \u00e0 l\u2019outillage des techniques analytiques, notamment par le recours \u00e0 des m\u00e9thodes issues de l’intelligence artificielle de type Machine Learning et Natural Language Processing.<\/p>\n

Le Big data met aussi l’accent sur l’importance de restituer efficacement les r\u00e9sultats d’analyse et d’accro\u00eetre l’interactivit\u00e9 entre utilisateurs et donn\u00e9es. Ainsi, des produits comme Tableau (de Tableau Software) proposent des visualisations graphiques innovantes.<\/p>\n

MMI : Enfin, pour pouvoir analyser ces donn\u00e9es que l\u2019on aura stock\u00e9es, il ne faut pas oublier le processus d\u2019acquisition et de chargement de ces m\u00eames donn\u00e9es.<\/strong><\/p>\n


<\/p>\n
\n
\n

[1]<\/a> Le th\u00e9or\u00e8me CAP explique que pour un syst\u00e8me r\u00e9parti (tel qu\u2019une base de donn\u00e9es r\u00e9partie sur plusieurs ordinateurs), il n\u2019est pas possible d\u2019assurer simultan\u00e9ment : Coh\u00e9rence, Disponibilit\u00e9 (Availability<\/em>), r\u00e9sistance au Partitionnement (Partition Tolerence<\/em>).<\/p>\n<\/div>\n

\n

[2]<\/a> L\u2019approche MapReduce consiste \u00e0 r\u00e9aliser les diff\u00e9rents traitements selon 2 t\u00e2ches (qui peuvent se r\u00e9p\u00e9ter) :<\/p>\n