De l’explosion des données au Big data

L’expression de « petite histoire du Big data », nous l’empruntons (presque) à Gil Press. Il livre en effet dans un long article documenté sur Forbes.com, daté du 5 mai 2013, « une très courte histoire du big data ». En une trentaine de dates de 1944 à 2012, il retrace la prise de conscience précoce de l’explosion des données (dans les rayons des bibliothèques universitaires dans un premier temps, puis via les NTIC), avec comme préoccupation centrale d’en quantifier la croissance tout en apportant  quelques considérations critiques autour du déluge informationnel.

L’explosion des données est en effet  d’abord perçue comme une menace sur la vie privée (« Assault on privacy – 1971-  Arthur Miller).  Côté technique aussi : l’espace de stockage grandit, mais les données s’étendent systématiquement jusqu’à le combler (Loi de parkinson, 1980). Dans les années 70, la qualité des données est enfin mise en cause : tout est stocké, il n’est plus utile de faire le tri.

L’expression « Big data » fait finalement son apparition en octobre 1997 dans la bibliothèque numérique de l’ACM¹, au sein d’articles scientifiques qui pointent du doigt les défis technologiques à visualiser les « grands ensembles de données ». Le Big data est né, et avec lui ses nombreux défis.

Et si ces données avaient de la valeur ?

Dans les années 2000, alors que l’exabytes² entrent en jeu dans la quantification des données produites annuellement, la valeur du Big data est mise en avant, d’abord pour les bénéfices que peuvent en tirer la recherche dans les secteurs de la physique, de la biologie ou des sciences sociales.

Ce que n’illustre pas l’article du Forbes.com, c’est la montée en puissance des Google, Facebook, Linkedin, Amazon et Twitter dans les années 2000 et plus particulièrement à partir de 2005. Celle-ci révèle tout le potentiel des données publiques disponibles sur internet. Les succès économiques des grands du web commencent alors à nourrir deux idées principales :

1- Les données brutes accumulées ont une valeur intrinsèque de par les fameuses 3 composantes en V ( pour volume essentiellement mais aussi variété et vitesse de leur production donc leur fraîcheur). Cette valeur est monétisable et Facebook en est l’illustration par excellence !

2- Ces données brutes ont une autre valeur liée aux analyses et corrélations auxquelles elles s’offrent et l’information qui en découle participe à la chaîne de valeur de l’entreprise (ex. : l’algorithme de recommandation d’Amazon).

Quelques principes technologiques qui expliquent la montée en puissance du Big data

Derrière ces succès, il y a évidemment des technologies qui font la différence et que les précurseurs du Big data ont contribué à développer et à faire connaître.  Les architectures Big data se fondent d’ailleurs sur 3 principes technologiques clés :

• L’accélération matérielle. Depuis toujours, les composants des systèmes (mémoire, processeur, bus) sont optimisés pour assurer toujours plus efficacement leur fonction.
• Le parallélisme.  C’est dans les années 2000 que ce paradigme devient dominant. Qu’il s’agisse de l’architecture interne d’un ordinateur (multi-cores, multi-processeurs, MPP*, SMP**) ou de l’architecture d’un réseau de machines (grid computing, cluster de machines, cluster hadoop), l’idée est de décomposer les problèmes complexes en plusieurs calculs traités de manière simultanée. Ces architectures sont d’autant plus efficaces qu’aucun composant n’est partagé entre les unités de traitement parallèles (« shared nothing ») et qu’il n’y a donc pas de point de contention.
• Le NoSQL, le mouvement décolle fin des années 2000 et promeut des alternatives aux bases de données relationnelles en en abandonnant certaines contraintes (notamment la consistance du théorème CAP³.)

Vous l’aurez compris, le Big data a émergé en 2010, mais il est né il y a quinze ans et il porte en lui un demi-siècle de réflexions, de concepts et de défis. Participerez-vous à son histoire ?

…………………………………………………………………………………………………..
*MPP : Massively Parallel Processing, à la différence du SMP, le MPP appliqué à l’architecture d’un ordinateur consiste en la mise en œuvre parallèle d’un grand nombre de processeurs disposant chacun de leur mémoire.

**SMP : Symetric MultiProcessing,  architecture parallèle constituée de plusieurs processeurs identiques partageant une même mémoire au sein d’un même ordinateur.

Cet article Aux origines du Big data… est apparu en premier sur RiskInsight.

Le 12 octobre dernier, IBM a annoncé le rachat d’un acteur majeur du marché du grid computing : Platform Computing. A cette occasion, nous revenons sur les principes, apports et défis de ce type de technologies peu connu.

1.     Qu’est-ce que le grid computing ?

Le grid computing consiste à mettre en commun des ressources logicielles et matérielles distribuées (ensemble que l’on appelle la « grille ») afin de fournir une puissance de calcul importante. La charge de travail est divisée en sous-tâches qui sont traitées en parallèle par les ressources de la grille, les résultats étant ensuite agrégés dans un résultat global rendu à l’utilisateur.

En anglais, l’emprunt du mot « grid » à l’expression « electric power grid » qui désigne le réseau électrique, traduit bien les promesses du concept : l’utilisateur se branche à la grille qui pourvoit à son besoin. Peu lui importe la complexité du système, l’hétérogénéité ou la distribution des composants, masqués par l’interface d’accès.

Des projets emblématiques donnent le ton, en matière de gigantisme :

• SETI@HOME se présente comme « une expérience scientifique qui utilise des ordinateurs reliés à internet pour la recherche d’une intelligence extraterrestre (SETI) » ; elle tire sa puissance de son « ouverture » aux ordinateurs des internautes volontaires ;
• La grille du LHC, l’accélérateur de particules du CERN,  relie en mode « fermé », plusieurs dizaines de milliers de machines, situées sur trois continents, pour analyser des données.

La puissance des ordinateurs a beau croître, la « gourmandise » de tels projets scientifiques, atteint des niveaux qui justifient ce modèle d’architecture. Dans le sillage des initiatives académiques, l’industrie et le secteur bancaire s’en sont emparés pour résoudre leurs problèmes complexes : valorisation et analyse de risque pour la finance, détection de gisements pour le pétrole, simulation et analyse de crash pour l’automobile. Aujourd’hui, les grilles intéressent les médias, les jeux en ligne, les fournisseurs internet…

2.     Quels bénéfices attendre du grid computing ?

Le grid computing peut apporter beaucoup aux secteurs tant privés que publics pour les projets qui requièrent une quantité importante de puissance de traitement dans une période de temps restreinte.

Les bénéfices attendus d’une grille sont :

• l’amélioration des performances tout en limitant les coûts,
• l’augmentation de la flexibilité d’une infrastructure pour absorber les augmentations d’échelle,
• la haute disponibilité de cette infrastructure faces aux pics de charge.

Les vertus « informatiques » du grid computing se transforment en atouts « métiers » : réduire les temps de calculs, c’est éviter les retards ou gagner du temps pour accroître la compétitivité et/ou pour améliorer ses processus.

Les middlewares « commerciaux » (citons pour l’exemple ceux de Platform Computing, Tibco Datasynapse, GridGain en open source) ont bien saisi ces enjeux. Développés à la suite des grilles académiques par transferts technologiques, ils tirent profit de ces besoins en proposant des solutions sur étagères et leur expertise.

Certes, ils évoluent sur un marché de niche, celui  constitué des clients historiques (banques, industries du pétrole, de l’automobile etc.). Mais avec la croissance exponentielle des volumes d’information, qu’il s’agisse d’événements (CEP) ou de données (Big Data), et la nécessité de les exploiter, le positionnement du grid computing pourrait bien se renforcer.

3.     Quels sont les défis à relever ?

Le concept de grid computing, ainsi que les produits du marché, sont arrivés à maturité au cours de la dernière décennie. Pourtant, il reste encore quelques barrières à franchir pour assister à une démocratisation de cette approche :

• L’expertise et le support des grilles informatiques ont un coût : il faut des techniciens qualifiés pour passer la barrière technologique des produits, ou développer/maintenir une grille « maison », mais aussi « gridifier », c’est-à-dire adapter ou développer des applications pour une exécution sur la grille. A ces coûts s’ajoutent ceux des problématiques connexes tels que le stockage ou le transfert des données.
• De plus, l’infrastructure peut nécessiter un investissement dédié.Chaque entreprise dispose généralement d’un ensemble conséquent d’ordinateurs connectés en réseau mais l’usage en grille de ces ressources existantes n’est pas évident :
  • La tendance à la virtualisation a progressivement optimisé l’usage des ressources serveurs qui sont moins sous-exploités qu’il y a une dizaine d’années.
  • Les préoccupations énergétiques interrogent sur l’intérêt, en entreprise, du modèle des grilles fondées sur des parcs d’ordinateurs peu puissants.

Pour autant, le grid computing n’est pas nécessairement l’apanage des grandes structures. Internet autorise le partage de ressources avec des partenaires extérieurs : des PME, des écoles ou des hôpitaux  peuvent se fédérer pour bâtir des grilles qui leur sont inaccessibles, seuls.

• Les grilles de calcul imposent un modèle d’architecture bien spécifique au sein du SI. De part leur caractère intrusif, elles exigent de trouver des solutions ou des compromis notamment en matière de sécurité mais également de dépasser les aprioris quant aux partages des ressources.

Pour autant, le plus gros des défis, pour les acteurs du marché, sera celui du marketing. Le grid computing doit aujourd’hui savoir se faire entendre face à des concepts phagocytaires car, quand il est question de « computing », le « cloud » vient brouiller les pistes.

Pour l’heure, si l’entrée sur le marché d’IBM ne résout pas ce problème d’image, il confirme en revanche l’intérêt du modèle de « grille » et préfigure une tendance, celle de l’intégration. L’avenir du grid computing est, sans doute, au cœur, mais, dans l’ombre du « cloud ».

Pour lire plus d’articles sur le secteur de l’énergie, cliquez ici.

Cet article Quel avenir pour le grid computing ? est apparu en premier sur RiskInsight.