Le marché BDaaS en pleine expansion

Le terme BDaaS désigne les services d’analyse de mégadonnées utilisant l’hébergement Cloud. Il couvre l’ensemble des offres Cloud computing traditionnelles : IaaS, PaaS, SaaS.

• D’un côté, on retrouve les offres IaaS dédiées Big data: mise à disposition de serveurs optimisés pour Hadoop essentiellement (OVH, IBM Softlayer, Microsoft Azure …).
• De l’autre, les offres PaaS Big data: plateformes permettant aux utilisateurs de déployer des applications distribuées et qui s’appuient nécessairement sur un stockage Cloud constituant parfois une offre à part entière : ainsi, Azure HDInsight utilise BLOB Storage et Amazon EMR, S3.
• Enfin, il y a les offres SaaS Big data de deux 2 types :
  • celles permettant l’analyse et la data visualisation (Tibco, Splunk, Altiscale, Datameer) de grandes quantités de données en s’appuyant sur des moteurs d’exécution distribués,
  • celles répondant à des besoins métiers d’extraction d’information de gros volumes de données (ex. : offre d’eReputation s’appuyant sur l’analyse sémantique de réseaux sociaux pré-connectés comme twitter).

Au sein de ce marché pluriel, le modèle PaaS Big data s’impose comme la catégorie de solutions la plus en vue aujourd’hui. On y retrouve notamment EMR d’Amazon, Big Query de Google, ou encore HDInsight de Microsoft, tous les trois déjà bien matures. Par ailleurs, d’autres fournisseurs projettent de commercialiser des offres BDaaS en 2015. C’est le cas de Numergy et Oracle. Enfin, des start-ups se positionnent aussi sur le marché, à l’image de Qubole.

Panorama du marché BDaaS – copyright Solucom

PaaS Big data versus plateformes on premise

Le PaaS Big data offre des avantages significatifs parmi lesquels on retrouve :

• La mise à disposition immédiate de ressources et le paiement à l’usage sans investissement initial : ce duo gagnant permet de se soustraire à des dépenses d’investissement particulièrement élevées pour un projet Big data et il simplifie le set up et la montée en charge des architectures Big data. Nul besoin de planifier l’allocation de capacité, le time-to-delivery est ici minime.
• Une complexité réduite : les architectures PaaS sont créées en quelques clics par paramétrage. Un réel avantage pour le Big data qui utilise des technologies distribuées nouvelles et complexes.

Néanmoins, l’adoption du BDaaS pose la question de la sécurité, en particulier de la confidentialité des données : d’après une enquête menée en 2014 par PAC CloudIndex[2], près de 50% des entreprises sollicitées affirment avoir des craintes quant à la sécurité des données stockées dans le Cloud. Toutefois, il est important de souligner que ces risques ne sont pas nécessairement plus élevés que sur des infrastructures on-premise. Il convient donc de s’assurer que les fournisseurs cloud utilisent des services garantissant la confidentialité et l’intégrité des données (chiffrement des données stockées et des flux, mécanisme d’authentification forte…). Par ailleurs, plusieurs certifications garantissent la mise en place de bonnes pratiques de sécurité par les offreurs Cloud (ISO27001, CSA STAR, SSAE 16…).

C’est ce qui pousse la plupart des entreprises à choisir un déploiement hybride combinant les ressources d’un Cloud public et d’un Cloud privé.

Les principaux cas d’usage du BDaaS

3 cas d’usage sont moteurs dans l’adoption du BDaaS :

• Le POC (Proof Of Concept) : le Big data poursuit son émergence, les entreprises continuent les expérimentations. Il n’est pas toujours évident d’une part de dimensionner son infrastructure et d’autre part  de parier sur l’atteinte des objectifs. Le Cloud permet de se lancer sans engagement.
• La gestion de pics de charge : l’entreprise utilise des clusters temporaires pour des besoins ponctuels et les détruit ou éteint lorsque le pic de charge est passé (un traitement sur des milliers de nœuds pour valider une hypothèse par exemple). Mais l’immédiateté a ses limites : le traitement s’exécute sur des volumes de données qu’il faut évidemment provisionner.
• Le Plan de reprise d’activité (PRA) : l’entreprise synchronise les données de la production vers une plateforme Cloud public prête à démarrer à tout moment en cas de problèmes. Ce qui lui évite un nouvel investissement pour sa plateforme de PRA.

Le BDaaS apparaît ainsi comme un moyen de se lancer dans l’analyse des mégadonnées plus rapidement, à moindre coût pour des usages ponctuels et avec plus de flexibilité.  Il lève les freins inhérents aux projets Big data que sont par exemple un retour sur investissement incertain et la complexité des nouvelles architectures. Reste le sujet de la confidentialité des données dans le Cloud qui peut être mis sous contrôle par le biais d’une analyse de risque. 

[1] L’offre EMR a été créée en 2009, Big Query en 2012, HDInsight en 2012.

[2] Source : http://www.cloudindex.fr/sites/default/files/PAC%20CloudIndex%20-%20Analyse%20juin%202014.pdf

Cet article Big data et Cloud computing : le pari gagnant des offres BDaaS ? est apparu en premier sur RiskInsight.

Les 8 caractéristiques de l’Open data

Selon les critères retenus par L’Open Government Data¹, pour être « ouvertes », les données doivent être :

1. Complètes : exception faite de celles relevant de la vie privée, la sécurité ou des privilèges d’accès,

2. Élémentaires : diffusées telles que collectées à la source, sans avoir été agrégées ou modifiées,

3. Opportunes : mises à disposition rapidement pour garder toute leur valeur,

4. Accessibles : au plus grand nombre d’utilisateurs possible,

5. Exploitables : dans un format qui permet leur utilisation ; lemonde.fr épinglait récemment la HATVP (« Haute Autorité pour la Transparence de la Vie Publique ») sur le manque d’exploitabilité de ses données ouvertes. Le format .pdf utilisé pour la publication du patrimoine des ministres, le 27/06, a en effet contraint les data journalistes à un travail laborieux de structuration²,

6. Non discriminatoires : sans inscription préalable,

7. Non propriétaires : non soumises à un usage exclusif,

8. Libres de droits

Une ouverture des données timorée côté entreprises

Cet article Open API ou Open Data ? Le cœur des DSI chavire… est apparu en premier sur RiskInsight.

De l’explosion des données au Big data

L’expression de « petite histoire du Big data », nous l’empruntons (presque) à Gil Press. Il livre en effet dans un long article documenté sur Forbes.com, daté du 5 mai 2013, « une très courte histoire du big data ». En une trentaine de dates de 1944 à 2012, il retrace la prise de conscience précoce de l’explosion des données (dans les rayons des bibliothèques universitaires dans un premier temps, puis via les NTIC), avec comme préoccupation centrale d’en quantifier la croissance tout en apportant  quelques considérations critiques autour du déluge informationnel.

L’explosion des données est en effet  d’abord perçue comme une menace sur la vie privée (« Assault on privacy – 1971-  Arthur Miller).  Côté technique aussi : l’espace de stockage grandit, mais les données s’étendent systématiquement jusqu’à le combler (Loi de parkinson, 1980). Dans les années 70, la qualité des données est enfin mise en cause : tout est stocké, il n’est plus utile de faire le tri.

L’expression « Big data » fait finalement son apparition en octobre 1997 dans la bibliothèque numérique de l’ACM¹, au sein d’articles scientifiques qui pointent du doigt les défis technologiques à visualiser les « grands ensembles de données ». Le Big data est né, et avec lui ses nombreux défis.

Et si ces données avaient de la valeur ?

Dans les années 2000, alors que l’exabytes² entrent en jeu dans la quantification des données produites annuellement, la valeur du Big data est mise en avant, d’abord pour les bénéfices que peuvent en tirer la recherche dans les secteurs de la physique, de la biologie ou des sciences sociales.

Ce que n’illustre pas l’article du Forbes.com, c’est la montée en puissance des Google, Facebook, Linkedin, Amazon et Twitter dans les années 2000 et plus particulièrement à partir de 2005. Celle-ci révèle tout le potentiel des données publiques disponibles sur internet. Les succès économiques des grands du web commencent alors à nourrir deux idées principales :

1- Les données brutes accumulées ont une valeur intrinsèque de par les fameuses 3 composantes en V ( pour volume essentiellement mais aussi variété et vitesse de leur production donc leur fraîcheur). Cette valeur est monétisable et Facebook en est l’illustration par excellence !

2- Ces données brutes ont une autre valeur liée aux analyses et corrélations auxquelles elles s’offrent et l’information qui en découle participe à la chaîne de valeur de l’entreprise (ex. : l’algorithme de recommandation d’Amazon).

Quelques principes technologiques qui expliquent la montée en puissance du Big data

Derrière ces succès, il y a évidemment des technologies qui font la différence et que les précurseurs du Big data ont contribué à développer et à faire connaître.  Les architectures Big data se fondent d’ailleurs sur 3 principes technologiques clés :

• L’accélération matérielle. Depuis toujours, les composants des systèmes (mémoire, processeur, bus) sont optimisés pour assurer toujours plus efficacement leur fonction.
• Le parallélisme.  C’est dans les années 2000 que ce paradigme devient dominant. Qu’il s’agisse de l’architecture interne d’un ordinateur (multi-cores, multi-processeurs, MPP*, SMP**) ou de l’architecture d’un réseau de machines (grid computing, cluster de machines, cluster hadoop), l’idée est de décomposer les problèmes complexes en plusieurs calculs traités de manière simultanée. Ces architectures sont d’autant plus efficaces qu’aucun composant n’est partagé entre les unités de traitement parallèles (« shared nothing ») et qu’il n’y a donc pas de point de contention.
• Le NoSQL, le mouvement décolle fin des années 2000 et promeut des alternatives aux bases de données relationnelles en en abandonnant certaines contraintes (notamment la consistance du théorème CAP³.)

Vous l’aurez compris, le Big data a émergé en 2010, mais il est né il y a quinze ans et il porte en lui un demi-siècle de réflexions, de concepts et de défis. Participerez-vous à son histoire ?

…………………………………………………………………………………………………..
*MPP : Massively Parallel Processing, à la différence du SMP, le MPP appliqué à l’architecture d’un ordinateur consiste en la mise en œuvre parallèle d’un grand nombre de processeurs disposant chacun de leur mémoire.

**SMP : Symetric MultiProcessing,  architecture parallèle constituée de plusieurs processeurs identiques partageant une même mémoire au sein d’un même ordinateur.

Cet article Aux origines du Big data… est apparu en premier sur RiskInsight.

LGA (Lise Gasnier) : Le Big Data a une dimension “métier” évidente : pour les entreprises, le défi est d’identifier les opportunités de business offertes par leurs gisements de données. Déjà, des “business cases” montrent la faisabilité et l’intérêt d’exploiter des données jusqu’alors “non valorisées”. Il devient possible d’en extraire une information utile pour mieux connaître sa clientèle, optimiser son marketing, détecter et prévenir des fraudes, analyser son image sur les réseaux sociaux et la valoriser, optimiser ses processus…

En s’inspirant des initiatives innovantes de leurs secteurs, les entreprises pourraient initier la réflexion “Big Data” autour de 2 questions basiques :

• De quelles informations avons-nous besoin pour accroître notre efficacité et innover ?
• Quelles sont les données sous ou inexploitées à notre disposition?

Le Big data invite les métiers à plus de liberté, plus d’audace dans leurs réponses.

Dans ce domaine comme dans les autres, répondre à la première question et exprimer des besoins précis prend du temps. C’est, de plus, une question à poser en continu. D’évidence, les objectifs métiers exigeront de produire sans cesse de nouvelles analyses, sur des données déjà traitées (donc les “ré-analyser”) ou non, avec des sources et formats inédits.

Pour répondre à la seconde question, les métiers doivent connaître les sources de données à leur disposition et savoir interpréter les données brutes, pour en saisir la pertinence et en extraire l’information utile. Sur ce terrain technique, il est évidemment souhaitable que la DSI les accompagne. Elle doit par conséquent démontrer sa maîtrise des données du SI, au-delà de la “zone de confiance” des données gérées dans les systèmes de base de données traditionnels de l’entreprise.

MMI (Mathieu Millet) : Pour la DSI, tout l’enjeu va donc être de pouvoir traiter la volumétrie et l’hétérogénéité des données pour ouvrir le champ des possibles aux métiers. Pour anticiper des besoins que les métiers ne savent pas exprimer aujourd’hui, elle doit se doter d’une architecture permettant d’emblée de collecter, stocker et analyser “plus” et “plus varié”. C’est bien d’une architecture agile que les métiers ont besoin.

Une approche initiale serait d’imaginer ce que serait son système Big Data en proposant quelques cas d’usage sur un « échantillon » représentatif de données, à la fois structurées (comme celle que l’on trouve dans les entrepôts de données) et semi-/non-structurées (logs d’applications, messages sur les réseaux sociaux, documents bureautiques, utilisation des données issues de l’Open Data…). Cette “promotion” du service permettrait ainsi à la DSI de présenter aux métiers la valeur ajoutée de ces données et d’anticiper un changement profond de son infrastructure. Nous l’avons vu : les technologies sous-jacentes sont innovantes et pointues. La DSI a tout intérêt à emprunter la pente douce de sa montée en compétence sur le “Big Data” ; surtout que les compétences sur le marché sont peu nombreuses et qu’aujourd’hui, une prise en main technologique est nécessaire.

L’autre axe de travail serait d’initier un dialogue avec les métiers pour mettre en commun leurs données, historiquement réparties et cloisonnées, dont la duplication entre différentes applications sera de facto très difficilement réalisable.

LGA : Quelle que soit l’hypothèse de travail, il sera évidemment nécessaire d’établir un dialogue constructif entre les métiers et la DSI afin d’assurer la réussite d’un tel projet d’envergure.

Lire aussi les articles :

Qu’est-ce que le Big Data

Quel est le paysage technologique du Big Data

Cet article Comment faire face à l’émergence du phénomène Big Data ? est apparu en premier sur RiskInsight.

LGA (Lise Gasnier) : C’est le big buzz de 2011 qui ne manquera pas de faire du bruit cette année encore! Il désigne les ensembles de données aux volumétrie et complexité telles qu’il faut repenser les moyens de leur gestion. Le volume de ces données se mesure désormais en pétaoctets (10¹⁵ octets). Et, par complexité, nous entendons une ou plusieurs caractéristiques parmi lesquelles :

• croissance rapide et soutenue,
• formats hétérogènes,
• peu ou pas de structuration (comme par exemple pour les images, vidéos, pages web et emails),
• des sources variées.

Les Big data sont par exemple des :

• données transactionnelles (commandes, paiements etc.).
• logs,
• clickstreams,
• événements géolocalisés,
• contenus de réseaux sociaux,
• données comportementales,
• relevés de compteurs intelligents,
• appels au service client.

Par extension, le terme désigne, au-delà des données, les moyens humains ou technologiques extraordinaires mis en œuvre pour les traiter.

MMI (Mathieu Millet) : L’ensemble de la chaîne de traitement technique de ces données se voit remaniée : capture, stockage, analyse et transformation en informations pertinentes et enfin, restitution.

Processus métiers et finalité des traitements n’ont rien de nouveau (pilotage opérationnel, aide à la décision, analyse clientèle et comportementale, optimisation de processus…). Par contre, le volume, la nature et le rythme d’acquisition en données, décrit par Lise, tout comme la volonté d’accélérer ces traitements provoquent un vrai changement de paradigmes technologiques et organisationnels.

Ainsi, certaines pratiques ne sont plus envisageables comme la recopie intégrale de données entre différentes applications susceptibles d’utiliser ces données. Également, de nouvelles pratiques sont à employer afin de tirer parti de l’écosystème Big Data ; par exemple : mettre en œuvre une plus grande coopération/interaction entre les solutions d’analyse et l’entrepôt de stockage afin de bénéficier des performances (I/O mais également CPU) de ce dernier.

LGA : La problématique de gestion des gros volumes de données ne date pas d’hier. Depuis bientôt dix ans, elle est même centrale aux métiers de la recherche scientifique, de la finance et de l’indexation web. Mais, la conjoncture actuelle en a fait un sujet de tout premier plan :

• La production de données augmente drastiquement, par l’action des individus tout autant que celles des organisations. Ainsi, les analystes d’IDC relèvent que le volume du contenu numérique mondial a atteint 2.7 zettaoctets (soit 2.7*10²¹ octets), avec une augmentation de 48% en 2011. Ils estiment par ailleurs, qu’en 2012, 90% de l’information sera sans structure (voir le rapport complet gratuitement à cet endroit : http://www.idc.com/getdoc.jsp?containerId=231720).
• Des solutions techniques ont émergé, dont certaines libres, comme la plus emblématique : Hadoop et son écosystème (que nous évoquerons plus en détail dans un prochain article). Elles rendent possible et accessible la refonte technologique nécessaire, évoquée par Mathieu.

Les entreprises réfléchissent donc aujourd’hui, tous secteurs confondus, à tirer un avantage concurrentiel de leurs gisements de données ou de ceux publics (web, open data). Des premiers “business cases” (optimisation du marketing numérique, détection et prévention des fraudes, analyse des réseaux sociaux et des relations…) démontrent déjà que de nouveaux indicateurs, de nouveaux leviers de  valeurs  sont à portée de main. Mais, les questions demeurent nombreuses : il faut définir précisément les besoins et cadrer les transformations stratégiques, organisationnelles, techniques et légales de ce “passage à l’échelle”. D’où le buzz, qu’alimentent par ailleurs les acteurs du paysage technologique!

Lire aussi les articles :

Quel est le paysage du Big Data

Comment faire face à l’émergence du phénomène Big Data

Cet article Qu’est-ce que le Big Data ? est apparu en premier sur RiskInsight.

Le 12 octobre dernier, IBM a annoncé le rachat d’un acteur majeur du marché du grid computing : Platform Computing. A cette occasion, nous revenons sur les principes, apports et défis de ce type de technologies peu connu.

1.     Qu’est-ce que le grid computing ?

Le grid computing consiste à mettre en commun des ressources logicielles et matérielles distribuées (ensemble que l’on appelle la « grille ») afin de fournir une puissance de calcul importante. La charge de travail est divisée en sous-tâches qui sont traitées en parallèle par les ressources de la grille, les résultats étant ensuite agrégés dans un résultat global rendu à l’utilisateur.

En anglais, l’emprunt du mot « grid » à l’expression « electric power grid » qui désigne le réseau électrique, traduit bien les promesses du concept : l’utilisateur se branche à la grille qui pourvoit à son besoin. Peu lui importe la complexité du système, l’hétérogénéité ou la distribution des composants, masqués par l’interface d’accès.

Des projets emblématiques donnent le ton, en matière de gigantisme :

• SETI@HOME se présente comme « une expérience scientifique qui utilise des ordinateurs reliés à internet pour la recherche d’une intelligence extraterrestre (SETI) » ; elle tire sa puissance de son « ouverture » aux ordinateurs des internautes volontaires ;
• La grille du LHC, l’accélérateur de particules du CERN,  relie en mode « fermé », plusieurs dizaines de milliers de machines, situées sur trois continents, pour analyser des données.

La puissance des ordinateurs a beau croître, la « gourmandise » de tels projets scientifiques, atteint des niveaux qui justifient ce modèle d’architecture. Dans le sillage des initiatives académiques, l’industrie et le secteur bancaire s’en sont emparés pour résoudre leurs problèmes complexes : valorisation et analyse de risque pour la finance, détection de gisements pour le pétrole, simulation et analyse de crash pour l’automobile. Aujourd’hui, les grilles intéressent les médias, les jeux en ligne, les fournisseurs internet…

2.     Quels bénéfices attendre du grid computing ?

Le grid computing peut apporter beaucoup aux secteurs tant privés que publics pour les projets qui requièrent une quantité importante de puissance de traitement dans une période de temps restreinte.

Les bénéfices attendus d’une grille sont :

• l’amélioration des performances tout en limitant les coûts,
• l’augmentation de la flexibilité d’une infrastructure pour absorber les augmentations d’échelle,
• la haute disponibilité de cette infrastructure faces aux pics de charge.

Les vertus « informatiques » du grid computing se transforment en atouts « métiers » : réduire les temps de calculs, c’est éviter les retards ou gagner du temps pour accroître la compétitivité et/ou pour améliorer ses processus.

Les middlewares « commerciaux » (citons pour l’exemple ceux de Platform Computing, Tibco Datasynapse, GridGain en open source) ont bien saisi ces enjeux. Développés à la suite des grilles académiques par transferts technologiques, ils tirent profit de ces besoins en proposant des solutions sur étagères et leur expertise.

Certes, ils évoluent sur un marché de niche, celui  constitué des clients historiques (banques, industries du pétrole, de l’automobile etc.). Mais avec la croissance exponentielle des volumes d’information, qu’il s’agisse d’événements (CEP) ou de données (Big Data), et la nécessité de les exploiter, le positionnement du grid computing pourrait bien se renforcer.

3.     Quels sont les défis à relever ?

Le concept de grid computing, ainsi que les produits du marché, sont arrivés à maturité au cours de la dernière décennie. Pourtant, il reste encore quelques barrières à franchir pour assister à une démocratisation de cette approche :

• L’expertise et le support des grilles informatiques ont un coût : il faut des techniciens qualifiés pour passer la barrière technologique des produits, ou développer/maintenir une grille « maison », mais aussi « gridifier », c’est-à-dire adapter ou développer des applications pour une exécution sur la grille. A ces coûts s’ajoutent ceux des problématiques connexes tels que le stockage ou le transfert des données.
• De plus, l’infrastructure peut nécessiter un investissement dédié.Chaque entreprise dispose généralement d’un ensemble conséquent d’ordinateurs connectés en réseau mais l’usage en grille de ces ressources existantes n’est pas évident :
  • La tendance à la virtualisation a progressivement optimisé l’usage des ressources serveurs qui sont moins sous-exploités qu’il y a une dizaine d’années.
  • Les préoccupations énergétiques interrogent sur l’intérêt, en entreprise, du modèle des grilles fondées sur des parcs d’ordinateurs peu puissants.

Pour autant, le grid computing n’est pas nécessairement l’apanage des grandes structures. Internet autorise le partage de ressources avec des partenaires extérieurs : des PME, des écoles ou des hôpitaux  peuvent se fédérer pour bâtir des grilles qui leur sont inaccessibles, seuls.

• Les grilles de calcul imposent un modèle d’architecture bien spécifique au sein du SI. De part leur caractère intrusif, elles exigent de trouver des solutions ou des compromis notamment en matière de sécurité mais également de dépasser les aprioris quant aux partages des ressources.

Pour autant, le plus gros des défis, pour les acteurs du marché, sera celui du marketing. Le grid computing doit aujourd’hui savoir se faire entendre face à des concepts phagocytaires car, quand il est question de « computing », le « cloud » vient brouiller les pistes.

Pour l’heure, si l’entrée sur le marché d’IBM ne résout pas ce problème d’image, il confirme en revanche l’intérêt du modèle de « grille » et préfigure une tendance, celle de l’intégration. L’avenir du grid computing est, sans doute, au cœur, mais, dans l’ombre du « cloud ».

Pour lire plus d’articles sur le secteur de l’énergie, cliquez ici.

Cet article Quel avenir pour le grid computing ? est apparu en premier sur RiskInsight.