Que faut-il retenir d’AWS re:Invent 2016 ?

Rendez-vous incontournable pour les acteurs de l’IT et de l’industrie logicielle, AWS re:Invent rassemble maintenant largement au-delà du simple cadre de l’IT. AWS est devenu un poids lourd financier que les marchés ne peuvent plus ignorer, et le succès d’AWS re:Invent 2016 en témoigne. Près de 32 000 participants, contre 17 000 l’année précédente, se sont retrouvés cette année à Las Vegas, où l’événement avait lieu simultanément dans 3 casinos. Pour absorber le programme d’annonces très chargé, une journée supplémentaire de sessions a été ajoutée.

Une soirée avec James Hamilton

Comment Amazon Web Services interconnecte ses régions à travers son propre réseau? Quelle est l’architecture d’une région AWS et de ses zones de disponibilités? Combien de serveurs contient un datacenter AWS et pourquoi? Si vous voulez en savoir plus sur l’infrastucture d’AWS, sur les équipements sur mesure qu’ils utilisent pour pour le réseau ou le stockage, alors nous vous conseillons la Keynote de James Hamilton,  qui permet d’avoir une idée de la taille des infrastructures AWS et de se rendre compte du chemin parcouru par AWS ces dernières années. À titre d’exemple, en 2015 AWS a déployé chaque jour assez de capacité serveur pour supporter l’ensemble d’Amazon (le site de vente en ligne) en 2005 !

De nouvelles instances

AWS a commecé par annoncer un certain nombre de nouvelles instances, notamment les instances spécialisées en mémoire qui passent de la génération R3 à R4, des instances CPU (de C4 à C5) ou les instances avec du stockage local SSD (I2 à I3) : AWS fait évoluer ses familles d’instances en tirant partie des dernières générations de matériel et de CPU en particulier. Deux nouvelles instances ont aussi été ajoutées à la gamme T2 (xlarge et 2xlarge). Au delà de ces évolutions des gammes existantes, AWS a aussi annoncé des instances disposant de FPGA (cartes d’accélération matérielle, offrant une capacité de calcul beaucoup plus rapide que sur un CPU pour certains traitements), et une offre Elastic GPU, donc le principal avantage est de ne plus être limité à un modèle de machine. Il est maintenant possible de choisir la machine que l’on souhaite, et de lui associer un, deux ou trois GPU selon ses besoins.

AWS re:Invent 2016 instances

 

AWS entre également sur le marché des VPS (Virtual Private Server) avec l’annonce de Lightsail, une offre packagée proposant à prix fixe une VM et son stockage comprenant aussi de la bande passante réseau. Une offre simple et claire, principalement à destination des développeurs, et qui va venir concurrencer les grands acteurs du VPS comme Digital Ocean ou OVH.

Dernière annonce et non des moindres en ce qui concerne EC2, le support d’IPv6, qui était très attendu. Pour l’instant, seule la région US East (Ohio) est concernée, mais d’autres régions devraient rapidement la rejoindre.

AWS re:invent 2016 Lightsail

Outils de management

OpsWorks for Chef Automate est un serveur Chef entièrement géré par AWS, qui permet de piloter une infrastructure chef. L’offre comprend la totalité de la suite Chef Automate.

Personnal Health est un dashboard permettant à l’utilisateur de connaître de façon personnalisée l’état des services AWS et les événements qui pourraient l’affecter: quelles sont les pannes en cours, quels sont les changements prévus. Les utilisateurs peuvent maintenant trouver ces informations via une API et être notifiés si ils le souhaitent.

AWS re:invent 2016 personal health

EC2 System Manager est un nouvel outil destiné à simplifier la gestion des serveurs Windows et Linux. Il permet d’exécuter des commandes depuis la console, demander des inventaires machine, gérer les patchs, etc. System Manager vient compléter deux outils déjà existants, Run Command et Simple System Management.

Analyse de données

AWSre:Invent 2016 a été riche en annonces côté Analytics. On commence avec Athena, qui permet de requêter des données sur S3 en utilisant directement du SQL. La tarification se fait au nombre de requêtes effectuées. C’est une offre similaire au service BigQuery de Google. Sous le capot, Athena utilise Presto, un moteur SQL distribué, qui va lire les données dans S3 et effectuer les requêtes. Athena vient enrichir l’offre Big Data d’AWS qui comprenait déjà Redshift pour les datawarehouses et EMR pour les clusters Hadoop. Il y a potentiellement de nombreux cas d’usage, en particulier pour analyser des logs bruts stockés dans s3.

Glue est un ETL (Extract Transform Load) entièrement managé, qui permet de combiner plusieurs sources de données pour les analyser. On peut configurer des sources de données, qu’elles soient chez soi ou sur AWS, les traiter et les charger à un nouveau format dans un nouveau moteur. Le service peut-être lancé sur la base d’événements, être lancé à la demande ou programmé à des heures données. Glue propose un certain nombre de tâches types en Python qui peuvent être éditées pour modifier les traitements selon ses besoins. Bref, un service qui va faire gagner du temps à tous ceux qui faisaient ces tâches manuellement jusque-là, et venir concurrencer les grands acteurs du domaine comme Informatica.

AWS Batch est une offre de grilles de calculs à la demande. Après la création d’une grille et la soumissions de tâches, Batch se charge de les répartir et de gérer les priorités. Les machines utilisées peuvent être des machines payées à la demande, ou des machines spot si l’on souhaite optimiser ses coûts au risque de perdre des machines lorsque le prix du spot augmente. L’utilisateur contrôle directement le cluster, il peut modifier sa taille et choisir le type d’instances qui convient à ses besoins. Une fois encore, AWS s’attaque à un marché de produits  contrôlé historiquement par de grands éditeurs comme IBM avec sa plateforme Symphony.

Base de données

Peu de choses concernant les bases de données cette année mais une annonce importante puisque AWS propose maintenant une version d’Aurora compatible avec PostgreSQL.

Outils de développement

De nombreux développeurs seront heureux d’apprendre qu’AWS a désormais comblé le vide qui existait entre CodeCommit (le service git d’AWS) et CodeDeploy (qui permet de contrôler le déploiement des applications) : AWS CodeBuild est comme son nom l’indique un outil d’intégration continue, qui vient marcher sur les plate-bandes de Jenkins. Le service est entièrement managé, et permet aux utilisateurs de rester dans l’écosystème AWS, avec une tarification à la minute de build (là où les autres moteurs sont plus souvent tarifés au nombre d’utilisateurs ou de repository).

Intelligence Artificielle

AWS re:Invent 2016 a également été l’occasion d’importantes annonces concernant l’intelligence artificielle. Avec AWS Rekognition, outil de reconnaissance, d’analyse et de catégorisation d’images automatisé, AWS entend bien concurrencer Google Vision.

aws re:invent 2016 rekognition

Amazon Polly est une IA permettant de convertir un texte en un enregistrement audio réaliste : Polly est capable de lire des textes en différentes langues, avec différentes voix (24 langues et 47 voix), et surtout capable de comprendre le sens global d’une phrase pour en interpréter les abréviations et les acronymes. On songe aux nombreux cas d’usage pour les applications parlantes ou les chatbots.

Enfin, Amazon Lex propose une interface de conversation pour les applications. Lex utilise le moteur d’Alexa,et permet de créer des séquences de phrase directement depuis la console Amazon. On peut ainsi piloter les interactions du bot, et construire des bots de conversation.

Monitoring et sécurité

Sécurité pour tout le monde : avec AWS Shield, toutes les applications web sur AWS sont dorénavant protégées contres les attaques DDOS. Il existe également une version payante, qui propose une protection plus fine sur certains types d’attaque (au niveau des applications en particulier), et un accès à l’équipe DDOS Response Team.

L’annonce de X-Ray a retenu toute notre attention. Cet outil destiné aux applications distribuées permet de visualiser l’arbre d’appel d’une application basée sur des micro-services ou sur Lambda et d’analyser les performances. On peut ainsi voir comment les services interagissent, quelle est la latence entre les composants, et identifier ceux qui prennent le plus de temps. X-Ray permettra prochainement de monitorer les lambdas, ce qui est  difficile aujourd’hui. C’est un concurrent aux produits existants d’APM (Application Performance Monitoring) comme NewRelic ou AppDynamics.

aws re:invent 2016 x-ray

Migration et cloud hybride

C’est un petit pas pour Pat Gelsinger mais un grand pas vers le Cloud hybride ! Quand le CEO de VMware vient sur scène aux côté d’Andy Jassy, pour témoigner de son amour d’AWS, on se dit que les choses ont changé. Il y a encore deux ans, on n’aurait pas imaginé pareille rencontre. L’annonce des infrastructures VMware sur AWS n’est pas nouvelle, mais le sujet est assez stratégique pour être souligné lors de l’AWS re:Invent 2016.

Pour ceux qui ont de vrais problèmes de migration et de volume, AWS  a créé l’événement avec l’annonce de Snowmobile. Avec une capacité de 100 Peta (soit dix fois l’infrastructure totale d’une grande banque française), et un débit de transfert d’1 Tera/s, Snowmobile bat des records.

aws re:invent 2016 snowmobile

Snowmobile

Mobile

Amazon Pinpoint propose l’envoi de notifications ciblées par groupe démographique sur mobile, et une analyse en temps réel de l’engagement et de la monétisation générés.

Conteneurs

Peu d’annonces du côté des conteneurs: on sent bien que pour AWS, l’avenir est du côté de Lambda, pas des conteneurs ! Cependant, Blox est un outil open source permettant de modifier le scheduler d’ECS, le service de conteneur managé d’AWS. L’annonce est néanmoins importante dans le sens où il s’agit d’un pas de plus vers le monde de l’open source. Ce sujet semble être amené à jouer un rôle de plus en plus grand dans la stratégie d’AWS à l’avenir.

Lambda

AWS Greengrass permet d’exécuter du code lambda sur des appareils IoT, ouvrant ainsi la porte à des devices IoT beaucoup plus génériques, et dont le code pourra être modifié dynamiquement. C’est une première : on sort la capacité de calcul des murs d’Amazon !

Dans le même ordre d’idée, Snowball Edge, la nouvelle version de Snowball (100TB, scalables horizontalement par clustering), permet de faire du stockage local et du compute en utilisant Lambda. Idéal quand on veut traiter de gros volumes de données et qu’on est dans un endroit reculé de la planète.

Avec Lambda Edge, vous pourrez exécuter du code Lambda sur les points Edge de Cloudfront, le CDN d’Amazon destiné à optimiser l’accès aux sites Web via des caches locaux. Lambda Edge permet de manipuler les headers http et devrait prochainement être étendu au contenu des messages. Être capable de faire des traitements au plus proche de l’utilisateur promet de nombreux cas d’usages intéressants et des innovations importante dans le monde du CDN.

Autre nouveauté pour Lambda, la possibilité de coder en C#. Après Python, Java et node.js, l’arrivée de C# dans Lambda est un signe fort vers la communauté de développeurs Microsoft.

Enfin, AWS propose Step Functions,  un service d’orchestration de Lambdas, utile dans le cas fréquent où une lambda en déclenche d’ autres. Le service permet de gérer le séquencement, la parallèlisation ou les branchements. C’est un ajout important à l’écosystème lambda puisqu’il va beaucoup simplifier le développement d’applications serverless complexes dans AWS.

AWS re:invent 2016 Step Functions

En conclusion, on retiendra que face à l’intensification de la concurrence sur le marché du Cloud public, AWS continue à un rythme d’innovation soutenu, tout en développant des services qui jusque-là n’étaient offerts que par ses concurrents (notamment du côté de l’IA). AWS complète ainsi son offre, et s’assure que ses clients trouveront tout ce dont ils ont besoin chez eux. L’ouverture vers le Cloud hybride répond à cette même logique, celle d’adresser les enjeux de transformation de ses clients les plus importants, et qui risquent de rester encore un certain temps dans une phase hybride. On notera également une ouverture vers le monde de l’open source. Cette édition 2016 a été l’occasion pour AWS de se positionner agressivement sur des marchés logiciels historiques, et de proposer de plus en plus de services de haut niveau (ETL, HPC, APM, CI…), basés sur le modèle de tarification Amazon, où on ne paie que les ressources utilisées et pas le logiciel. Enfin, le message principal qui ressort de la conférence est que l’avenir est serverless et que Lambda est appelé à jouer un rôle de plus en plus important.

Pour discuter des dernières nouveautés d’AWS, rejoignez le Meetup French AWS User Group !

Commentaires :

A lire également sur le sujet :