Hadoop

département de systèmes éducationnels et de recherche de l’ÉTS. Anna Klos : Diplômée de l’ÉTS en génie logiciel. Ousmane Diallo, B.Sc. : programmeur pour le projet S2D, laboratoire Guy Rouleau, CRCHUM. OPTIMISATION DE RECHERCHE GRÂCE À HBASE SOUS HADOOP JEAN-PHILIPPE BOND BONJ06048709 RÉSUMÉ Ce projet s’insère dans un contexte d’affaires où le Centre de Recherche du Centre Hospitalier de l’Université de Montréal (CRCHUM) est aux prises avec des problèmes avec un système d’identification de gènes

opportunités qu'offrent l'exploitation de toutes les natures de données qu'elles soient internes ou externes. IBM a développé le portefeuille le plus étoffé pour gérer la donnée, la transformer en information puis générer des actions : Système pour Hadoop : traiter et analyser tout type de données sur des clusters de serveurs. Stream Computing : analyser en temps réel (flux) des volumes massifs de données. Data Warehousing : effectuer des analyses "in-database" poussées. Data Visualisation : chercher

. 3.5.3 Vue d’ensemble de l’architecture . . 3.5.4 R´plication des donn´es . . . . . . . e e 3.5.5 Mod`le de consistance . . . . . . . . e 3.5.6 Mod`le de requˆtes . . . . . . . . . . e e HBase . . . . . . . . . . . . . . . . . . . . . 3.6.1 The Hadoop Distributed Filesystem 3.6.2 Mod`le de donn´es . . . . . . . . . . e e 3.6.3 Choix CAP et PAELC . . . . . . . . 3.6.4 Vue d’ensemble de l’architecture . . 3.6.5 R´plication des donn´es . . . . . . . e e 3.6.6 Consistance des donn´es . . . . . . .

principalement de R. Kimball, B. Inmon et D. Linstedt. 1. Les données opérationnelles sont extraites périodiquement de sources hétérogènes fichiers plats, fichiers Excel, Base de données (DB2, Oracle Database…), Service web, données massives (MapReduce, Hadoop, Cassandra) et stockées dans un entrepôt de données (ou datawarehouse en jargon). 2. Les données sont restructurées, enrichies, agrégées, reformatées, nomenclaturées pour être présentées à l'utilisateur sous une forme sémantique (vues métiers ayant

Principe : Le compactage consiste à appliquer suffisamment d’énergie au sol pour y réduire l’indice des vides et ainsi en accroitre la compacité. La masse volumique sèche d’un sol compacter sera donc supérieure à celle d’un sol non compacté. C’est d’ailleurs cette caractéristique qui permet de vérifier l’efficacité du compactage. La masse volumique du sol sec est influencée par trois variables : - la teneur en eau ; -l’énergie de compactage ; -la granulométrie. Matériels

TP Big Data (Hadoop) Pré-requis: ● Distribution GNU/Linux moderne. ● Java (version Sun ou OpenJDK). La documentation de l'API Hadoop: https://hadoop.apache.org/docs/ On commence par créer le groupe et l'utilisateur qui seront spécifiques à Hadoop: # addgroup hadoop # adduser --ingroup hadoop hadoopuser # adduser hadoopuser On télécharge ensuite Hadoop, en l'installant dans un répertoire au sein de /opt: (remplacer l'URL par un des miroirs et ajuster le numéro de version) # wget http://MIROIR/hadoop/hadoop-X

ensemble très volumineux de données qu’aucun outil classique de gestion de base de données ou de gestion de l’information ne peut vraiment traiter. Pour faire face à ces énormes volumes de données, de nouvelles technologies sont apparues comme Hadoop, MapReduce ou les bases de données NoSQL (Not only SQL). Le Big Data couvre quatre caractéristiques de base : volume, vélocité, variété et véracité. • Volume : Les entreprises sont submergées de volumes de données croissants de tous types

télécommunications. 6 Brocade devrait dévoiler le Ethernet 100G . 6 Cisco : un bug a crashé 1 pour cent de l’Internet. Cloud Computing 8 Cloud Storage: Trois cas d’utilisation. 9 Google Apps: Faut-il externaliser l’application de messagerie vers les nuages ? 10 Hadoop: nouvelle façon pour les entreprises de stocker et analyser les données. Télécom 12 Avaya modernise la collaboration dans les entreprises. Green Tech 15 Chargeurs USB solaires. 15 Logiciel qui limite l’activité des serveurs en cas d’urgence afin d’éviter

utiles à partir de ces donnéesRemarque : besoin dèjà existant avant l’ère du BiG DATAFavorisée par:-Cout de stockage réduit ( un To sur un PC de moins de 5000dhs)-Cout de calcul réduit (Cloud Computing)-Avènement de nouvelles technologies telles que Hadoop et Mapreduce-Développement du l’Intelligence ArtificielleDéfinir le Big Data à l’aide des 3VLe Big Data est habituellement caractérisé par 3V:Le Volume: désigne la taille massive des données La Variété: désigne les différents types de donnéesLa

Software de HP, a ouvert la conférence de presse big data de ce Discover 2013. Après les PC, les imprimantes et le stockage, HP a détaillé ses solutions big data lors de la seconde journée de Discover 2013, du 11 au 13 juin à Las Vegas. En combinant Hadoop/HDFS, Autonomy, Vertica, Enterprise Security ArcSight et des apps dans un ensemble baptisé HAVEn, HP apporte une plate-forme marketing capable d'aider les entreprises à mieux analyser leurs données structurées et non structurées à l'intérieur et à