• Improve the OSM database structure (DDL)
• Import it in a Greenplum cluster: the database will be distributed across 48 independent segments hosted in 8 servers, based on a shared-nothing, Massively Parallel Processing architecture. That way, each SQL statement will be performed by 48 parallel processes.
• Build efficient SQL queries with our big-data-specialized API engine

Defining a better database structure

During the extraction, we took the time to define our future database structure (or DDL). Our database schema is of course heavily inspired by OSM’s schema. We’ve made some improvements to benefit from Greenplum architecture:

• We created partitions in every table with a date column. The oldest one takes the entire 2005 year, as the first changeset was from April 2005; we assumed that contributions may have grown over the years, so the five next years are cut in quarters (4 partitions by year), and the last three years are cut by month (12 partitions by year). This will greatly improve the speed of our requests when filtering data on period.
• Every partition, except the three most recent, are “append only” and compressed. We won’t update or delete rows in those partitions, so we can save 20 bytes for each row. And we compress them, so we’ll save space and IOs on disks.
• We changed version columns type from BIGINT to INTEGER.
• As data are distributed across several nodes, we chose the tables id as the unique distribution key.
• In further enrichment process, we’ll link changesets to countries. That’s why we added a « country_code » column in the changesets table.

You can download the schema here: schema.sql.

Loading the data

After 30 hours of extraction, our script gave us this:

$ ls -1sh
total 477G
1.7G changeset.csv
1.2G changeset_tags.csv
222G node.csv
58G node_tags.csv
449M relation.csv
15G relation_members.csv
1.2G relation_tags.csv
19G way.csv
119G way_nodes.csv
42G way_tags.csv
$ wc -l *
14922523 changeset.csv
30463339 changeset_tags.csv
2790813127 node.csv
1200122107 node_tags.csv
7649388 relation.csv
511079950 relation_members.csv
36888667 relation_tags.csv
322810448 way.csv
5151526585 way_nodes.csv
1109648479 way_tags.csv

One of the few limitations in this extraction is that we did not count the number of objects involved in each changeset. That is a job for the SQL file involved in the further transformation of data.

Now that we have a .csv file for each table to import, we use the fantastic gpload utility provided with greenplum. It’s very flexible YAML configuration – called control file – allow us to perform basic ELT work during import.

For example, OSM Nodes have coordinates (latitude and longitude). They are of type DOUBLE in the XML export, but in INTEGER type in the database for optimisation. With gpload utility, we can transform on the fly data while importing. Here is the control file used during Nodes import:

---
VERSION: 1.0.0.1
DATABASE: *******
USER: *******
HOST: *******
PORT: *******
GPLOAD:
  INPUT:
    - SOURCE:
      - FILE: [nodes*.csv.gz]
    - COLUMNS:
        - id: INTEGER
        - latitude: NUMERIC
        - longitude: NUMERIC
        - changeset_id: INTEGER
        - visible: BOOLEAN
        - timestamp: TIMESTAMP
        - date: DATE
        - tile: BIGINT
        - version: INTEGER
        - user_id: INTEGER
    - FORMAT: csv
    - DELIMITER: ';'
    - ESCAPE: '\'
    - NULL_AS: ''
    - HEADER: false
    - QUOTE: '"'
    - ERROR_LIMIT: 25
    - ERROR_TABLE: dataprocessing.errors_import
  OUTPUT:
    - TABLE: dataprocessing.nodes
    - MODE: insert
    - MAPPING:
        id: id
        latitude: CAST (latitude * 10000000 as INTEGER)
        longitude: CAST (longitude * 10000000 as INTEGER)
        changeset_id: changeset_id
        visible: visible
        timestamp: timestamp
        date: date
        tile: tile
        version: version
        user_id: user_id
  PRELOAD:
    - TRUNCATE: true

In this example, we have to define each input column and map them to each output ones, because we need to transform two columns values on the fly. Of course, if you do not need this type of transformation, you can skip the boring COLUMNS and MAPPING entries.

OK, but now, how’s it fast ? You’ll see in our last article about OpenStreetMap & SquidSolutions.

*******

Discover OpenStreetMap!

This is why we’ve decided to import the OpenStreetMap Rails port database. A fairly large data store – well, average for those who dream about Genome project! - OpenStreetMap (OSM) is a unique Open Data gathering project. Thousands of people around the world have decided to build a geographical map of our beloved planet.

They describe it with only 3 objects (what they call Data Primitives): Nodes (a place), Ways (a street) and Relations (that glue nodes and ways together). Each of them can be tagged so that contributors can easily enrich them  (“this way is a highway”, “this node is a restaurant”).

Imagine a world described like this. How simple ! How huge! But that’s not all: these primitives are versioned. So in a single database, we can travel the world, and travel it through time.  Sound pretty cool?  Let’s check it out. We’ll extract OSM data, and then import it to our Greenplum database. It’s as simple as a Extract-Load-Transform (ELT) story.

Further, as we are big AWS fans, we’ll import OSM database in a RedShift cluster. Last but not least, we’ll then plug our new shiny API engine to it, so we can analyze data.

OK, but why ?

Just for fun. Our goal is not to implement another OSM History Browser… it already exists. But OSM history database is a good way to show how our API can help reduce information flow from huge data to simple graphical representations.

Let’s import it – oh wait

Our main database here is a 8 nodes (384 GB RAM, 96 CPU cores, 96 hard drives and 96 database segments) Greenplum cluster. This cluster is fully redundant both in term of hardware and database segments. Half of the capacities are available for fail-over management. One of the greatest features of this cluster, is that all nodes can import CSV data in parallel. Give it one big text file, the cluster will split it and send it via a 10 Gb network to all nodes at a time. Our first problem is: OSM data is in XML format. Look for yourself by downloading it here. As we don’t have (yet) the latest Greenplum version, which allows to directly import XML data, we extract all data to various csv files. First, we tested osmconvert, which was very quick but … did not extract all the info we needed.

So we wrote our own Perl script, using XML::Parser. And thanks to the awesome OSM documentation, it can extract changesets, nodes, ways and relations in parallel. You can find it here: osm2csv.pl.

In a future article, we’ll see how powerful and how fast a Greenplum cluster can import massive data. Of course, good software is necessary but not sufficient for handling big data. Stay tuned !

Next part >

Squid propose un atelier de beta-test de sa nouvelle API REST. Connectée à la plateforme Big Data de Squid hébergée dans le Cloud (sur infrastructure EMC Greenplum), cette API permet à n’importe quelle application d’accéder à des analyses multidimensionnelles à travers des requêtes simples, sur des sources et des volumes de données multiples et variés.

En participant vous pourrez :

• découvrir en avant première une API permettant d’étendre les fonctionnalités de vos applications de datavis;
• voir comment exploiter une plateforme Cloud d’analyse de données pour faciliter la mise en place d’applications analytiques;
• échanger avec des pairs sur les meilleures pratiques et contribuer à l’amélioration de l’API.

Tout en travaillant sur des véritables données client combinées à des données publiques sur un sujet passionnant.

Bref, c’est l’occasion de découvrir une nouvelle techno et, surtout, de travailler sur un cas concret ensemble et à plusieurs !

Je dois finaliser l’organisation de cet atelier le plus vite possible, alors indiquez-moi SVP par mail votre intérêt car le nombre de places est limité à 6.

Infos pratiques :

• lieu : la Cantine sous l’égide de Silicon Xperience
• date : fin sept / début octobre

A très bientôt,

Adrien

Grâce à l’offre SaaS de Squid Solutions, il est désormais possible de mettre en place des applications Big Data en quelques semaines seulement. La technologie de Squid Solutions exploite au maximum les fonctions avancées de la base de données massivement parallèle EMC Greenplum en réalisant ses calculs « in-database », directement sur les données brutes, pour accélérer la création et le déploiement de Business Applications innovantes.

Les développeurs peuvent ainsi se reposer sur le savoir-faire de Squid Solutions et se concentrer sur leur expertise métier afin de délivrer davantage de valeur ajoutée à leurs clients.

Adrien Schmidt, CEO de Squid Solutions précise « Chez Squid Solutions, nous avons pour objectif de réunir les moyens techniques et humains pour adresser le marché des Big Data au travers de Business Applications simples, destinées aux opérationnels métiers dans les entreprises. Grâce à notre offre Saas, développée et déployée sur une plate-forme dans le Cloud, nous sommes fiers de pouvoir proposer à nos clients des solutions leur permettant de délivrer rapidement de l’innovation business »

Yann Cohn-Addad, Directeur Europe du Sud Greenplum EMC ajoute « Nous sommes heureux de la confiance témoignée aujourd’hui par Squid Solutions. En proposant une solution reposant sur notre technologie éprouvée Greenplum, Squid Solutions prend une longueur d’avance sur le marché du Big Data Analytics ».

À propos de Squid Solutions

Squid Solutions est un éditeur de logiciels français spécialisé dans la fourniture de solutions de collecte et d’analyse de grands volumes de données. Squid propose une plate-forme dans le cloud pour permettre à ses clients et partenaires de tirer parti dès maintenant de l’immense potentiel des Big Data. Plus d’informations sur www.squidsolutions.com

À propos d’EMC

EMC Corporation est un leader mondial permettant aux entreprises et aux fournisseurs de services de transformer la manière dont ils opèrent et de leur proposer des solutions IT as a service. Le Cloud computing revêt une importance fondamentale dans cette transformation. Grâce à des produits et des services innovants, EMC accompagne les départements informatiques dans leur transition vers le Cloud computing en leur offrant des solutions flexibles, fiables et économes pour le stockage, la gestion, la protection et l’analyse de leur actif le plus précieux : l’information. Pour de plus amples informations sur EMC, veuillez-vous rendre sur www.EMC.com.

Adrien Schmidt, CEO of Squid Solutions, made a presentation in the Big Data session of the EMC Forum in Paris.

The presentation was about deploying agile Business Apps on top of EMC Greenplum using Squid’s software.

The presentation focused on:

• How to integration data sources in an agile way? The methodology described how Greenplum’s gpload and massively parallel processing (MPP) capacities were used within a Java integration procedure to gain time and ease of deployment. This was illustrated with examples of structured data from various types of RDMS (Oracle, MySQL, PostreSQL) and web log streams.
• How to optimize performance by tuning distribution keys, partitions, columnar storage and aggressive caching.
• How to roll out a Business App in an agile way through a bottom-up approach, building a metadata stack that leverages Greenplum’s MPP, and how to maintain those Apps in a changing environment.
• How Squid’s Business Apps were « web ready », meaning that they include a way to connect web traffic logs directly to Business Apps to derive insight from internet users.

The video of the presentation should be available shortly, stay tuned!

• les principes de la Web Intelligence
• la mise en oeuvre de la plateforme de Squid
• l’utilisation qui en est faite par Topannonces
• la valeur créée par la plateforme pour l’acquisition de trafic, le design du site, le service client …

Un résumé de ce qu’il faut savoir sur la plateforme.

Inscriptions ici

Les deux acteurs présenteront les fondations techniques et l’expertise métier nécessaires à la mise en place d’un système de Web Intelligence performant. Le séminaire sera également l’occasion de rencontrer les utilisateurs du dispositif Squidbox.

Le constat du pilotage par les données aujourd’hui  :

• Les études et panels fournissent des informations trop générales
• Les outils de Web analytics ne donnent qu’une vue partielle de l’activité
en se concentrant sur la mesure de l’audience
• Les requêtes ponctuelles sur les données du SI prennent un temps
précieux aux équipes techniques

L’opinion reste trop souvent la source principale d’inspiration pour prendre des décisions business !

La Web Intelligence permet de rapprocher les données du back-office avec le tracking de la navigation sur le site pour apporter
instantanément des réponses fiables et précises à toutes vos questions au moment où elles se posent.

Les 24 mai, 8 juin, 21 juin et 6 juillet 2011

Hôtel Edouard VII – 39, av de l’Opéra – 75002 PARIS à 9h

Inscrivez-vous ici

24 mai : la performance technique au service de la performance commerciale avec Cedexis
Les réseaux de distribution de contenu (opérateurs télécoms, fournisseurs d’accès Internet, Content Delivery Networks, hébergeurs, spécialistes du cloud…) ne sont pas tous bons partout, tout le temps et pour tous les internautes. Cedexis, « l’aiguilleur du net », démontre combien il est facile et rapide de diviser le temps de chargement des pages, d’augmenter son audience et d’améliorer son référencement Google, tout en optimisant ses coûts.

8 Juin : optimiser le SEO/SEM grâce à l’analyse sémantique avec Syllabs
Il existe de très nombreux outils pour optimiser sa gestion du SEO/SEM, mais la sémantique permet de booster leur efficacité d’abord en partant du contenu existant pour en extraire ce qui est pertinent en termes de ROI et en couplant des outils sémantiques à du datamining, ensuite en ajoutant de manière automatisée des informations pertinentes pour l’internaute (descriptifs de produits, annuaires, etc.) afin d’augmenter le taux de conversion.

21 juin : les fondations d’un système de Web Intelligence performant avec EMC GreenPlum
EMC Greenplum fournit les solutions d’entrepôt et d’analyse de données utilisées par les business Internet les plus évolutifs et les plus exigeants en termes de performance et de retour sur investissement.

6 juillet : la bonne information au bon moment pour la bonne décision avec NetVibes
Les dashboards Netvibes transforment la navigation, le partage d’information et le tagging en données tangibles pour échanger, analyser et agir tout de suite. C’est la Dashboard Intelligence, l’évolution de la Business Intelligence

Agenda :

9h : Accueil des participants
9h10 : Introduction par Dereck Sheppard, Directeur des Ventes de Squid Solutions
9h20 : « Les solutions de Squid pour piloter efficacement son business sur le web » Adrien Schmidt, CEO de Squid Solutions

• Quelles données prendre en compte ?
• Quels indicateurs pour piloter un site de petites annonces ?
• Quelles analyses pour comprendre son positionnement ?
• Quels usages de ces informations ?
• Mise en oeuvre : intégration dans le SI et accompagnement métier

Démonstration

10h00 : La parole est aux partenaires de Squid

•  24 Mai     :   Julien Coulon, Directeur Général, Cedexis
•  8 Juin : Claude de Loupy, CEO, Syllabs
•  21 Juin : Yann Cohen-Addad, Directeur Europe du Sud, EMC GreenPlum
• 6 Juillet   : Stefan Lechère, VP Business Development EMEA, Netvibes
10h30 : Etudes de cas Clients
10h45 : Questions / Réponses

eMetrics Marketing Optimization Summit revient pour sa deuxième année consécutive à Paris les 6 et 7 juin 2011 aux Salons Hoche. Couplé avec SMX Paris, eMetrics permet aux directeurs marketing, analystes experts, distributeurs et journalistes d’échanger sur les meilleures pratiques, outils et techniques pour accroître et optimiser leur stratégie marketing sur le web.

En tant que leader de la Web Intelligence, Squid Solutions sera présent lors de cet évènement en tant qu’exposant et conférencier.

A travers les expériences de nos clients, nous présenterons la valeur ajoutée de l’offre Squidbox, qui permet un pilotage fin de l’activité en créant les liens entre Business Intelligence et Web Analytics.

Site officiel de l’évènement

Conférence organisée par Squid Solutions, avec la participation de Philippe Nieuwbourg, rédacteur en chef de Decideo et le témoignage client de Sébastien Robert, Directeur du site TopAnnonces.fr