pbf planet files beschikbaar!

28 september 2010 door Roeland Douma

Al enige tijd wordt er gewerkt aan pbf (Protobuf Binary Format). Dit binaire formaat is een alternatief op de xml om OSM data op te slaan. Met als grote voordeel dat het een stuk kleiner is en sneller te verwerken. Tevens kan je (al is dat nog niet ge├»mplementeerd) ook “eenvoudig” zoeken en updaten in dit formaat!

Er is reeds support voor pbf in osmosis en in Nederland wordt er ook hard gewerkt aan de C tool pbf2osm.

Sinds gisteren staan op planet.openstreetmap.nl ook onze planet extracts (benelux, overzeese gebiedsdelen, haiti) in pbf. Hier is duidelijk te zien dat pbf een stuk kleiner is dan gzip (376mb vs 784mb).

6 Responses to “pbf planet files beschikbaar!”

  1. Stefan de Konink says:

    Geen eerlijke vergelijking van pbf wordt ook gegeezipt!

  2. miblon says:

    Nog harder werken aan die pbf2osm! Even een gewetensvraag; waarom niet osm2pgsql uitbreiden met de mogelijkheid om pbf te lezen?

  3. Roeland Douma says:

    @miblon: Dat is stap 2. Je kan namelijk met pbf2osm het gewoon pipen naar osm2pgsql. Hetzelfde geld voor alle andere osm tools. Het leek ons handiger dit eerst te doen ­čÖé

  4. miblon says:

    Ok, ik snap dat pipen mogelijk is, maar ik zie gewoon niet heel goed in waarom je pbf naar osm wilt zetten als je net zo goed osm files gezipped kunt downloaden en rechtstreeks aanbieden aan osm2pgsql. Wordt osm2pgsql sneller of langzamer voor resp.:

    Optie 1: Download osm.gz -> osm2pgsql
    Optie 2: Download osm.pbf -> pbf2osm -> osm2pgsql

    Of is er een andere reden waarom je pbf wilt omzetten naar plain osm xml? Ik krijg er vanuit mijn perspectief geen beeld bij

  5. Roeland Douma says:

    Het scheelt je een significante hoeveelheid downloaden.
    Op den duur zal ook pbf support in osm2pgsql en andere tools worden ingebakken.

    Als je genoeg resources hebt is het sneller om de pbf te downloaden en pbf->xml te doen.

    Maar je hebt gelijk pas als we een libpbf hebben gaan we het echte effect merken ­čÖé

  6. Stefan de Konink says:

    Nou je zult het ook wel merken in I/O de pipe die uit pbf2osm komt is immers korter (en blocking) i/o uit dan dat je zou krijgen door XML te lezen. Denk dat we eerst maar eens even de mmap versie moeten fixen voor de input I/O versie (uiteraard 64bit only ;)).