GIS, UNIGIS und andere Kleinigkeiten

Letztens stand ich vor dem Problem eine Punktwolke (DOM für das gesamte Berner Kantonsgebiet) nach ArcSDE zu importieren, ohne genau zu wissen, auf was ich mich da eingelassen hatte. Schon allein die Roh-Daten waren von beeindruckender Grösse. Sie lagen im XYZ-Format vor und nahmen unkomprimiert ca. 130GB Platz ein! Ich öffnete eines der kleinsten Files (30MB) und zählte die Records (Zeilen): 1.2 Millionen! Also ging ich mit einem einfachen Python-Skript durch alle Files durch und zählte alle Records. Das gab die atemberaubende Zahl von 4.3 Milliarden Punkten! Nun ist die OBJECTID in ArcSDE vom Typ Integer32 und damit auf 2³¹-1 (2.1 Milliarden) beschränkt. Da musste ich mich auf die Suche nach anderen Lösungen machen.

ESRI empfiehlt in solchen Fällen die Verwendung von MultiPointZ-Features. Das reduziert die Anzahl Records dramatisch. Glücklicherweise ist im 3D Analyst auch gleich ein äusserst praktisches Tool namens "ASCII 3D to Feature Class" enthalten, mit dem sich ganze Rohdaten-Verzeichnisse auf einen Rutsch in MultipointZ-FeatureClasses umwandeln können. So werden 5000 Features in ein Multipoint-Feature zusammengefasst. Damit resultiert eine Recordzahl von noch ca. 1 Million. Das ist deutlich einfacher zu handeln als 4.3 Milliarden.

Im 3D Analyst gibt es ausserdem noch das Gegenstück namens "Feature Class Z to ASCII", mit dem man die Features auch wieder rausschreiben kann. Mit diesen Tools werden auch solch gigantische Datenmengen handlebar...

Als alter SVG-Anhänger hat es mich gefreut und gleichzeitig auch ein bisschen erstaunt, dass die Resultatkarten von SF DRS und Radio DRS für die Schweizer Parlamentswahlen vom 21. Oktober mit SVG umgesetzt wurden. Die Karten wurden übrigens von der Firma Microgis entwickelt. Das ist eine willkommene Abwechslung zum üblichen Flash-Einheitsbrei.

Google hat im Dezember eine recht interessante Auswertung der HTML-Dokumente in seinem Index veröffentlicht. Darin wird aufgezeigt, welche HTML-Elemente und -Attribute wie oft in Dokumenten auftauchen und welche HTTP-Header häufig gebraucht werden. Eine sehr aufschlussreiche Sache mit einigen überraschenden Resultaten. So zeigt es sich, dass sehr viele Dokumente mit Microsoft-Produkten (Office, Frontpage) erstellt wurden. Deren spezifische Elemente und Attribute sind immer wieder anzutreffen. Die Daten werden mithilfe von zahlreichen Balkendiagrammen dargestellt und zwar nicht etwa als Bitmapgrafik, sondern für einmal sogar in SVG!