Text - ETH E-Collection
Werbung
RASTERDATENANALYSE IN GIS 1. EINFUEHRUNG 2. ASPEKTE VON RASTERDATEN IN GIS 3. KOMMERZIELLE SYSTEME 4. RASTERDATENANALYSE (Beispiele ARC/Info GRID, IDRISI) 5. BEISPIELE MIT IDRISI REFERENZEN E.P. Baltsavias, S. 1 1. EINFUEHRUNG ART VON RASTERDATEN 1. Luft- und Satellitbilder 2. Gescannte Karten und Pläne 3. DTMs in Gitterformat 4. Klassifikationsbilder, Arealstatistik, Bodenkarten etc. 5. Video, Movies 6. Andere Bilder (gescannte Dias, gedruckte Bilder, Still Video) ; oft nur zur Visualisierung, oft nur als Attribut 7. Gescannte Graphik und Text 8. Vektordaten (nach einer Vektor-zu-Raster Konvertierung) E.P. Baltsavias, S. 2 9. Punktbezogene Sachdaten (nach einer Interpolation eines regelmässigen Gitters aus punktuellen Messungen) • Datentypen 5. - 7. für räumliche IS weniger wichtig • Daten normalerweise 2-D aber auch - 3-D Voxel Daten (Geologie) - “Multi-Valued” Rasterdaten (z.B. Farbfolien bei Karten, mehrere Kanäle bei Satellitbildern) • Temporale Daten gewinnen an Bedeutung (Umweltanalyse, Wetter, Börse) E.P. Baltsavias, S. 3 DATENFORMATE • Kein Standard existiert/ sollte erwartet werden. Formate variieren je nach Rechner, Softwarepaket, Organisation/Firma, Land, wissenschaftlichen Bereich/Applikation, Datentyp etc. • Verbreite Formate: TIFF, GIF/PNG (besonders bei Internet), Postscript, EPS, JPEG, MPEG (bei Bildsequenzen), CCITT Group 3, CCITT Group 4 (letzte zwei für Fax), RLE (benutzt bei binären oder fast binären Daten) • Tendenz -> grosse Daten in Tiled Format speichern für schnelleren Zugriff, z.B. Tiled TIFF (wird aber von einigen Lese-Programmen nicht unterstützt) • Mehrere TIFF-Extensions. Davon wichtiger: - GeoTIFF (s. http://www.remotesensing.org/geotiff/geotiff.html) Wie TIFF mit geographischen/kartographischen Daten assoziiert mit den Bildern. Rev. 1.0 in 1996. Positive Entwicklung aber (a) ziemlich verbreitet, (b) wichtige Metadaten, vor allem für Luftbilder, fehlen, (c) Teile der Spezifikation sind copyright-geschützt. Rev. 2.0 in Vorbereitung E.P. Baltsavias, S. 4 - JPEG - in - TIFF - Zip - in - TIFF (als Alternative zum LZW) VORTEILE VON RASTERDATEN • Geeignet bei flächendeckenden Operationen und Modellierung kontinuierlicher Phänomenen • Erlauben schnelle und günstige Erfassung von Daten, z.B. Digitalisierung aus Orthobildern • Einfacher raumbezogener Zugriff (d.h. geeignet zur Modellierung der Attribute von geographischen Positionen oder zur Repräsentation der Position von geographischen Daten) • Behandlung von heterogenen Daten (Raster, Vektor, Punkte) in einer Datenstruktur • Manche Operationen wie Puffergenerierung und Verschneidung viel einfacher als bei Vektordaten E.P. Baltsavias, S. 5 2. ASPEKTE VON RASTERDATEN IN GIS DATENKOMPRESSION • Befehle für verlustfreie Kompression bei UNIX und anderen Betriebssystemen: - gzip, zip (Lempel-Ziv Algorithmus, LZ77) - compress (Lempel-Ziv-Welch, LZW) - pack (Huffman Kodierung) • JPEG Verbreitet, Hardwareunterstützung, Qualitätsverlust, blockartige Artefakte möglich (wegen der Kodierung in 8 x 8 Bildblöcke), Kompression um Faktor 5 - 10 führt zu akzeptablen Qualitätsverluste (gemäss empirischer Tests) Neues Standard JPEG2000 (Anfang 2001), MPEG2000 (Animation): wavelet-basiert, download nur notwendige Auflösung, Verschlüsselung von Copyright Information im File, zusätzliche Daten (Kanäle) können addiert werden E.P. Baltsavias, S. 6 • LZW Verlustfrei, implementiert in TIFF und GIF, Problem -> Unisys hat das Patent • PNG (teilweise Ersatz von GIF auf dem WEB, nicht so verbreitet) Merkmale (nicht bei JPEG2000): 48-bit Farb-, 16-bit Grauwertbilder, Unterstützung von Transparenzlevels MNG (Animation): verlustfrei oder nicht, 10-100 höhere Kompression als GIF • SVG (Scalable Vector Graphics) (www.w3.org/Graphics/SVG/) Kommendes Standard fuer den WEB (Anfang 2001?), Sprache für Beschreibung von 2-D Graphik und Applikationen in XML, Format für Animation und Vektor-Imaging auf dem WEB (auch Text und Bilder), skalierbar, Fileinformation im Text-Format. Momentane Version SVG 1.1 • JBIG Für binäre Bilder, verlustfrei, 20%-80% höhere Kompression als Group 3 und Group 4 Fax Kompressionen E.P. Baltsavias, S. 7 Neues Standard JBIG2 (fast fertig, speziell für Internet): 2-4 mal höhere Kompression als JBIG; spezielle Kompression für Text, Halftone-Bilder etc.; verlustfrei oder nicht; multi-page Dokument Kompression; einfaches Einbetten in andere Formate z.B. TIFF; schnelle Dekompression (1 GPixel/s) • Hierarchische Verfahren (Quadtrees, Bildpyramiden) • Wavelet-Transformationen (wie Bildpyramide aber effizienter) Werden vermehrt zur Bildkodierung eingesetzt, noch nicht so verbreitet wie JPEG, Kompressionsraten bis 100fach mit akzeptabler Qualität, bessere Qualität aber auch mehr Rechenzeit als JPEG. Eingesetzt ausser bei JPEG2000 in: - LizardTech’s MrSID (www.lizardtech.com): selektive Dekompression und Bandbreite-Optimierung, skalierbare Bilder (ein File für verschiedene Qualitätsanforderungen), schnell, grosse Files, keine sichtbare Qualitätsverluste, Plug-Ins für Browsers und Programme (Photoshop, MapInfo, Microstation 95 etc.) E.P. Baltsavias, S. 8 - ER Mapper ECW (www.ermapper.com): sehr grosse Files (1 TB), 10-50fache Kompression, schnelle Kompression und besonders Dekompression, viele Plug-Ins (Kompression/Dekompression, Viewer) für Browsers und Programme (Photoshop, MapInfo, ArcView etc.), viele davon gratis. - LuraTech’s LuraWave und LuraWave.jp2 (JPEG2000 kompatibel): wavelet-basiert, verlustfrei oder nicht, multiple Bildgrössen in einem File, bessere Qualität in ausgewählten Bildregionen, Plug-Ins für Browsers und Programme (Photoshop, Oracle 8i), Java Viewers etc. (manche frei) • Manche Softwarepakete können Funktionen/Operationen direkt auf kodierte Daten anwenden (und zwar schneller als auf die Originaldaten) • Nachteil: generell muss der ganze File gelesen werden ; Einlesen von einem Ausschnitt ist nicht möglich E.P. Baltsavias, S. 9 BILDDATENBANKEN • Getrieben vor allem durch Multi-Media Anwendungen • Produkte/Systeme für: - document processing - grosse Mode- und Warenhäuser - video-on-demand - grosse Firmen aktiv in entertainment & information (Zeitschriften, Zeitungen, Filme, Videos, Fernsehkanäle etc.) - Filmindustrie (Digitalisierung und Verarbeitung von Filmen) - virtuelle Museen, virtueller Tourismus - Queries und Bestellung von Fernerkundungsdaten (NASA, ESA, DLR etc.) E.P. Baltsavias, S. 10 • Viele Systeme sind begrenzt oder haben andere Ansprüche als diejenige für grosse Rasterdaten (Luft- und Satellitbilder, DTMs, Karten) - manche können viele, aber nur kleine, Bilder behandeln, z. B. Dias - andere verlangen sehr schnelle Antwortszeiten, z.B. video-on-demand - oft ist die Funktionalität rudimentär (Einlesen, Umformatierung, Display, manche Bildverarbeitungsfunktionen, oder nur Datenaussuchen und Bestellen) • Von den kommerziellen Systemen scheinen die Objekt-Relationale DBMS, die geeignetsten zu sein (aus diesen Systemen scheinen die Produkte von Oracle und Informix (IBM) die ausgereifsten zu sein) Mehr Details -> WEB Seite der Vorlesung (Links über Oracle), www.informix.com, Nebiker, 1996, Stonebraker und Moore, 1996 E.P. Baltsavias, S. 11 SUCHE NACH UND HOLEN VON DATEN • Beziehung zu Meta-Daten und entsprechenden Abfragen • Menge und Art der Suchparameter variiert je nach Datentyp von ziemlich komplexer Suche (z.B. Satellitbilder) bis zu relativ einfacher (z.B. DTM) • Wichtigste meistens benutzte Suchparameter (manche sind für Datentypen 5. - 7. auf Seite 2 nicht relevant): - Datum oder Zeitperiode der Erfassung der Daten (oder Primärdaten, falls Daten Folgeprodukt) - Thema/Inhalt - Datenformat und Datengrösse - Produzent - Geographische Position - Räumliche Auflösung (Rastergrösse) - Qualität/Genauigkeit E.P. Baltsavias, S. 12 • Wünschenswerte Eigenschaften - Logische Verbindung von Suchkriterien (AND, OR, NOT) - Fuzzy (nicht strenge) Suche, besonders bei Text - Sortieren von Suchkriterien - Sortieren der Suchergebnisse und Bestimmung ihrer maximalen Anzahl - Quicklooks/Thumbnails bei Bildern - Ausschliessen/Auswahl von bestimmten Suchparameter • Unterschiedliche Abfragetypen möglich: - “exact match” -> Werte für alle Attribute erfüllt - “partial match” -> nur eine Untermenge der Attribute wird in der Abfrage benutzt - “range”-> für manche oder alle Attribute werden Wertebereiche gegeben - “partial range” -> wie oben aber nur eine Untermenge der Attribute werden benutzt E.P. Baltsavias, S. 13 Beispiele von Suchparameter (Meta-Daten) A. DTM Geographische Position, Anzahl Rasterelemente in X und Y, Gitterweite, min. und max. X, Y, Z Koordinaten, Einheiten, Datum/Periode der Datenerfassung, Genauigkeit, Produzent, Thema/Titel, Datenformat und Grösse, Speichermedium, interner Datenstruktur (z.B. regelmässiges Gitter oder Quadtree), Definition der Referenzkoordinatensysteme für Lage und Höhe, min. und max. Neigung etc. E.P. Baltsavias, S. 14 B. Satellitbilder Plattform, Sensor, geographische Position, Datum/Periode der Datenerfassung, Produzent, Thema/Titel, Datenformat und Grösse, Speichermedium, Art des Sensors (aktiv/passiv, Anzahl Kanäle und ihr Wellenlänge-Bereich), radiometrische und geometrische Auflösung, Stereoauswertung möglich (ja/nein), geometrische Genauigkeit der Daten, radiometrische Qualität (Rauschen, defekte Pixel etc.), % der Ueberlappung oder Länge der Basis (für Stereo-Bildpaare), Anteil von Wolkenbedeckung (für optische Sensoren), Vorverarbeitungsstufe (radiometrisch und geometrisch), abgebildete Fläche, Preis, Inklination des Sensors vom Nadir (alongoder across-track), Quicklooks, ascending oder descending Orbit (z.B. für ERS-Radar Daten), “subscene” Nummer (z.B. für Landsat-TM), Applikationen (für welche die Daten eingesetzt werden können), Revisit-Zyklus, etc. Ein Beispiel ist das Intelligent Satellite data Information System (ISIS) der Deutschen Forschungsanstalt für Luft- und Raumfahrt (DLR), s. http://isis.dlr.de E.P. Baltsavias, S. 15 • Für viele dieser Suchparameter gibt es mehrere Möglichkeiten, z.B. für geographische Position: Koordinaten des Zentrums oder zwei Ecken eines Rechteckes, Angabe von Path/ Row - Nummer (SPOT, Landsat), Klicken der Position in einer Karte, Angabe von Namen (Land, Stadt, Meer, Fluss, See, Berg) oder einer Kode (Kartenblattnummer) etc. aber in einem GIS auch indirekt, z.B. hole alle DTM-Punkte, die in einer Maske fallen. Maske kann vom Typ Raster (z.B. alle nicht bewaldete Flächen) oder Vektor (Strassenmittellinien, Gemeindegrenzen) sein. E.P. Baltsavias, S. 16 • Wichtig für schnelles Suchen und Holen der Daten: - Clevere Indexierung und Organisation (Partitioning und Clustering) der Daten in der Datenbank - Interne Datenstruktur, z.B. Tiles viel effizienter als sequentielle Speicherung - Schnelle Kompression/Dekompression Diese Möglichkeiten sollten auch für eine Daten-Untermenge bestehen, z.B. bestimmte Kanäle eines Satellitbildes, Folien/Farbe einer topographischen Karte etc. E.P. Baltsavias, S. 17 Moderner Trend für Datentypen 5.-7. (besonders Bilder) -> “content-based retrieval”. Prozedur: 1. Identifizierung und Indexierung der Objektattribute (normalerweise alphanumerische Attribute, manchmal auch “content”-basierte, z.B. Histogramm der Grauwerte) 2. Wahl der Suchparameter (Attribute), Formulierung der Abfrage z.B. für Bilder: Farbe, Textur, Formen, oder vorgegebene Templates (z.B. das Gesicht von Clinton) 3. Abfrage-Prozess (Kompilierung, Optimierung, Ausführung) 4. Sortierte Ergebnisse 5. In vielen Fällen sind wir mit den Ergebnissen unzufrieden. Basierend auf allen bisherigen Ergebnissen, erfolgt ein Refinement der Abfrage und der Loop 2.-4. wird wiederholt. E.P. Baltsavias, S. 18 Zu 2: - Kombination von “Content”-Parametern und anderen alphanumerischen Attributen möglich - Visuelle Abfragen durch Beispiele eines oder mehreren Objekte, z.B. der Benutzer wählt eine Textur und verlangt alle Textilien mit ähnlicher Textur, oder wählt zwei Namen und verlangt alle Bilder der New York Times ab 1.1.90 mit Clinton und Arafat (hinter der Namen stecken Informationen, die mit Merkmalen/Attributen aus den Bildern, verglichen werden können). - In vielen Applikationen die Sampel-Bilder der Abfrage werden genommen von einer Auswahlliste eines Domänes (= die Menge aller möglichen, typischen Werte für ein gewisses Merkmal oder Objekttyp), z.B. eine Liste von Farben, Texturen, Gesichtsmerkmale. - Jede Suchparameter kann unterschiedlich gewichtet werden. - Die Suche kann unsichere (fuzzy) Terme beinhalten, z.B. such mir die Szene in Casablanca mit Bogart und Bergman und dem Flugzeug “gegen Ende” des digitalissierten Filmes. E.P. Baltsavias, S. 19 Zu 3: - Optimierung der Abfrage ist viel komplexer wenn fuzzy Terme, “content-retrieval”, Gewichte, und standard alphanumerische Attribute benutzt werden. Zu 4: - Die Ergebnisse werden nach Relevanz sortiert und dem Benutzer präsentiert (Scores, Display der ausgewählten Objekte). Die Relevanz wird berechnet basierend auf der Gewichtung der Suchparameter und der Attributwerte der Objekte. Zu 5: - Oft Neuformulierung der Abfrage und Iteration der Suche basierend auf dem Konzept von “relevance feedback”, d.h. die Reaktionen des Benutzers auf die Relevanz der ausgewählten Objekte. Aenderung der Suchparameter und/oder ihrer Gewichte. E.P. Baltsavias, S. 20 • Die Extraktion der Merkmale/Attributen und die Indexierung kann manuell, automatisch oder hybrid sein. • Manchmal ikonische Indexierung vorteilhaft, d.h. benutze eine ikonische Repräsentation statt die Originalobjekte für die Suche, z.B. ein kleines Thumbnail statt das grosse Originalbild. • Mehrere Methoden für die Berechnung der Scores, z.B. nächster Nachbar (kleinste Distanz) in einem n-dimensionalen Merkmalsraum, probabilistische Methoden mit Bayesischen Netzen, Fuzzy-Sets, Neuronalen Netzen etc. • Leistung der Suche wird oft durch zwei quantitativen Massen bewertet: - Recall = gefundene relevante Objekte / alle relevante Objekte Komplementär dazu: Anteil von “errors of omission” - Precision = gefundene relevante Objekte / alle gefundene Objekte Komplementär dazu: Anteil von “errors of commission” Beide Masse nehmen Werte im Bereich [0,1]. Ziel: Beide Werte = 1. E.P. Baltsavias, S. 21 • Beispiele von “content-based retrieval” Systemen - Excalibur (Dokumente mit Text oder Bilder) -> zwei DataBlades für Informix (www306.ibm.com/software/data/informix/blades/index.html) - Plexus (Firma BancTec, www.plx.com) mit Object Storage Management Suite und Retrieval von Bildern - Virage (www.virage.com) mit Technologien fuer Retrieval von Text, Video, Audio, Gesichtern. Plug-ins für Oracle (Oracle 8i Visual Information Retrieval (VIR) Cartridge und interMedia) und Informix - National Point of Contact (NPOC) für Satellitbilder (Demo auf www.vision.ee.ethz.ch/~rsia/484demo/, aber viele Seiten sind neulich lesegeschuetzt) • “Content-Retrieval” Systeme sind noch relativ am Anfang. Erfolg möglich bei einfacheren Aufgaben, begrenzten Domänen (z.B. “text-retrieval”, Erkennung von Gesichtern) • Nächste Stufe in Datenbankabfragen -> Virtual-Reality Interfaces E.P. Baltsavias, S. 22 ORDBMS (als Beispiel wird Informix benutzt) • Mehr über ORDBMS in Stonebraker und Moore, 1996 • Geometrie und Attribute in einem System Traditionell: Trennung in Geometrie und relationalen Daten -> räumliche Natur der Daten in relationalen DB geht verloren, zwei Systeme müssen synchronisiert werden • Unterstützung von nicht-standard Datentypen (komplexe Objekte) Bei vielen Systemen nur als BLOB (Binary Large OBjects) erlaubt. BLOBs sind unformatierte Byte-Sequenzen, ohne bekannte interne Struktur, nur Speicherung und Retrieval sind möglich • Schneller Zugriff durch multidimensional Indexierung basierend auf R-trees (Btrees nur eindimensional). Wichtig für räumliche Abfragen (z.B. overlap, containment von Rechtecken) E.P. Baltsavias, S. 23 • Benutzerdefinierte Funktionen/Erweiterungen, die ein Teil von SQL werden, sind möglich - Funktionen sind Erweiterungen von SQL (neue ISO standards in 2003) - Funktionen in SQL oder C, kompiliert und gelinkt in DBMS - Funktionen sind mit dem Server registriert (Vorteile: Funktionen nah an den Daten -> schnelle Leistung, resuable Code, weniger Code-Fehler) - Funktionen können auf dem Server oder dem Client laufen - Funktionen adressierbar durch SQL -> bekanntes Interface - Overloading ist unterstützt (einfachere Entwicklung von Anwendungen) Overloading: zwei unterschiedliche Funktionen für verschiedene Datentypen haben den gleichen Namen, z.B. area_circle und area_rect heissen beide AREA • Content-based Zugriff auf komplexe Daten, fuzzy (partial match) Abfragen E.P. Baltsavias, S. 24 • Objektorientierte Merkmale (bei Datentypen und Funktionen) - Inheritance - Encapsulation • Dynamische Erweiterbarkeit (auch durch “third-party” Produkte) durch das “DataBlade Module” Konzept DataBlade = Objektbibliotheken (inkl. Datentypen, Funktionen, und als Option Zugriffsmethoden), erweiterbar und modifizierbar Beispiele: Spatial, Image Foundation, Video Foundation (www-306.ibm.com/software/data/informix/blades/index.html) Aehnliche Produkte waren früher bei Oracle (Oracle 8, 8i) unter dem Namen “Data Cartridges” zu finden E.P. Baltsavias, S. 25 ANDERE WICHTIGE ASPEKTE FUER RASTERDATEN IN GIS • Datenspeichermedien - Rasche, technologieabhängige Entwicklungen - Tendenz Richtung optischer Medien -> Schätzung: im Jahr 2000, CDs mit 1 Gbyte pro Seite und Transferraten schneller als die der magnetischen Disks (nicht realisiert!) Wichtig: - Speichermedien der Applikation anpassen - Hierarchisch vorgehen, z.B. high-speed on-line (RAM), medium-speed on-line (magnetische Disks), low-speed on-line/near-line (Jukebox) und off-line (MO, Exabyte, DAT, DLT, LTO, DVD, CD, AIT, ....). Andere Klassifikation vom Speicher: primär (RAM), sekundär (RAM, wechselbare Medien), Back-up (sequentielle Suche) - Leistung hängt stark von “storage management” und für nicht-permanente optische Medien von der sogenannten “volume management” ab (s. Koshafian und Baker, 1995) E.P. Baltsavias, S. 26 • Architekturen. Wichtige Aspekte beinhalten - Netzwerke - Client/Server - Servertypen: file servers, database servers, andere (video, fax etc.) - Technologien für Transaktionen, z.B. distributed transactions vs. replication E.P. Baltsavias, S. 27 • Metadaten - enorm wichtig - komplette Erfassung (inkl. Genauigkeits- und Zeit-Angaben) - verknüpft mit den Daten in einem Datenmodell - erweiterbar und editierbar - sollten die Schritte zur Generierung eines Datensatzes, sowie die Beziehungen zwischen Datensätze beinhalten, z.B. Orthobild B wurde aus dem Orthobild A durch eine 3 x 3 Median-Filterung erzeugt, Orthobild A wurde durch differentielle Entzerrung aus Bild C generiert mit Hilfe des DTMs D, etc. Dieses Merkmal erlaubt eine automatische oder manuelle Nachführung sobald ein neuer Datensatz vorliegt, z.B. Generierung eines aktuellen Orthobildes nach einer neuen Befliegung. E.P. Baltsavias, S. 28 3. KOMMERZIELLE SYSTEME • Meiste GIS Systeme haben Support für Rasterdaten zu einem oder anderen Grad -> Tendenz steigend • Rasterdatenfunktionalität: (a) integriert im GIS mit Modulen (z.B. GRID in ARC/Info), (b) durch zusätzliche Extensions (z.B. Spatial Analyst, 3D-Analyst und Image Analysis in ARCView), (c) durch andere gut integrierte Produkte (z.B. ARC und Erdas, Intergraph Produkte) • Manche GIS Pakete traditionell mehr Gewicht auf Rasterdaten (z.B. IDRISI, Grass, Spans). Manche davon stark in Bildverarbeitung. • Vergleich mancher Raster-GIS s. Paper mit Uebersicht von Raster GIS Software • Ueberlappungen im Bereich Rasterdatenfunktionalität mit CAD Systemen, Fernerkundungspaketen, digitalen photogrammetrischen Systemen, Visualisierungspaketen, reinen digitalen Bildverarbeitungspaketen (im Aussterben). Wachsende E.P. Baltsavias, S. 29 Ueberlappung mit FE-Paketen (besonders Erdas, PCI, TNTMips) und CAD-Systemen. Jedoch kein Supersystem ist zu erwarten. • Dazu vermehrt Anbindung an DB mit Erweiterungen für räumliche Objekte, Rasterund Bilddaten (z.B. Oracle, Informix) direkt oder via zusätzlichen Modulen (z.B. ArcSDE). E.P. Baltsavias, S. 30 4. RASTERDATENANALYSE (Beispiele ARC/Info GRID, IDRISI) 4.1. ARC/Info GRID - Konzept und Funktionalität - Datenstruktur - Datenmodell - Datenspeicherung - Map - Algebra Sprache - Operationen E.P. Baltsavias, S. 31 E.P. Baltsavias, S. 32 DATENSTRUKTUR • Hierarchische Zerlegung: Grid -> Tiles (quadratisch)-> Blocks (länger in x) -> Cells (quadratisch) ; Oft alle Daten in einem Tile ; Tile Struktur für räumliche Indexierung und schnellen Zugriff. • Automatische adaptive Kodierung (Zelle pro Zelle oder RLE) jedes Blockes. Schnelle Leistung für alle Arten von Funktionen (lokal, Nachbarschaft etc.) • Manche Operationen benutzen direkt die kodierten Daten (Operatoren innerhalb und zwischen Grids, lokale Funktionen) • Falls Grids unterschiedliche Gitterweite -> automatisches resampling mit nächster Nachbar Interpolation auf die grobe Auflösung (Default) E.P. Baltsavias, S. 33 GRID-Struktur E.P. Baltsavias, S. 34 DATENMODELL • Diskrete Daten repräsentieren Objekte. Objekte gehören einer Klasse, Kategorie, Gruppe. • Jede Zelle hat einen Integer Wert (zeigt Klassenzugehörigkeit) • Jedes Grid hat einen Value Attribute Table (VAT) mit mindestens zwei Elementen: - VALUE : Wert der Zellen - COUNT : Anzahl Zellen mit diesem Wert d.h. wie ein Histogramm für ein Bild Zusätzliche Elemente/Attribute können addiert oder mit der VAT assoziiert werden (nur zusätzliche Attribute derselben Klasse! z.B. Orthobild, DTM und Landnutzungsklassen können nicht als ein Grid gespeichert werden) Operationen + Funktionen werden auf einem Element angewandt Zone = alle Zellen mit dem gleichem Wert (Klasse) E.P. Baltsavias, S. 35 Links, Strukturierung der Daten in Layers (Klassen). Rechts, Datenmodell: GRID (Layer), Zellen, Zone, Value Attribute Table. E.P. Baltsavias, S. 36 • Grids mit floating-point Zahlen (kontinuierliche Oberflächen), z.B. DTM, haben keine VAT. • Falls keine Information für eine Zelle -> bekommt Wert NODATA NODATA Zellen werden verarbeitet, Ergebnis klar definiert Benutzer kann Ergebnis der Operationen zwischen NODATA + DATA definieren • Neue Grids können von VAT-Attributen abgeleitet werden (Flexibilität, kleinere Tabellen) • Bei Vektor-Grid Konversion Vektorattribute können mit dem Grid durch die VAT verknüpft/assoziiert werden E.P. Baltsavias, S. 37 Bedeutung und Operation mit NODATA E.P. Baltsavias, Photo & GIS 2002, S.38 Beispiel Bodennutzung (GEOSTAT Daten) und VAT unten. E.P. Baltsavias, Photo & GIS 2002, S.39 VAT von GEOSTAT Bodennutzung. E.P. Baltsavias, Photo & GIS 2002, S.40 E.P. Baltsavias, Photo & GIS 2002, S.41 Unterschied zwischen Lattice (unten links) und GRID (unten rechts). Lattices werden für Repräsentation kontinuierlicher Werte benutzt. DATENSPEICHERUNG Für jedes Grid ein Subdirectory mit folgenden Files (File-Extensions): • *.BND: min und max X, Y- Kartekoordinaten • *.HDR: Gitterweite, Kompressionstyp, Blockierungsfaktor, Tile-Information • *.STA: min, max, Mittelwert, Standardabweichung der Gridwerte • *.VAT: Attribute der Zonen eines Grids • *.q0x1y1: Daten des ersten Tiles eines Grids • *.q0x1y1x: Indexierung der Blöcke des Tiles • *.LOG: Informationen über Kreierung und Modifikationen eines Grids E.P. Baltsavias, Photo & GIS 2002, S.42 MAP-ALGEBRA SPRACHE (D. Tomlin, 1990) • High-level Sprache zur Manipulation von Grid-Daten • Kombiniert Operatoren, Funktionen und Statements in Expressions und erlaubt komplexere Analysen zu machen • Building Blocks: Objekte, Aktionen, Qualifiers der Aktionen • Objekte - sind Input, können Output sein - beinhalten: Grids, Tabellen, Skalare, Konstanten, Zahlen • Aktionen beinhalten: Commands, Operatoren, Funktionen • Qualifiers : bestimmen wie, wo, wieviel, mit was für Werte werden die Aktionen stattfinden (nicht bei allen Operationen ; obligatorisch oder fakultativ) • Das Syntax beinhaltet Expressions oder Commands E.P. Baltsavias, Photo & GIS 2002, S.43 • Expressions beinhalten den Assignment Operator - beinhalten Operatoren, Funktionen, Statements (z.B. conditional) - Jeder Operator hat eine gewisse Priorität (bei gleicher Priorität ist die Verarbeitung normalerweise von links nach rechts). Alle Funktionen haben die gleiche Priorität. • Commands haben kein Assignment ; sind für Management • Ergebnis von Funktionen und Operatoren: Grid, Tabelle, Skalar • Typ von Output (Integer oder Float) hängt vom Typ der Input-Daten und der Art der Operation ab • Manche Funktionen (z.B. Euclidean allocation) produzieren multiple Output-Grids • Default Verarbeitung ist auf dem Value Item der VATs. Verarbeitung auf andere Attribute der VATs möglich. • Manche Operationen auf Integer-Daten beschränkt. Andere auf Grids mit VATs (Integer-Grids mit grossem Wertebereich oder viele mögliche Werte haben keine VAT!) E.P. Baltsavias, Photo & GIS 2002, S.44 E.P. Baltsavias, S. 45 Map Algebra Uebersicht und Arten von Funktionen in ARC/Info. E.P. Baltsavias, S. 46 OPERATIONEN • Setzen der Analyseumgebung -> Definition von: - Window: Region für weitere Analyse - Mask: definiert die Zellen des Windows, die verarbeitet werden sollen - Gitterweite des Output-Grids Diese Parameter werden auf alle Grids der Analyse angewandt. • Input - Vektor-Grid Konversion (Attribut, Gitterweite und Typ der Konversion muss spezifiziert werden) ; Punkte, Linien, Polygone - Verschiedene Bild- und DTM-Formate E.P. Baltsavias, S. 47 E.P. Baltsavias, S. 48 Vektor-zu-Raster Transformation. • Operatoren - arithmetische - Boolsche - relationale - bitweise - kombinatorische - logische - akkumulative - assignment E.P. Baltsavias, S. 49 • Funktionen (local, focal, zonal, global) Nachbarschaften: 3 x 3, benutzerdefinierbar, Kreis, Kreissegment, Annulus (Donut) - Nachbarschafts (focal) - Funktionen Vor allem Berechnung von statistischen Werten (min, max, mean, range, sum) in der Nachbarschaft. - Zone-Funktionen Vor allem Berechnung von statistischen Werten (min, max, mean, range, sum) in jeder Zone, wie auch Umfang, Fläche etc. - Distanz-Funktionen (global), z.B. berechne Euklidische Distanz und Richtung zur nächsten “Source”-Zelle, Benützung von gewichteten (Kost) Oberflächen, um die Kosten von einer Destination zum nächsten “Source”-Zelle zu berechnen, z.B. costdistance, costpath - trigonometrisch, exponential, logarithmisch - reclassification (wie eine LookUp-Tabelle (LUT) Transformation) E.P. Baltsavias, S. 50 - statistische (min, max, mean, greaterthan, etc.) - Selektions-Funktionen (z.B. select (box, circle, polygon) wählt Zellen inner-/ausserhalb eines Rechteckes etc.) - kombinatorische (Kombination von mehreren Grids) - data clean-up (Rauschenreduktion, Glättung von Zonenrändern, Thinning von Linien) - shape analysis (sehr rudimentär, mathematische Morphologie, z.B. Erosion/Dilatation von Zonen) - geometrische Transformationen (warp, project, rotate, shift) Resample: ändert die Gitterweite des Input-Grids - surface-Funktionen (aspect, slope, shade, Interpolationen) - Farbmodel-Konversion (Konversion eines Grids in RGB/HSV, RGB <-> HSV) - Raster-Vektor Konversion (Linien, Polygone) E.P. Baltsavias, S. 51 E.P. Baltsavias, S. 52 - hydrologische Modellierung, z.B. Flowdirection: finde Richtung von “steepest descent” in der Nachbarschaft. Die Zelle kann auch ein “sink” sein mit undefinierter Flussrichtung Flowaccumulation: berechne den akkumulierten Fluss (akkumuliertes Gewicht aller Zellen, die in einer Zelle hineinfliessen ; Gewichte aus einem Grid sonst 1) - andere Funktionen (abs, float, floor) Merge: Mosaikierung von mehreren benachbarten oder überlappenden Grids Setnull: if Kondition TRUE, return NODATA, else return Werte aus einem spezifizierten Grid -> wird benutzt um Zellen als NODATA zu setzten (auszumaskieren) - Display (Kombination von 3 Grids in einem Pseudofarbbild, Display von einem Grid mit Farbe, Display vom Histogramm) Gridpaint: Display eines Gridattributes mit Hilfe einer LUT (color map table). Vorher können die Attributwerte mit einer anderen LUT transformiert werden. E.P. Baltsavias, S. 53 • Statements DOCELL, IF, WHILE ; für pro Zelle Verarbeitung • GRID management commands z.B. copy, rename, set (cell, mask, window), buildvat, mergevat Describe: Angaben über Gitterweite, Anzahl Klassen, Dimension, Ränderkoordinaten, statistische Werte etc. Bemerkung: GRID ist kein Bildverarbeitungssystem. Reine Bildverarbeitung mit GRID ist entweder nicht möglich oder ein Overkill. E.P. Baltsavias, S. 54 4.2. IDRISI - KONZEPT UND FUNKTIONALITAET EINFUEHRUNG • Raster-GIS & Bildverarbeitungssystem • Entwicklungs- und Forschungsprojekt der Graduate School of Geography an der Clark University, Worcester MA, USA (Prof. Ron Eastman), www.clarklabs.org • Zielsetzung des Projekts: - Entwicklung von professionellen geographischen Analysewerkzeugen - Vertrieb auf “non-profit” Basis • Betriebssysteme: Windows XP, NT, 2000, 95, 98 (32-bit) • Weltweit sehr verbreitet • Wichtigste Stärken: Preis, Funktionalität/Analyse (besonders in Bildverarbeitung, Geostatistik, Decision Support, Simulation, Kost-Flächenberechnung), ease-of-use • Verbesserte aktuelle Version Idrisi Kilimanjaro (hier v. 2) E.P. Baltsavias, S. 55 FUNKTIONALITAET / MODULE Kernmodule (intern) • Spatial Database • Attribute Database Verarbeitungs- und Analysemodule • Cartographic Display System • Geographic Analysis System • Map Digitizing System • Image Processing System • Statistical Analysis System • Database Management System E.P. Baltsavias, S. 56 DATENMODELL und DATENSTRUKTUREN Datentypen: Raster, Vektor, thematisch (Attributdaten) Rasterdaten • einfache Kolonnen- und Zeilenstruktur (keine Kachelung) • 1 Wertedomäne pro Raster(objekt): byte, integer oder real • 1 Wert pro Zelle • Verwaltung von Attributwerten mittels Wertefiles (Value-Files) oder Datenbanktabellen (z.B. zur Zuordnung von Textattributen zu bestimmten Zellwerten) • Kontrolle der Darstellung mittels Farbpaletten (Color LUTs) • keine Unterscheidung zwischen Flächen- und Punktrastern! E.P. Baltsavias, S. 57 Vektordaten • Layerstruktur, 1 Vektorobjekt (File) pro Ebene • Datentypen: Punkte, Linien, Polygone (Flächen) • Kontrolle der Darstellung mittels Symbolfiles • Attribut-Verwaltung mittels Datenbanktabellen DATENSPEICHERUNG • Filestruktur: 1 Datenfile & 1 Dokumentationsfile pro Raster(objekt) oder Vektorlayer • relativ einfache ASCII-Formate für Datenimport & - Export • binäre Formate für effiziente Bearbeitung • Attributwerte-Files: ASCII, XBase Format (neu MS Excel, CSV und Verbindung zu SQL Server und Oracle) E.P. Baltsavias, S. 58 IDRISI - Funktionalität • Import / Export • GIS-Formate (z.B. Arc/Info Shape, ERDAS, SPOT) • verbreitete Raster- (TIFF, BMP, HDF, JPG etc.) und Vektorformate (DXF, ...) • Display (2D) / Map Composition • ANALYSE • 3D-Visualisierung • Database Workshop (-> “GIS-Modul”) • Utilities • Konvertierung: Raster -> Vektor, Vektor -> Raster (limitiert) • Georeferenzierung • Resampling E.P. Baltsavias, S. 59 IDRISI - ANALYSE-OPERATIONEN Abfrageoperationen (Database Query) Mathematische Operationen (Mathematical Operations) Distanzoperationen (Distance Operations) Nachbarschaftsoperationen (Context Operations) Statistische Operationen (Statistics) Bildverarbeitung (Image Processing) (Submenus: Restoration, Enhancement, Transformations, Signature Development), Hard und Soft Classifiers, Hardeners, Accuracy Assessment) Entscheidungsunterstützung (Decision Support) Temporale Analysen (Change / Time Series) E.P. Baltsavias, S. 60 Abfrageoperationen (DB Query) • Welche Regionen haben hohe Radon-Werte? • In welcher Zone liegt Punkt X ? • In welchem Höhenbereich liegt ein Untersuchungsgebiet? Abfrage-basierte Funktionen • Umklassifizierung von Rasterdaten (RECLASS): Erzeugt ein Ausgangs-Rasterobjekt aufgrund von Umklassifizierungsanweisungen (z.B. Aggregation von kontinuierlichen Höhenstufen in diskrete Höhenklassen) • Wertezuweisung (ASSIGN): Erzeugung eines Output-Rasterobjektes aufgrund einer separat gespeicherten Wertezuweisungstabelle (z.B. “Ausblenden” von nicht interessanten Wertebereichen, d.h. sie auf NODATA oder 0 setzen) E.P. Baltsavias, S. 61 Mathematische Operationen • Paarweise Kombination von Rasterobjekten (OVERLAY): Berechnung eines Output-Rasters als Resultat einer zellenweisen mathematischen Operation (Addition, Subtraktion, etc.) zwischen den Input-Rasterobjekten (z.B. Differenzberechnung zweier Höhenmodelle bei grossen Bauprojekten, Analyse von Felsstürzen) • Operationen auf einzelne Rasterobjekte (SCALAR, TRANSFORM) • Map Algebra Operationen (Image Calculator) Der IDRISI Image Calculator • Mathematisches Rastermodellierungwerkzeug mit einer einem Taschenrechner ähnlichen Benutzeroberfläche • Integriert die Funktionalität der mathematischen Rastermodule (OVERLAY, SCALAR, TRANSFORM) und unterstützt zwei Arten von Operationen: • mathematische Ausdrücke (+, -, EXP, SIN, ABS, etc.) • logische Ausdrücke (AND, OR, NOT, etc.) E.P. Baltsavias, S. 62 Distanzoperationen • Abstandstranformation (DISTANCE): Berechnung der euklidischen Distanz jeder Zelle zur nächstgelegenen Zielzelle (z.B. Distanz zum nächsten Einkaufszentrum) • Kostenberechnung (COST): Berechnung einer Distanztransformation unter Berücksichtigung von “Reibungswiderständen” (z.B. Wegberechnungen unter Berücksichtigung von Hangneigungen) • Bufferberechnung (BUFFER): Berechnung eines Bufferbereichs um spezifizierte räumliche Objekte (Punkte, Linien, Flächen) (z.B. Ermittlung von Einflussbereichen entlang von Eisenbahnprojekten) Nachbarschaftsoperationen • Geländemodellanalysen (SURFACE): Berechnung von Hangneigung (SLOPE) und Gelände-Exposition (ASPECT) auf der Basis von Raster-DTMs sowie Generierung von Schummerungsmodellen (Analytical Hillshading) E.P. Baltsavias, S. 63 • Filterung von Rasterdaten (FILTER): z.B. Entfernung von sehr kleinen Flächen, Glättung von DTM-Daten nach vorgängiger Interpolation • Sichtbarkeitsanalyse (VIEWSHED): Berechnung des sichtbaren Bereichs von einem oder mehreren Standorten Statistische Operationen • Berechnung von Histogrammen (HISTO): Erzeugt Häufigkeitsdiagramme von Rasterdatensätzen und bestimmt Mittelwerte und Standardabweichungen (z.B. durchschnittlicher Landwert in einem Untersuchungsgebiet) • Regressionsanalyse (REGRESS): Berechnung von Regressionswerten zwischen zwei Rasterobjekten zusammen mit Konfidenzintervallen • Trendanalyse (TREND): Bestimmung von Trendflächen (linear, quadratisch oder kubisch) eines Rasterobjektes (z.B. Ausbreitungsrichtung und -Geschwindigkeit eines Umweltphänomens aus der Differenz zeitlich auseinanderliegender Rasterdatensätze) E.P. Baltsavias, S. 64 Entscheidungsunterstützung (Decision Support) Unterstützung einer Vielzahl von Methoden und Theorien zur Entscheidungsunterstützung und Risikoanalyse. Dieses Modul unterstützt speziell die folgenden Aspekte: • mehrere Zielfunktionen (multi-objective) • mehrere Kriterien bzw. Randbedingungen (multi-criteria) • stochastische Modellierung (Berücksichtigung von Unsicherheiten) (uncertainty) Temporale Analysen (Change / Time Series) • Berechnung von Zeitreihen und statistische Analysen über das zeitliche Verhalten bestimmter Gebiete (PROFILE), (TSA - Time Series Analysis) (z.B. Analyse der zeitlichen Veränderung von durchschnittlicher Sonnenscheindauer und Niederschlagswerten in einem Untersuchungsgebiet) E.P. Baltsavias, S. 65 IDRISI - BEURTEILUNG (basierend auf die ältere Version 2 ; seit Ende 99 neues Idrisi32 und jetzt Kilimanjaro) PRO • sehr vielseitige und leistungsfähige Analysefunktionalität • “vollständiges” Mini-GIS CONTRA • relativ eingeschränkte Datenverwaltungsfunktionalität • einfache Datenstruktur (z.B. keine Kachelung) erfordert hohe Systemresourcen und limitiert Objektgrösse • Bildschirmdigitalisierung (günstiges Rasterdigitalisierungsmodul) • ermöglicht Georefenzierung und Resampling von Rasterdaten • restriktive Voraussetzungen (ident. geom. Auflösung für alle Rasterobj.) • relativ beschränkte Unterstützung kommerzieller Rasterformate (kein GeoTIFF) ; nicht für neue Idrisi Version • günstiger Preis • geeignet für kleine, gut eingegrenzte Projekte und Aufgabenstellungen E.P. Baltsavias, S. 66 • ungeeignet für sehr grosse und komplexe Projekte 5. BEISPIELE MIT IDRISI • Applikationen: s. www.clarklabs.org/ApplicationExamples.asp?cat=4 • Beispiele und Bilder s. http://www.clarklabs.org/imagegallery.asp • Andere Anwendungen und Links s. http://www.clarklabs.org/Links.asp?cat=3 • IDRISI Architektur • Layer Konzept • Datenbank-Abfragen und mathematische Operationen (Reklassifikation, Verschneidung) • IDRISI Image Calculator • IDRISI Uebersicht, Module und Funktionalität, Preise (s. separate Unterlagen) E.P. Baltsavias, S. 67 E.P. Baltsavias, S. IDRISI Architektur 68 IDRISI Layer Konzept E.P. Baltsavias, S. Reklassifikation und Verschneidung 69 IDRISI - Image Calculator REFERENZEN American Society for Photogrammetry and Remote Sensing, 1994. The GIS Applications Handbook - Examples in Natural Resources: a compendium. URL address www.asprs.org Bonham-Carter G.F., 1994: Geographic Information Systems for Geoscientists: Modelling with GIS. Pergamon. Heuvelink G.B.M., 1998: Error Propagation in Environmental Modelling. Taylot & Francis, London. Koshafian S., Baker A.B., 1995: Multimedia and Imaging Databases. Morgan Kaufmann Publishers, Inc., San Francisco. Nebiker, S., 1996: Verwaltung hybrider Daten. In Kombinierte Anwendung von Vektor- und Rasterdaten in GIS, F. Golay (Hrgb.), Institut für Geomatik, EPFL. Nebiker S., 1997: Spatial Raster Data Management - A Database Perspective. Ph.D. Dissertation, Mitteilungen Nr. 63, Institut für Geodäsie und Photogrammetrie, ETH Zürich. Stonebraker M., Moore D., 1996: Object-Relational DBMSs - The Next Great Wave. Morgan Kaufmann Publishers, Inc., San Francisco. Tomlin C.D., 1990: Geographic Information Systems and cartographic Modelling. Prentice Hall, Englewood Cliffs, New Jersey. E.P. Baltsavias, S. 70
