Big Data Analytics for Detailed Urban Mapping
Mihai Datcu Daniela Molina Espinoza, Octavian Dumitru, Gottfried Schwarz
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 2
Big Data: The German EO Digital Library
The data access
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 3
Information vs. Data
TerraSAR-X 11-OCT-2008
512x512 pixels
ERS1 24-JUL-1992
512x512 pixels
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 4
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 5
EOLib: Earth Observation image Librarian
EOLib is a modular system composed of several components: PGS in blue and new EOLib in orange
EOLib offers mining/search services for accessing the image archive
EOLib generates semantic descriptions of the image content
D. Espinoza-Molina and M. Datcu, “Earth-Observation Image Retrieval Based on Content, Semantics, and Metadata,” IEEE TGARS, vol. 51, no. 11, pp. 5145-5159, 2013.
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 6
EOLib: Data Mining and KDD new components
Data Model Generation Data Mining DataBase Query Engine Visual Data Mining Knowledge Discovery in
Databases Epitome Generation
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 7
Data Model Generation
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 8
TerraSAR-X L1b product
Metadata Extraction
Image Tiling
Quick –looks
generation
Primitive Feature
extraction
Create the product model
Data Model Generation
TerraSAR-X image Tiles with different size Primitive features: Gabor filter and weber local descriptor
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 9
Data Mining Database
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 10
Data Mining Data Base
It is a relational database DMDB comprises about
800 processed products 8. millions of tiles 20 thousand metadata entries. 106 semantic labels
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 11
Query Engine
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 12
Query Engine
Met
adat
a • Coordinates (lat/lon) • Incidence angles • Acquisition time • Pixel spacing • Number of
columns/rows • sensor • Mission • orbits
Sem
antic
s • Agriculture • Cropland • Rice plantation…..
• Bare ground • Cliff • Desert…..
• Forest • Forest coniferous • Forest mixed….
• Urban area • Commercial areas • High density residential
areas….
Metadata parameter based on XML annotation file of TerraSAR-X L1b products
Semantic parameters based on EO Taxonomy
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 13
Query Engine: Examples
Example of query: Storage tanks and Medium density urban area are the query parameters
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 14
Visual Data Mining
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 15
Visual Data Mining
Provides a projection of the entire database
Representation of the data in the 3D space (dimensionality reduction)
Interactive exploration and analysis of very large, high complexity data sets
This allows the user: To browse the image
archive To find scenes of interest
Semantically consistent groups may appear inside the data
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 16
Knowledge Discovery in Databases
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 17
KDD used to define semantic annotations of the image content.
Interactive search supported by relevance feedback mechanisms
Goals is to build a model which performs the mapping between low-level image descriptors (primitive features ) and high-level image concepts (semantics)
Knowledge Discovery in Databases
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 18
KDD: GUI
Classification SVM with RF
Annotated category
Tiles Collections
Work Flow:
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 19
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 20
Cascaded Active Learning Le
vel 0
: 200
x200
pix
els
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 21
Cascaded Active Learning Le
vel 1
: 100
x100
pix
els
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 22
Cascaded Active Learning Le
vel 2
: 50x
50 p
ixel
s
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 23
Cascaded Active Learning
Level 0
200x200 pixels
Level 1
100x100 pixels
Level 2 50x50 pixels
Refugee camp in Jordan
Semantic Tents Sand category
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 24
Cascaded Active Learning
Level 0
200x200 pixels
Level 1
100x100 pixels
Level 2 50x50 pixels
Semantic Storage tanks Industrial buildings category
. . .
. . .
Petroleum storage area near Riffa, Bahrain
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 25
Ontology
SAR images
Features Features Features Features Features Features Features Features Features
Classification
Category 1 Category 2 Category 4 Category 3 Category n
Primitivefeatures
Patches
Tiling
High density residential areas
Airport - Runways Boats Agriculture
Railways tracks
Semantic catalogue
Annotation
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 26
Content Semantic Annotation
Proposed three-level annotation scheme
Settlements • Inhabited built-up areas
o High density residential areas
…….. • Uninhabited built-up areas
o Skyscrapers …….. Industrial production areas
• Industrial facilities o Industrial buildings
…….. • Industrial storage areas
o Depots and dumps …….. Military facilities
• Air force facilities …….. Agriculture
• Greenhouses …….. Natural vegetation
• Mixed forest ……..
Transport • Airports
o Runways ……..
• Roads o Streets and roads
…….. • Railways
o Railway tracks ……..
• Bridges and tunnels o Bridges and fly-overs
…….. • Ports and shipbuilding
facilities o Harbour infrastructure
…….. • Water vessels
o Small vessels (boats) …….. Bare ground
• Mountain …….. Water bodies
• Buoys ……..
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 27
Content Semantic Annotation
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 28 28
Semantic catalogues
-Bangkok (Thailand); -Shenyang (China); -Nazca Lines (Peru); -Havana (Cuba); -Venice (Italy); -Vasteras (Sweden); -Oran (Algeria); -Bogota (Columbia) …
350 cities 850 classes
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 29
Results: Venice
Investigated area - Venice, Italy Validation – our results were compared for the same area with CORINE Land Cover (CLC)
categories.
TSX image
Further validation – our results to be compared with Urban Atlas categories.
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 30
Results: Venice
Our classification – 17 categories versus CLC – 10 categories CORINE Land Cover (CLC)
our classification !!! bridges, buoys, and sea categories of our proposed annotation method are included in marine waters – coastal lagoons in the case of CLC
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 31
Results: Venice
Data analysis Percentage of patches per semantic category for Venice and a typical patch per category
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 32
Results: Venice
Quantitative results Precision / recall per semantic category for Venice
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 33
1 HS TerraSAR-X Scene = up to10 000 image patches (100 x 100 m)
SCENE CATEGORIES & INFORMATION CONTENT: BUCHAREST
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 34
Evaluation
Evolution of precision/recall results among four categories (storage tanks, ships, ocean, and industrial areas) out of seven for all levels (left side) and for the finest-level (right side).
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 35 Vortrag > Autor > Dokumentname > Datum
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 36
Disaster effects analysis The damages in the agriculture can be clearly seen by comparing the classification in pre disaster image (left figure) with the post disaster image (right figure).
Agriculture
Bridges
Aquaculture
H. Voltage poles
Flooded areas
Bridges
Debris
H. Voltage poles
TerraSAR-X scene before Tsunami – 20.10.2010 TerraSAR-X scene after Tsunami – 12.03.2011
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 37
Data Analytics
Institut für Methodik der Fernerkundung bzw. Deutsches Fernerkundungsdatenzentrum
Folie 38
Operational Data Mining, Visual Data Mining, KDD used to define semantic annotations of the image content.
Interactive search supported by active learning mechanisms More than 1000 detailed categories of buildup scenes
Time Series Exploration and Analysis
Big Data
Conclusions
Slide Number 1Big Data: The German EO Digital LibraryInformation vs. DataSlide Number 4EOLib: Earth Observation image LibrarianEOLib: Data Mining and KDD new componentsData Model GenerationSlide Number 8Data Mining DatabaseData Mining Data BaseQuery EngineQuery EngineQuery Engine: ExamplesVisual Data MiningVisual Data MiningKnowledge Discovery in DatabasesSlide Number 17KDD: GUISlide Number 19Cascaded Active LearningCascaded Active LearningCascaded Active LearningCascaded Active LearningCascaded Active LearningOntologyContent Semantic AnnotationContent Semantic AnnotationSemantic cataloguesResults: VeniceResults: VeniceResults: VeniceResults: VeniceSlide Number 33EvaluationSlide Number 35Disaster effects analysis Data AnalyticsSlide Number 38