TP4.1: Modelle und Werkzeuge für Indoor Karten

Teilprojektleitung
Prof. Dr. Dr. h.c. Manfred Broy
Teilprojektleitung
Dr. habil. Christian Prehofer
Bearbeiter
Georgios Pipelidis


Indoor Mapping


Abbildung 1: Standortbasierte Dienste, Robotik, erweiterte Realität und mobile Ad-hoc-Netzwerke sind stark mit der Existenz von Innenraumkarten verbunden.
Der Gebrauch von standortbasierten Dienstleistungen im Außenraum (Englisch: Location Based Services (LBS), z.B. Navigationsgeräte ist in unserem täglichen Leben weit verbreitet Leben. Die Hauptkomponenten eines LBS sind ein Lokalisierungsverfahren und eine Karte. Allerdings verbringen die Menschen etwa 80% ihrer Zeit in Innenraumumgebungen, wo es einen Mangel an Lokalisierungstechnologien und Karten gibt. Der Hauptgrund dafür ist, dass etablierte Lokalisierungstechnologien, wie z. B. GPS, aufgrund des schwachen Signals, das durch die Gebäudewände empfangen wird, keine zuverlässigen Daten im Innenraum liefern können. Darüber hinaus können Innenräume nicht wie Außenräume skalierbar abgebildet werden. Obwohl verschiedene Ansätze für die Innenraum-Lokalisierung auf der Basis verschiedener Technologien wie BLE-Beacons, WiFi RSS, GSM-Antennen, Magnetfeld-Fingerabdruck, Licht, UWB und Koppelnavigation vorgeschlagen wurden, wurde das Problem einer skalierbaren Abbildung nicht effizient bearbeitet. Die Techniken der letzten Jahre zur Innenraum-kartierung durch Crowdsourcing wurden vorgeschlagen, die entweder auf freiwilligen geografischen Informationen, auf Crowdsourcing mit Smartphone-Kameras oder sogar auf der einfachen Bewegung von Menschen in Innenräumen basieren [1], [2], [3]. Das Letztere funktioniert wie folgt: Messungen von eingebetteten mobilen Gerätesensoren werden gesammelt, während sich Benutzer in natürlicher Weise innerhalb von Gebäuden bewegen. Die gesammelten Daten können dann verwendet werden, um die Spuren der Benutzer zu bewerten. Bewegungen können als Bewegungseinschränkungen gesehen werden, während verschiedene Arten von POIs (z. B. Türen, Treppen usw.) als Landmarken in einem SLAM-Algorithmus verwendet werden. Die Spuren bestehen aus verschiedenen Schritten, die, wenn sie durch ihre genauen Standorte kommentiert werden, eine Punktwolke auf der erforderlichen Oberfläche erzeugen können.

Challenges and Objectives


Abbildung 2: Beispiel für eine erweiterte CityGML Detaillierungsstufe 2+ (LoD), welche Informationen über die Anzahl der Etagen und ihrer Höhe trägt.
Das Problem der skalierbaren Kartierung im Freien wurde durch verfügbare skalierbare Technologien (d.h. durch Luftfotographie, Satelliten usw.) erfolgreich gelöst. Leider gibt es keine skalierbare Technologie für die Abbildung von Innenplätzen. Der Hauptgrund hierfür liegt darin, dass es keine genaue Technologie zur Innenraumlokalisierung gibt. Darüber hinaus erfordert die Kombination von Technologien zur Kartierung und Lokalisierung Modelle, die unempfindlich sind gegenüber den Unsicherheiten von dynamischen Ansätzen für die Innenraumkartierung-Mapping. Schließlich sind Innenräume dynamischer als Außenräume, während ihre vertikalen Verbindungen ebenfalls berücksichtigt werden sollten.

Dieses Projekt zielt darauf ab, ein Modell einzuführen, das die Integration von dynamisch generierten, semantisch annotierten Innenraumkarten ermöglicht. Auf diese Weise werden weitere Plattformdienste durch semantische Geoinformationen verbessert. Nach der Einführung eines solchen Modells wird die Integration von existierenden Innenraumkarten zu Dienstleistern ermöglicht. Diese Karten werden bestehenden Standards wie CityGML und IndoorGML folgen. Schließlich wird die homogene B2B-Integration von Innenkarten mit semantischen Beschreibungen ermöglicht (z. B. Abbildung 2).

CityGML LoD2+


Unser Ziel


Abbildung 3: Ein Beispiel für ein Datenflussdiagramm, wie ein dynamischer Abbildungsprozess potenziell realisiert werden könnte. Das Diagramm zeigt den gesamten Informationsfluss als allmähliche Schritte, die mit der Identifizierung von Referenzorten beginnen wie Eingängen oder anderen eindeutig identifizierten Orten, die zu den wesentlichen Übergängen vom Außen- zum Innenraum gehören. Nach erfolgreichem Erhalt eines Referenzstandortes benötigen wir zur Lokalisierung eines Menschen in möglichst Infrastruktur-unabhängiger Weise 01 seine Gehrichtung und 02 seine Schrittlänge. Nach dem erfolgreichen Lokalisieren eines menschlichen Innenraums und der 03 Untersuchung der Eigenschaften der Orte, die er besucht hat, können charakteristische Orte im Innenraum erkannt werden. Zusätzlich kann durch die Kartierung von menschlichen Spuren im Innenraum eine 04 Punktwolke des Gebäudes erzeugt werden. Nachdem diese Punktwolke auf Basis von WiFi-Signalrückstrahlungen von den Wänden segmentiert wurde, können 05 Räume der Struktur erkannt werden, und eine 06 Karte, die die Geometrie des Innenraums beschreibt, entsteht. 07 Durch die Gruppierung der menschlichen Spuren auf der Grundlage ihrer Zeitcharakteristiken kann die 08 Topologie des Innenraums erkannt werden. Schließlich kann eine semantische Karte erzeugt werden, die den Kontext der Person an bestimmten Orten identifiziert..

Aktueller Schwerpunkt

Wir glauben, dass es keine einheitliche Abbildung von Innenräumen geben wird, sondern vielmehr ein vielfältiges Spektrum an Techniken und Dienstleistungen, um Karten und Dienstleistungen für Innenräume benutzerdefiniert aufzubauen [6]. Es ist möglich, dass einige Dienste eigentlich nicht einmal genaue Karten erfordern, wie im Fall eines Dienstes „Bring mich zum Ausgang“ (Englisch: “Take me to the exit“) (Abbildung 4), für den nur Benutzerspuren ausreichend sein können. Wir behaupten auch, dass wir uns in Richtung auf benutzerdefinierte Lösungen für die Kombination von Innenraum-Kartierungstechniken bewegen, um die Genauigkeit zu verbessern und eine Vielzahl von verschiedenen Dienstleistungen zu ermöglichen.

Abbildung 4: [4] Ein Beispiel für einen „Bring mich zum Ausgang“-Dienst (Englisch: Take me to the exit“-service). ariadne, zeigt dem Benutzer den nächsten Ausgang von der U-Bahn-Station zu seinem Ziel, das nächste Abteil zu seinem Ausgang, sowie eine Innenraum-Wegbeschreibung von der U-Bahn-Plattform zum Ausgang.

Ein Beispiel für ein solches Zwischenglied ist die semantische Annotation eines Innenraums. Wir vermuten, dass der Benutzerkontext ortsabhängig ist. Daher könnte die semantische Annotation auf der Grundlage von Benutzeraktivitäten versucht werden. Zum Beispiel kann eine Treppe identifiziert werden, indem die Aktivität „Treppensteigen“ identifiziert wird. Der Benutzerkontext kann auf verschiedene Art und Weise extrahiert werden, indem Kalenderdaten, Ort und Zeit verwendet werden. In unserer Forschung extrahieren wir in opportunistischer Weise den Benutzerkontext über Schlussfolgerungen aus Aktivitäten durch eine mobile Anwendung (Abbildung 5). Die Benutzeraktivitäten werden über Smartphone-Daten erkannt, nachdem diese Daten auf Basis von definierten Bedingungen in Cluster segmentiert wurden.


Abbildung 5: [5] Die Anwendung recordData, deren Ziel es ist, Daten von Benutzer-Smartphones zu sammeln und sie an unseren Server zu liefern. Sie kann die folgende Gruppe von Aktivitäten erkennen: Sitzen, Stehen, Gehen, Treppensteigen aufwärts, Treppensteigen abwärts, Fahrt mit dem Aufzug nach oben, Fahrt mit dem Aufzug nach unten.

Beispielsweise wird (Abbildung 5) die Gehaktivität als starke Störung auf dem Smartphone-Beschleunigungsmesser wahrgenommen, während Sitzen als geringe Störung registriert wird. Zusätzlich ist die Druckableitung beim Treppensteigen aufwärts positiv (da der Luftdruck in der Höhe abnimmt) und beim Treppensteigen abwärts negativ. Der normale Schwerkraftvektor steht beim Sitzen senkrecht auf dem Längsrand des Telefons und beim Stehen parallel. Schließlich kennzeichnet eine Kombination dieser Aktivitäten (z. B. parallel zu der Beschleunigung der Längskantengravitation in Verbindung mit einem abgeleiteten Druckwert verschieden von Null) kompliziertere Aktivitäten, wie die Benutzung des Aufzugs. Die segmentierten Merkmale werden dann zur Klassifizierung verwendet. Schließlich werden Aktivitäten wie Gehen, Sitzen, Stehen, Treppensteigen und die Benutzung des Fahrstuhls erkannt. Wir versuchen, Aktivitäten von mehreren Benutzern zu sichern, basierend auf deren Standort und Eigenschaften und extrahieren Informationen auf einem höheren Level, die den Kontext des Benutzers angeben können.

Die Erfassung von Daten aus Kompass, Beschleunigungssensor, Kreisel, Schrittzähler und Umgebungsdruck, durch die recordData-Anwendung ermöglicht Koppelnavigation. Koppelnavigation ist eine Lokalisierungsmethode, bei der der aktuelle Standort auf der Grundlage der vorherigen Position, der Richtung und der zurückgelegten Entfernung berechnet wird.

Abbildung 6: Segmentierung von Daten zur Aktivitätserkennung. Gelb: Sitzen, Magenta: Stehen, Blau: Gehen, Cyan: Treppensteigen aufwärts, Rot: Treppensteigen abwärts, Grün: Aufzug nach oben, Weiß: Aufzug nach unten.

In Abbildung 7 ist ein solcher Ansatz dargestellt. In dieser Abbildung bilden die schwarzen Linien die Form des Gebäudes. Jeder Punkt ist ein Schritt, der über den Schrittzähler berechnet wurde. Die Position jedes Punktes wurde auf der Grundlage der vorherigen Position, der Kursrichtung – durch die Verbindung von Kompass, Beschleunigungsmesser und Gyroskop – und der zurückgelegten Strecke – geschätzt 0,75 m für geradöiniges Gehen und 0,45 m für Treppen – berechnet. Die Farben der Punkte sind wesentliche Tätigkeiten, in denen Blau für das Gehen auf einer Ebene steht und Rot für das Treppensteigen nach oben. Diese Aktivitäten werden dann zum Speichern der akkumulierten Fehler in der Koppelnavigation verwendet. Am Ende wird als Referenzort der Eingang bestimmt, da die Eingänge dynamisch mit hoher Genauigkeit berechnet werden können.


Abbildung 7: Beispiel für Benutzer-Traces berechnet mit Koppelnavigation, Aktivitätserkennung und Höhenberechnung mit der barometrischen Formel. Blau: Gehen, Rot: Treppensteigen aufwärts.

Aus den gesammelten Spuren kann eine Punktwolke dynamisch erzeugt werden. Durch das Gruppieren dieser Punkte auf Grundlage der Eigenschaften, die durch die Signalstärke an den Kontrollpunkten erhalten wurden, können zelluläre Räume aufgedeckt werden. Der zellulare Raum ist die kleinste Unterteilung des für die Navigation notwendigen Raumes. Unterschiedliche Räume bilden unterschiedliche Muster dieser Daten aufgrund des Rückstrahlungsvermögen des Signals von festen Objekten in diesem Bereich wie Wände, Türen und Fenster.

Schließlich werden mittels geometrischer Algorithmen die Geometrie, die Topologie und die Semantik des Innenraums nach bestehenden Standards wie CityGML, IndoorGML und anderen identifiziert und abgebildet.

Wenn Sie weitere Informationen über dieses Teilprojekt erhalten möchten oder wenn Sie an einer Kooperation interessiert sind, um die Entwicklung von Innenraumkartierung / Lokalisierungs- bzw. Navigationslösungen zu entwickeln, wenden Sie sich bitte an Dr. Christian Prehofer oder Georgios Pipelidis. Motivierte Studenten, die sich für eine Diplomarbeit oder einer Forschungsarbeit unter Anleitung in einem der vorgestellten Themen suchen, sind auch eingeladen, jederzeit mit uns in Kontakt zu treten.

Dead Reckoning


References
[1] G. Pipelidis and C. Prehofer. „Models and Tools for Indoor Maps.“ Digital Mobility Platforms and Ecosystems (2016): 154.
[2] M. Alzantot and M. Youssef, “CrowdInside: Automatic Construction of Indoor Floorplans“, in Proceedings of the 20th International Conference on Advances in Geographic Information Systems, New York, NY, USA, 2012, pp. 99-108.
[3] D. Philipp et al., “Mapgenie: Grammar-enhanced indoor map construction from crowd-sourced data“, in Pervasive Computing and Communications (PerCom), 2014 IEEE International Conference on, 2014, pp. 139-147.
[4] http://ariadne.one
[5] https://play.google.com/store/apps/details?id=com.recordData.basic&hl=en
[6] G. Pipelidis, S. Xiang, and C. Prehofer. “Generation of indoor navigable maps with crowdsourcing“. Proceedings of the 15th International Conference on Mobile and Ubiquitous Multimedia. ACM, 2016.

Eigene Publikationen
[1] G. Pipelidis, X. Su, C. Prehofer, “Generation of indoor navigable maps with crowdsourcing”, 15th International Conference on Mobile and Ubiquitous Multimedia, Rovaniemi, Finland, Dec 12 – Dec 15, 2016
[2] G. Pipelidis, C. Prehofer, I. Gerostathopoulos, “Adaptive Bootstrapping for Crowdsourced Indoor Maps”, 3rd International Conference on Geographical Information Systems Theory, Applications and Management, Porto, Portugal, 27th to 28th April 2017
[3] G. Pipelidis, O. R. Moslehi Rad, D. Iwaszczuk, C. Prehofer, U. Hudentobler, “A Novel Approach for Dynamic Vertical Indoor Mapping through Crowd-sourced Smartphone Sensor Data”, 8th International Conference on Indoor Position Indoor Navigation, 18-09-2017, Sapporo, Japan.