Mit der wachsenden Komplexität vieler Systeme wird es immer schwieriger diese zu warten und zu reparieren.
In vielen Fällen verfügt ein lokalen Benutzer oder Technikern nicht mehr über das nötige Fachwissen, um ein Problem mit einer Hardware zu lösen und zu beheben.
Mit der wachsenden Komplexität vieler Systeme wird es immer schwieriger, diese zu warten und zu reparieren.
In vielen Fällen verfügt ein lokaler Benutzer oder Technikern nicht mehr über das nötige Fachwissen, um ein Problem mit einer Hardware zu lösen und zu beheben.
Es muss ein spezialisierter Experte hinzugezogen werden, der bei der Lösung des Problems helfen muss.
Experten sind meist nicht vor Ort und müssen entweder anreisen oder remote hinzu geschaltet werden.
Eine Anreise ist zeitaufwändig, teuer und in vielen Fällen deshalb unpraktikabel.
...
...
@@ -12,39 +12,39 @@ Jedoch ist der Experte hierbei an die Perspektive aus dem Stream und den Fotos g
Als Kommunikationsmittel stehen hierbei häufig nur die Sprache und Einzeichnungen in die Bilder zur Verfügung.
In den lenzten Jahren wurden erschwingliche Systeme für immersive Virtual Reality (VR) vorgestellt.
Head Mounted Displays (HMDs) wie die HTC Vive und Oculus Rift bieten erschwingliche und platzsparende Lösungen einen Benutzer in hochqualitative virtuelle Realität eintauchen zu lassen.
Mit der HoloLens hat Microsoft eine Augmented Reality (AR) Brille vorgestellt, mit der es möglich ist, interaktive 3DProjektionen in der direkten Umgebung darzustellen.
Head Mounted Displays (HMDs) wie die HTC Vive und Oculus Rift bieten erschwingliche und platzsparende Lösungen, einen Benutzer in hochqualitative virtuelle Realität eintauchen zu lassen.
Mit der HoloLens hat Microsoft eine Augmented Reality (AR) Brille vorgestellt, mit der es möglich ist, interaktive 3D-Projektionen in der direkten Umgebung darzustellen.
Die Anwendungsfelder dieser Technologien ist vielfältig.
VR kann zum Beispiel eingesetzt werden, um 3DDaten zu visualisieren und zu analysieren.
Die Anwendungsfelder dieser Technologien sind vielfältig.
VR kann zum Beispiel eingesetzt werden, um 3D-Daten zu visualisieren und zu analysieren.
In der Automobilindustrie kann so ein virtueller Prototyp kostengünstig untersucht werden.
Auch die Telepräsenz ist ein mögliches Einsatzgebiet von VRTechnologien.
In einer VR Umgebung können mehrere Nutzer aus verschiedenen entfernten Orten in einer gemeinsamen Welt zusammengebracht werden.
AR Technologien bieten die Möglichkeit zusätzliche Informationen in die echte Welt zu projizieren.
Auch die Telepräsenz ist ein mögliches Einsatzgebiet von VR-Technologien.
In einer VR-Umgebung können mehrere Nutzer aus verschiedenen, entfernten Orten in einer gemeinsamen Welt zusammengebracht werden.
AR-Technologien bieten die Möglichkeit, zusätzliche Informationen in die echte Welt zu projizieren.
Es können klassische Inhalte wie Webseiten, Videos und Bilder überall platziert und abgespielt werden.
So können Informationen wie Anleitungen und Beschriftungen von Maschinen direkt an der richtigen Stelle eingeblendet werden.
Ein weiterer Anwendungsfall für AR Technologien ist das Einblenden von 3D Hologrammen, die die Echtwelt ergänzen.
Ein weiterer Anwendungsfall für AR-Technologien ist das Einblenden von 3D-Hologrammen, die die Echtwelt ergänzen.
So kann zum Beispiel ein Bereich durch eine Markierung hervorgehoben werden oder ein Pfeil direkt auf interessante Stellen weisen.
Ziel dieser Arbeit ist das Zusammenarbeiten eines lokalen Nutzers mit einer AR Brille und eines entfernten Experten in VR zu ermöglichen.
Der lokale Nutzer hat ein Hardwareproblem bei dem Expertenwissen benötigt wird.
Der Experte soll in einer VR Umgebung einen 3D Scan der Hardware sehen und daran seine Analyse vornehmen.
Ziel dieser Arbeit ist, das Zusammenarbeiten eines lokalen Nutzers mit einer AR-Brille und eines entfernten Experten in VR zu ermöglichen.
Der lokale Nutzer hat ein Hardwareproblem, bei dem Expertenwissen benötigt wird.
Der Experte soll in einer VR-Umgebung einen 3D-Scan der Hardware sehen und daran seine Analyse vornehmen.
Anschließend soll der Experte mit dem lokalen Benutzer interagieren.
An der virtuellen Repräsentation kann der Experte Hilfestellungen geben, die dem lokalen Benutzer mit Hilfe von Projektionen in die Echtwelt visualisiert werden.
In dieser Arbeit wird ein Lösungsansatz für das Aufnehmen einer 3D Punktwolke für die Visualisierung in VR vorstellt.
In dieser Arbeit wird ein Lösungsansatz für das Aufnehmen einer 3D Punktwolke zur Visualisierung in VR vorstellt.
Anschließend wird ein Lösungsansatz für die Zusammenarbeit des Experten und des lokalen Benutzers präsentiert und evaluiert.
In einem Szenario wird untersucht, ob die Zusammenarbeit in VR und AR einen Vorteil gegenüber einem Videoanruf bietet.
Hierzu stehen dem Experten die gescannte Punktwolke und eine Zeigegeste in Form eines Laserstrahls zur Verfügung.
Zunächst wird evaluiert, ob die 3D Repräsentation mit einer Punktwolke Vorteile oder Nachteile gegenüber 2D Bilden bietet.
Hierzu bekommt der Experte eine Aufgabe, bei der er mit der Punktwolke, bzw. den Bildern etwas in dem Objekt erkennen muss.
Des weiteren wird evaluiert, ob das vorgestellte Interaktionskonzept zwischen dem Experten und dem lokalen Nutzer Vorteile oder Nachteile bietet.
Zunächst wird evaluiert, ob die 3D Repräsentation mit einer Punktwolke Vorteile oder Nachteile gegenüber 2D-Bildern bietet.
Hierzu bekommt der Experte eine Aufgabe, bei der er mit der Punktwolke, \bzw{} den Bildern etwas in dem Objekt erkennen muss.
Des Weiteren wird evaluiert, ob das vorgestellte Interaktionskonzept zwischen dem Experten und dem lokalen Nutzer Vorteile oder Nachteile bietet.
\section{Aufbau der Arbeit}
Zunächst werden im Kapitel \ref{chapter:02related} theoretische und technisch Grundlagen betrachtet, die für die Entwicklung des Systems benötigt werden.
In Kapitel \ref{chapter:03points} wird eine Aufnahmetechnik von 3DPunktwolken von Objekten vorgestellt.
In Kapitel \ref{chaper:04tiles} stellen wir ein Datenformat zur effizienten und kompakten Speicherung der Punktwolken vor und in Kapitel \ref{chapter:05visualization} wird über die Visualisierung dieser Punktwolken in einer VRUmgebung gesprochen.
Das Kapitel \ref{chapter:06Hololens} befasst sich mit der Synchronisation der VR Umgebung mit der AR Umgebung und Echtwelt.
In Kapitel \ref{chapter:07Evaluation} wird der Aufbau und die Durchführung der Nutzerstudie beschreiben.
In Kapitel \ref{chapter:03points} wird eine Aufnahmetechnik von 3D-Punktwolken von Objekten vorgestellt.
In Kapitel \ref{chaper:04tiles} stellen wir ein Datenformat zur effizienten und kompakten Speicherung der Punktwolken vor und in Kapitel \ref{chapter:05visualization} wird über die Visualisierung dieser Punktwolken in einer VR-Umgebung gesprochen.
Das Kapitel \ref{chapter:06Hololens} befasst sich mit der Synchronisation der VR-Umgebung mit der AR-Umgebung und Echtwelt.
In Kapitel \ref{chapter:07Evaluation} wird der Aufbau und die Durchführung der Nutzerstudie beschrieben.
Anschließend erfolgt die Evaluation der Ergebnisse.
Kapittel \label{chapter:08Ausblick} enthält eine Zusammenfassung der Ergebnisse der Arbeit und einen Ausblick auf zukünftige Erweiterungen und Verbesserungen.
Kapitel \label{chapter:08Ausblick} enthält eine Zusammenfassung der Ergebnisse der Arbeit und einen Ausblick auf zukünftige Erweiterungen und Verbesserungen.
Geprägt wurde der Begriff Virtual Reality (VR) von dem Autor Bamien Broderik in seinem 1982 erschienenen SF-Roman The Judas Mandala\cite{broderick1982judas}.
Geprägt wurde der Begriff Virtual Reality (VR) von dem Autor Bamien Broderik in seinem 1982 erschienenen Science-Fiction-Roman \emph{The Judas Mandala}\cite{broderick1982judas}.
Eine einheitliche Definition des Begriffs gibt es nicht.
Milgram et al. \cite{doi2} definieren eine VR-Umgebung als eine Umgebung in der ein Nutzer komplett in eine künstliche Welt abtaucht.
Dies künstliche Welt kann versuchen die realität zu imitieren, aber kann auch die Grenzen der Realität überschreiten.
Milgram et al. \cite{doi2} definieren eine VR-Umgebung als eine Umgebung, in der ein Nutzer komplett in eine künstliche Welt abtaucht.
Diese künstliche Welt kann versuchen, die Realität zu imitieren, aber kann auch die Grenzen der Realität überschreiten.
Physikalische Gesetze wie Zeit, Gravitation und Materialeigenschaften können verändert und manipuliert werden.
Brooks \cite{799723} definiert eine VR Erfahrung als eine , in der der Benutzer effekitv in eine reagierende virtuelle Welt eintaucht ist.
Das Impliziert eine dynamische Steuerung des Sichtfeldes durch den Nutzer.
Heim \cite{heim2000virtual} definiert Virtual Reality über dei drei ``I''s: Interaktion, Immersion und Informationsintensität.
Die Immersion beschreibt wie stark ein Nutzer in eine virtuelle Welt eintaucht.
Immersion wird laut Heim durch einem Gerät das alle Sinne ausreichend abgeschirmt erreicht, sodass die Person sich fühlt, als wäre sie an einen andern Ort transportiert worden.
Interaktion beschreibt nach Heim die Fähigkeit eines Computers die Perspektive der Szene so schnell anzupassen wie ein Nutzer seine physikalische Position und Perspektive anpassen kann.
Interaktion ist darüber hinaus die Fähigkeit Nutzereingaben zu erkennen und die virtuelle Welt entsprechend in Echtzeit zu ändern \cite{nalbantinteraction}.
Die Informationsintensität ist der Begriff, das eine Birtuelle Welt spezielle Qualitäte mit sich bringen kann, wie Telepräsenz und künstliche Intelligenz.
Durch Konstantes updaten der Informationen wird die Immersion und Interaktion des Systems unterstützt\cite{heim2000virtual}.
VR ermöglicht es Inhalte in 3D darzustellen. Dies kann zu einem besseren Verständnis der Daten führen durch Wahrnehmungsphänomene wie Kopfbewegungsparallaxe, kinetische Tiefenwirkung und Stereopsis\cite{Mine95virtualenvironment}.
So kann ein VR System zum Beispiel zum Training von Personen welche Blick-Inspektionen an Flugzeugen durchführen sollen, genutzt werden. Durhc die VR umgebung kann auf ein echtes Flugzeig verzichtet werden. Dieses System wurde von Vora et al. untersucht \cite{VORA2002559}.
Auch Design und Produktionskosten können durch VR gespart werden. Zum Biepiel kann VR als Werkzeug zur Überprüfung eines Produktiosnprozesses verwendet werden\cite{GOMESDESA1999389}
Brooks \cite{799723} definiert eine VR-Erfahrung als eine, in der der Benutzer effektiv in eine reagierende virtuelle Welt eintaucht.
Das impliziert eine dynamische Steuerung des Sichtfeldes durch den Nutzer.
Heim \cite{heim2000virtual} definiert Virtual Reality über die drei ``I''s: Interaktion, Immersion und Informationsintensität.
Die Immersion beschreibt, wie stark ein Nutzer in eine virtuelle Welt eintaucht.
Immersion wird laut Heim durch ein Gerät, das alle Sinne ausreichend abschirmt, erreicht, sodass die Person sich fühlt, als wäre sie an einen andern Ort transportiert worden.
Interaktion beschreibt nach Heim die Fähigkeit eines Computers, die Perspektive der Szene so schnell anzupassen wie ein Nutzer seine physikalische Position und Perspektive anpassen kann.
Interaktion ist darüber hinaus die Fähigkeit, Nutzereingaben zu erkennen und die virtuelle Welt entsprechend in Echtzeit zu ändern \cite{nalbantinteraction}.
Die Informationsintensität ist der Begriff, dass eine Virtuelle Welt spezielle Qualitäten, wie Telepräsenz und künstliche Intelligenz, mit sich bringen kann.
Durch konstantes Updaten der Informationen unterstützen die Immersion und Interaktion des Systems\cite{heim2000virtual}.
VR ermöglicht es, Inhalte in 3D darzustellen. Dies kann zu einem besseren Verständnis der Daten durch Wahrnehmungsphänomene wie Kopfbewegungsparallaxe, kinetische Tiefenwirkung und Stereopsis führen\cite{Mine95virtualenvironment}.
So kann ein VR-System zum Beispiel zum Training von Personen, die Blick-Inspektionen an Flugzeugen durchführen sollen, genutzt werden. Durch die VR-Umgebung kann auf ein echtes Flugzeug verzichtet werden. Dieses System wurde von Vora et al. untersucht \cite{VORA2002559}.
Auch Design und Produktionskosten können durch VR gespart werden. Zum Beispiel kann VR als Werkzeug zur Überprüfung eines Produktionsprozesses verwendet werden \cite{GOMESDESA1999389}.
Hierbei werden Prototypen in VR visualisiert und müssen nicht mehr gefertigt werden.
Als Schlüsseltechnologien für VR nennt Brooks \cite{799723}Optische, akustische udn haptische Displays, die den Nutzer in die virtuelle Welt eintauchen lassen und die echte Welt ausblenden.
Hierfür wird ein grafisches Rendering System benötigt und ein Tracking System das die aktuelle Position und Orientierung des Kopfes und der Extremitäten des Nutzers bestimmt.
Zusätzlich wird ein System benötigt das die Virtuelle Welt aufbaut und simuliert.
Brooks nennt 2zwei Display Technologien die sich für dei Darstellung von Virtuellen Welten eignen.
Head Mounted Displays (HMD) sind Systeme bei denen sich Bildschirme zur Darstellung der VR Welt direkt vor den Augen des Betrachters befinden und auf dem Kopf getragen werden.
CAVE-artige Systeme haben Projektionsflächen um den Nutzer herum auf denen die Virtuelle Welt dargestellt wird.
Bei aktueller kommerziellen VR Systemen werden fast ausschließlich HMD's verwendet. Diese sind mobiler und günstiger.
CAVE-artige Systeme sind häufig bei Flug und Fahrsimulatoren im Einsatz.
Aktuelle kommerzielle HMDs lassen sich in 2 Gruppen einteilen.
Die Günstigen Systeme sind meistens Halterungen in die ein aktuelles Smartphone eingelegt werden kann (Google Daydream \cite{dayd}, Samsung Gear VR \cite{samsung}, etc.).
Auf dem Display wird nebeneinander für jedes Auge das Bild dargestellt und mit speziellen Linsen so verzerrt, das ein VR Eindruck entsteht.
Durch Sensoren in den Smartphones kann die Kopfbewegung des Nutzers registriert werden und der entsprechende Ausschnitt der VR Welt gezeigt werden.
Interaktionsmöglichkeiten sind der länger Blickkontakt auf ein Objekt oder extra dafür vorgesehene Knöpfe an den Halterungen.
Bei Samsung Gear VR kann zusätzlich eine Controller benutzt werden.
Die Zweite Gruppe der HMDs sind leistungstake Systeme. Hierbei ist das Display fest in dem Headset montiert.
Durch besserer Trackingsysteme wird meist zusätzlich ermöglicht das sich die Nutzer sich nicht nur umschauen kann, sonder auch das die Positon des Kopfes getrackt wird.
Damit steht der Benutzer nicht mehr fest an einem Punkt sonder kann sich frei im Raum bewegen und diese Bewegung wird in die virtuelle Welt übertragen.
Das simuliern der Welt übernimmt hierbei ein stationärer leistungsstarker Computer oder eine Console die per Kabel mit dem HMD verbunden sind.
Die Oculus Rift \cite{occulus} und die Playstation VR \cite{Playst} nutzen für das Tracking ein Kamera System.
Hierzu werden mindesten 2 Kameras genutzt um optische Marker an den HMDS zu registrieren.
Aus den Aufnahmen der Kameras lässt sich die Kopfposition und Orientierung errechnen.
Oculus udn Playstation VR unterstützen das Benutzen von Optisch getrackten Controllern.
Diese ermögliche das Trakcen der Hände in denen sie gehalten werden und bieten zusätzliche Tasten zur Interaktion mit der Virtuellen Welt.
Die HTC Vive\cite{vive} nutzt das dafür entwickelte Lighthouse Trackign System. Durch 2 passive, Laser emittierende, fest montierte Basistationen können die Geräte ihre Position und Rotation im Raum errechnen.
Als Schlüsseltechnologien für VR nennt Brooks \cite{799723}optische, akustische und haptische Displays, die den Nutzer in die virtuelle Welt eintauchen lassen und die echte Welt ausblenden.
Hierfür wird ein grafisches Rendering System benötigt und ein Tracking-System, das die aktuelle Position und Orientierung des Kopfes und der Extremitäten des Nutzers bestimmt.
Zusätzlich wird ein System benötigt, das die virtuelle Welt aufbaut und simuliert.
Brooks nennt zwei Display Technologien, die sich für die Darstellung von virtuellen Welten eignen.
Head Mounted Displays (HMD) sind Systeme, bei denen sich Bildschirme zur Darstellung der VR-Welt direkt vor den Augen des Betrachters befinden und auf dem Kopf getragen werden.
CAVE-artige Systeme haben Projektionsflächen um den Nutzer herum, auf denen die virtuelle Welt dargestellt wird.
Bei aktuellen kommerziellen VR-Systemen werden fast ausschließlich HMDs verwendet. Diese sind mobiler und günstiger.
CAVE-artige Systeme sind häufig bei Flug- und Fahrsimulatoren im Einsatz.
Aktuelle kommerzielle HMDs lassen sich in zwei Gruppen einteilen.
Die günstigen Systeme sind meistens Halterungen, in die ein aktuelles Smartphone eingelegt werden kann (Google Daydream \cite{dayd}, Samsung Gear VR \cite{samsung}, etc.).
Auf dem Display wird nebeneinander für jedes Auge ein Bild dargestellt und mit speziellen Linsen so verzerrt, das ein VR-Eindruck entsteht.
Durch Sensoren in den Smartphones kann die Kopfbewegung des Nutzers registriert und der entsprechende Ausschnitt der VR-Welt gezeigt werden.
Interaktionsmöglichkeiten sind der längere Blickkontakt auf ein Objekt oder extra dafür vorgesehene Knöpfe an den Halterungen.
Bei Samsung Gear VR kann zusätzlich ein Controller benutzt werden.
Die zweite Gruppe der HMDs sind leistungsstarke Systeme. Hierbei ist das Display fest in dem Headset montiert.
Durch besserer Trackingsysteme wird meist zusätzlich ermöglicht, das sich die Nutzer nicht nur umschauen kann, sonder auch das die Position des Kopfes getrackt wird.
Damit steht der Benutzer nicht mehr fest an einem Punkt sondern kann sich frei im Raum bewegen und diese Bewegung wird in die virtuelle Welt übertragen.
Das Simulieren der Welt übernimmt hierbei ein stationärer, leistungsstarker Computer oder eine Konsole, die per Kabel mit dem HMD verbunden sind.
Die Oculus Rift \cite{occulus} und die Playstation VR \cite{Playst} nutzen für das Tracking ein Kamerasystem.
Hierzu werden mindesten zwei Kameras genutzt, um optische Marker an den HMDS zu registrieren.
Aus den Aufnahmen der Kameras lässt sich die Kopfposition und -orientierung errechnen.
Oculus und Playstation VR unterstützen das Benutzen von optisch getrackten Controllern.
Diese ermögliche das Tracken der Hände, in denen sie gehalten werden, und bieten zusätzliche Tasten zur Interaktion mit der virtuellen Welt.
Die HTC Vive\cite{vive} nutzt das dafür entwickelte Lighthouse Tracking System. Durch zwei passive, Laser emittierende, fest montierte Basisstationen können die Geräte ihre Position und Rotation im Raum errechnen.
Es wird ebenfalls ein getrackter Controller pro Hand verwendet. Die Vive und das Lighthouse Tracking System werden im Kapitel \ref{sect:vive} genauer vorgestellt.
Ein Nachteil von HMD's ist der Tragekomfort: Die Dislays sind schwer und durch die Abschirmung der Außenwelt wird es unter den Brillen schnell sehr warm.
Ein Nachteil von HMDs ist der Tragekomfort: Die Displays sind schwer und durch die Abschirmung der Außenwelt wird es unter den Brillen schnell sehr warm.
Ein generelles Problem mit VRTechnologien ist die Motion Sickness.
Ein generelles Problem mit VR-Technologien ist die Motion Sickness.
Die Symptome ähneln einer Seekrankheit, wie Schwindel und Übelkeit.
Effekt stärke und Auftreten ist hierbei stark von dem jeweiligen Nutzer und der VR Welt abhängig.
Deshalb sollten einige Richtlinien beim Entwickeln eines VR Systems eingehalten werden \cite{vrBest}.
Richtlinien sind zum Beispiel das aufrechterhalten einer hohen Framerate (min. 60 FPS),
keine Kameras die vom Virtuellen Körper losgelöst werden und keine unnatürlichen Kamerabewegungen wie ein schüttelnder Kamera bei Explosionen oder beim jedem Schritt des virtuellen Laufens.
Effektstärke und Auftreten sind hierbei stark von dem jeweiligen Nutzer und der VR-Welt abhängig.
Deshalb sollten einige Richtlinien beim Entwickeln eines VR-Systems eingehalten werden \cite{vrBest}.
Richtlinien sind zum Beispiel das Aufrechterhalten einer hohen Framerate (min. 60 FPS), keine Kameras die vom virtuellen Körper losgelöst werden und keine unnatürlichen Kamerabewegungen wie ein Schütteln der Kamera bei Explosionen oder beim jedem Schritt des virtuellen Laufens.
...
...
@@ -74,20 +73,20 @@ keine Kameras die vom Virtuellen Körper losgelöst werden und keine unnatürli
\end{figure}
Nach Milgram et al. \cite{doi2} sind Augmented Reality (erweiterte Realität) und Virtual Reality unterschiedliche Enden des des Reality-VirtualityKontinuums.
Auf der einen Seite des Kontinuums ist eine Umgebung die nur aus echten Objekten besteht. Diesw Welt kann entwader direkt von einer Person betrachtet werde oder durch ein Fenster in dei Welt, wie ein Video Display.
Auf der anderen Seite ist eine Virtuelle Umgebung, die nur aus virtuellen Objekten besteht. Den dazwischenliegenden Bereich stellte einen fließenden Übergang dar der Mixed Reality genannt wird.
Nach Milgram et al. \cite{doi2} sind Augmented Reality (erweiterte Realität) und Virtual Reality unterschiedliche Enden des des Reality-Virtuality-Kontinuums.
Auf der einen Seite des Kontinuums ist eine Umgebung, die nur aus echten Objekten besteht. Diese Welt kann entweder direkt von einer Person betrachtet werden oder durch ein Fenster in die Welt, wie ein Videodisplay.
Auf der anderen Seite ist eine virtuelle Umgebung, die nur aus virtuellen Objekten besteht. Den dazwischenliegenden Bereich stellt einen fließenden Übergang dar, der Mixed Reality genannt wird.
In einer Mixed Reality sind sowohl echte als auch virtuelle Objekte auf einem gemeinsamen Display zu erkennen.
Augmented Reality ist die Integration von digitalen Informationen in die Umgebung des Nutzers in Echtzeit \cite{augmentedR}.
Displays für Augmented Relaity lassen sich in 2 Kategorien unterteilen.
See-trough AR Displays kann der Betrachter durch den Bildschirm hindurchschauen und damit wird die best mögliche Visualisierung der Echtwelt erreicht.
Displays für Augmented Reality lassen sich in zwei Kategorien unterteilen.
See-Trough-AR-Displays kann der Betrachter durch den Bildschirm hindurchschauen und damit wird die best mögliche Visualisierung der Echtwelt erreicht.
Mit den Bildschirmen lässt sich diese Realität erweitern.
Dieses Prinzip verwendet die Microsof Hololens. Der Nutzer trägt ein HMD durch das er hindurchsehen kann und das die Welt durch Hologramme erweitert.
Dieses Prinzip verwendet die Microsoft Hololens. Der Nutzer trägt ein HMD, durch das er hindurchsehen kann und das die Welt durch Hologramme erweitert.
Monitor basierende AR Bildschirme basieren auf dem ``Fenster zu der Welt'' Prinzip. Hierbei werden Computer generierte Bilder in ein Videostream integriert und so die Realität erweitert.
Diese Technologie wird zum Beispiel bei dem Spiel Pokemon GO verwendet \cite{PokemonGO}
Die App nimmt mit der Frontkamera eine Smartphones die Umgebung auf und projiziert ein Pokemon in diese augmented Reality, das es zu fangen gilt.
Monitorbasierte AR-Bildschirme basieren auf dem ``Fenster zu der Welt'' Prinzip. Hierbei werden computergenerierte Bilder in einen Videostream integriert und so die Realität erweitert.
Diese Technologie wird zum Beispiel bei dem Spiel Pok\'{e}mon GO verwendet \cite{PokemonGO}.
Die App nimmt mit der Frontkamera eine Smartphones die Umgebung auf und projiziert ein Pok\'{e}mon, das es zu fangen gilt, in diese Augmented Reality.
...
...
@@ -105,43 +104,43 @@ Da Punktwolken sich häufig nur teilweise überlappen wurden viele Versuche unte
Eine Möglichkeit ist die Feature Erkennung \cite{982886}\cite{4650967} bei denen zuerst ein Bereich ausgewählt wird der in beiden Punktwolken Identisch ist.
Eine Alternative ist das einbeziehen weiterer Informationen zur Regression. So können Farben \cite{603871} und Normalen \cite{normal} das Ergebniss verbessern.
Jedoch sind diese Prozesse Zeit und Rechenaufwändig.
Für die Kinect gibt es kostenlose Tools die Versuchen mit verscheidenen Methoden einen 3DScan anzufertigen.
Das Programm 3DScan der Microsoft Korporation \cite{3DScan} funktioniert in dem man die Kinect lagsam um das Objekt herum bewegt.
Es wird dabei versucht die Kamerabewegung zu errechnen und nach abgeschlossener Aufnahme wird das 3DModell berechnet.
Für die Kinect gibt es kostenlose Tools die Versuchen mit verscheidenen Methoden einen 3D-Scan anzufertigen.
Das Programm 3D-Scan der Microsoft Korporation \cite{3DScan} funktioniert in dem man die Kinect lagsam um das Objekt herum bewegt.
Es wird dabei versucht die Kamerabewegung zu errechnen und nach abgeschlossener Aufnahme wird das 3D-Modell berechnet.
Bewegt man sich zu schnell so bricht der Scan ab und man kann erneut beginnen.
%http://www.kscan3d.com/ -> nicht merh supported :(
\section{ARFernunterstützung}
\section{AR-Fernunterstützung}
In der Literatur gibt es Ansätze wie eine lokaler Nutzer, auch Techniker gennannt, von einem einem entfernten Experten (Subject Matter Expert, SME) unterstützt werden kann.
Ein Ansatz hierbei ist das der Lokale Nutzer einen Videostream aufnimmt.Dieser wird dann vom Experten live editiert und wieder beim lokalen Nutzer angezeigt \cite{Kuzuoka:1992:SWC:142750.142980}.
Eine Erweiterung dieses Prinzips ist von Bauer et al. \cite{806696} vorgestellt worden.
Hierbei wird in einem AR HMD des lokalen Nutzers der 2D Mauszeiger des Experten eingeblendet.
Hierbei wird in einem AR-HMD des lokalen Nutzers der 2D-Mauszeiger des Experten eingeblendet.
Die Position des Mauszeigers ist aber schnell veraltet wenn sich der lokale Nutzer bewegt.
Jedoch sieht der Experte hierbei nur ein 2D Abbild der Realität das für komplexere 3D Aufgaben nicht immer ausreicht.
Jedoch sieht der Experte hierbei nur ein 2D-Abbild der Realität das für komplexere 3D-Aufgaben nicht immer ausreicht.
Christine et al. \cite{Chastine:2008} ermöglichen es dem Experten einen 3 dimensionalen Pfeil in der lokalen Ansicht zu manipulieren.
Jedoch ist das Ausrichten des Pfeil schwierig und zeitintensiv.
Botteccia et al. \cite{Bottecchia:2010} erlauben dem Experten vorgefertigte 3DAnimationen im Sichtfeld des Lokalen Nutzers zu platzieren.
Botteccia et al. \cite{Bottecchia:2010} erlauben dem Experten vorgefertigte 3D-Animationen im Sichtfeld des Lokalen Nutzers zu platzieren.
Dieses Vorgehen dient dazu dem lokalen Nutzer zu demonstrieren wie eine Aufgabe zu lösen ist, jedoch ist dieses Vorgehen wegen den vorgefertigten Animationen nicht sehr flexibel.
Tachia et al. \cite{Tecchia:2012} nutzen statische Tiefensensoren um dynamisch die Umgebung des Experten und des lokalen Nutzers aufzunehmen.
Die 3DSzene des Lokalen Nutzers und die Hände des Experten werden zusammengefügt und beiden Seiten präsentiert.
Die 3D-Szene des Lokalen Nutzers und die Hände des Experten werden zusammengefügt und beiden Seiten präsentiert.
Das erlaubt dem Experten mit Handgesten Hilfestellungen zu geben.
Kurata et al. \cite{1364691} ahbe ein System entwickelt bei dem der lokale Nutzer eine Kamera und einen Laserpointer auf der Schulter trägt.
Der Experte sieht die Umgebung durch die Kamera und kann mit dem Laserpointer einen Point of Interest in der Echten Welt markieren.
Lanir et al. \cite{Lanir:2013:OCP:2470654.2481309} haben dieses Konzept erweitert.
Auf einem beweglichen Roboterarm wurde eine Kamera und ein portabler Beamer befestigt.
Der Experte kann den Roboterarm steuern und so seine Sicht anpassen und mit dem Beamer 2DEinzeichnungen in die Echte Welt projizieren.
Der Experte kann den Roboterarm steuern und so seine Sicht anpassen und mit dem Beamer 2D-Einzeichnungen in die Echte Welt projizieren.
Oda et al. \cite{Oda:2015:VRR:2807442.2807497} haben ein System vorgestellt bei dem der Experte virtueller Replikate manipuliert.
Die Objekte beim Lokalen Nutzer werden durch ein optisches Tracking System lokalisiert.
In einer VRUmgebung werden für einen Experten zugehörige Virtuelle Proxys visualisiert.
Diese Virtuellen Proxys sind vorgefertigte 3DRepräsentationen der Objekte.
In einer VR-Umgebung werden für einen Experten zugehörige Virtuelle Proxys visualisiert.
Diese Virtuellen Proxys sind vorgefertigte 3D-Repräsentationen der Objekte.
Der Experte erklärt dem Lokalen Nutzer wie er die Objekte zusammenzubauen hat.
Hierfür stehen dem Experten Virtuelle Replikate zur Verfügung.
Der Experte kann ein Objekt virtuell kopieren und an die richtige Position setzen.
Der Lokale Benutzer bekommt diese virtuelle Kopie relativ zu den Originalen in seiner ARUmgebung visualisiert.
Der Lokale Benutzer bekommt diese virtuelle Kopie relativ zu den Originalen in seiner AR-Umgebung visualisiert.
...
...
@@ -190,7 +189,7 @@ Hierbei wird das Kabel zwischen dem Headset und dem HMD durch eine kabellose Alt
Die USB Daten werden per WLAN übertragen, das Bild mit einer speziell dafür entwickelten hochfrequenten Funkverbindung und für die Stromversorgung wird eine handelsübliche Powerbank verwendet.
Als Bibliothek zur Kommunikation mit der HTC Vive wird das OpenVR verwendet.
Die OpenVR API von Valve erlaubt es, auf VR Hardware von verschiedenen Herstellern zuzugreifen.
Die OpenVR-API von Valve erlaubt es, auf VR-Hardware von verschiedenen Herstellern zuzugreifen.
Die Genauigkeit des Lighthouse Trackings wurde in einigen Arbeiten untersucht.
Das HMD zittert in Ruhelage mit einer Basistation um 0,3mm und mit 2 Basistation erhöht sich diese Ungenauigkeit auf 2,1mm \cite{lighthouseAccuracy}.
...
...
@@ -217,7 +216,7 @@ Die Präzision des Vive trackings wurde auch untersucht.
\subsection{HoloLens}
Die Microsoft HoloLens \cite{Hololens1} ist eine Augmented Reality Brille, die es erlaubt interaktive Projektionen in der echten Welt darzustellen.
Die Brille funktioniert ohne zusätzliche Hardware wie ein Smartphone oder einen zusätzlichen Computer.
Der Nutzer schaut auf jedem Auge durch einen transparenten Bildschirm, auf denen 3DProjektionen eingeblendet werden.
Der Nutzer schaut auf jedem Auge durch einen transparenten Bildschirm, auf denen 3D-Projektionen eingeblendet werden.
Die Steuerung erfolgt durch die Kopfbewegung, Gesten und Sprachsteuerung.
Die Hololens verfügt über ein inside-out Tracking zur Positionsbestimmung in Räumen.
Als Sensoren werden ein Beschleunigungsensor, ein Gyroskop, ein Magnetometer, eine Tiefenkamera und vier ``environment understanding'' Kameras \cite{Hololens2} verwendet.
Mit der wachsenden Komplexität vieler Systeme wird es immer schwieriger diese zu warten und zu reparieren.
Immer häufiger ist es nötig auf die Unterstützung eines spezialisierten Experten zurückzugreifen.
Immer häufiger ist es nötig, auf die Unterstützung eines spezialisierten Experten zurückzugreifen.
Diese Experten sind jedoch meist nicht vor Ort und müssen entweder Anreisen oder Fernunterstützung bieten.
Videostreams, Anrufe oder Bilder können hierbei verwendet werden sind aber nicht immer ausreichend.
Videostreams, Anrufe oder Bilder können hierbei verwendet werden, sind aber nicht immer ausreichend.
Die zunehmende Verbreitung von kostengünstigen immersiven Virtual Reality (VR) und Augmented Realtiy (AR) Systemen bietet die Möglichkeit alternative Systeme zur Fernuterstützung zu entwickeln.
VR ermöglicht das verlustfreie Anzeigen von 3D Inhalten und führ so zu einem besseren Verständnis der Daten.
AR ermöglicht es die reale Welt mit Projektionen zu erweitern.
Diese Projektionen eignen sich um zum Beispiel um Hilfestellungen bei einer Montage oder Reparatur zu visualisieren.
Die zunehmende Verbreitung von kostengünstigen immersiven Virtual Reality (VR) und Augmented Reality (AR) Systemen bietet die Möglichkeit, alternative Systeme zur Fernuterstützung zu entwickeln.
VR ermöglicht das verlustfreie Anzeigen von 3D-Inhalten und führt so zu einem besseren Verständnis der Daten.
AR ermöglicht es, die reale Welt mit Projektionen zu erweitern.
Diese Projektionen eignen sich zum Beispiel dazu, Hilfestellungen bei einer Montage oder Reparatur zu visualisieren.
In dieser Masterarbeit wird ein System vorgestellt bei dem ein lokaler Benutzer in einer AR Umgebung mit einem Hardwareproblem Unterstützung von einem entfernten Experten in einer VR umgebung bekommt.
Hierzu wird zunächst ein System vorgestellt mit dem der lokale Nutzer einen 3D Punktwolken Scan des Objekts anfertigen kann.
Diese Daten werden beim Experten in einer VRUmgebung visualisiert und der Experte kann sich das Objekt anschauen.
Anschließend wird ein System vorgestellt bei dem der Experte in VR und der Lokalen Nutzer in AR zusammen arbeiten können.
Der Experte kann mit einer Zeigegeste in Form eines Beams auf das gescannte Objekt zeigen und der lokale Nutzer bekommt diesen Beam am Echten Objekt in seine Welt projiziert.
Im Referenzszenario standen dem Experten und lokalen Nutzer ein Vidostream zur Kommunikation zur Verfügung.
In dieser Masterarbeit wird ein System vorgestellt bei dem ein lokaler Benutzer in einer AR-Umgebung mit einem Hardwareproblem Unterstützung von einem entfernten Experten in einer VR-Umgebung bekommt.
Hierzu wird zunächst ein System vorgestellt mit dem der lokale Nutzer einen 3D-Punktwolken-Scan des Objekts anfertigen kann.
Diese Daten werden beim Experten in einer VR-Umgebung visualisiert und der Experte kann sich das Objekt anschauen.
Anschließend wird ein System vorgestellt, bei dem der Experte in VR und der lokalen Nutzer in AR zusammen arbeiten können.
Der Experte kann mit einer Zeigegeste in Form eines Beams auf das gescannte Objekt zeigen und der lokale Nutzer bekommt diesen Beam am echten Objekt in seine Welt projiziert.
Im Referenzszenario standen dem Experten und lokalen Nutzer ein Videostream zur Kommunikation zur Verfügung.
Die Nutzerstudie zeigt das die Visualisierung der Punktwolke im Durchschnitt ein schnelleres Verständnis der Daten ermöglicht, obwohl die Probanden die Interaktion mit einer Punktwolke schwieriger finden als den Umgang mit 2D Bildern.
Die Nutzerstudie zeigt, dass die Visualisierung der Punktwolke im Durchschnitt ein schnelleres Verständnis der Daten ermöglicht, obwohl die Probanden die Interaktion mit einer Punktwolke schwieriger finden als den Umgang mit 2D-Bildern.
Auch bei der Kommunikation zwischen dem Experten und dem lokalen Nutzer war mit dem vorgestellten System eine Verbesserung zu erkennen.
Die Kommunikation war weniger Fehleranfällig und schneller als bei dem Video Szenario.
Das vorgestellte VR/ARSzenario weißt außerdem eine bessere Nutzerzufriedenheit auf.
Insbesondere der Lokale Nutzer mit der VR Brille bewertet die eigene Leistung besser und gibt dabei an weniger Frustriert zu sein.
Die Kommunikation war weniger fehleranfällig und schneller als bei dem Videoszenario.
Das vorgestellte VR/AR-Szenario weißt außerdem eine bessere Nutzerzufriedenheit auf.
Insbesondere der lokale Nutzer mit der VR-Brille bewertet die eigene Leistung besser und gibt dabei an, weniger Frustriert zu sein.
