@@ -9,13 +9,11 @@ Bei synchronisierten Welten zwischen VR und AR sollte dieser Strahl auch in der
...
@@ -9,13 +9,11 @@ Bei synchronisierten Welten zwischen VR und AR sollte dieser Strahl auch in der
\section{Unreal Engine 4 und HoloLens}
\section{Unreal Engine 4 und HoloLens}
Es gibt keinen Offiziellen Support der HoloLens für dei Unreal Engine 4.
Es gibt keinen Offiziellen Support der HoloLens für dei Unreal Engine 4.
Aktuell wird das einwickeln für die neue AR Plattform nur in Unity unterstützt.
Aktuell wird das einwickeln für die neue AR Plattform nur in Unity unterstützt.
Microsoft hat auf Github einen Fork der Unreal Engine \todo{cite} in dem Support für die Universel Windows Plattform (UWP)\todo{glossar} enthalten ist.
Microsoft hat auf Github einen Fork der Unreal Engine cite{UWP} in dem Support für die Universel Windows Plattform (UWP)\todo{glossar} enthalten ist.
Jedoch gab es Probleme das Projekt zu packen, sodass es auf die HoloLens geladen werden kann.
Jedoch gab es Probleme das Projekt zu packen, sodass es auf die HoloLens geladen werden kann.
Deshalb wurde für die AR Implementierung Unity verwendet.
Deshalb wurde für die AR Implementierung Unity verwendet.
...
@@ -24,48 +22,55 @@ Deshalb wurde für die AR Implementierung Unity verwendet.
...
@@ -24,48 +22,55 @@ Deshalb wurde für die AR Implementierung Unity verwendet.
Die HoloLense Applikation in Unity ist einfach gehalten worden und die notwendige Logic wurde in der VR Applikation in Unreal umgesetzt.
Die HoloLense Applikation in Unity ist einfach gehalten worden und die notwendige Logic wurde in der VR Applikation in Unreal umgesetzt.
Zunächst setzt man in der HoloLens einen Welt Anker in den Raum.
Zunächst setzt man in der HoloLens einen Welt Anker in den Raum.
Weltanker dienen als besonders wichtiger Punkte und das System soll diesen Punkt immer tracken und konstant halten.
Weltanker dienen als besonders wichtiger Punkte und das System soll diesen Punkt immer tracken und konstant halten.
Die Unreal Enginesendet regelmäßig einen JSON formatierten String per UDP an die Hololens in dem Start- und Enpunkt des aktullen Lasers enthalten sind.
Die Unreal Engine sendet jedem Frame einen JSON formatierten String per UDP an die Hololens in dem Start- und Enpunkt des aktullen Lasers enthalten sind.
Diese werden anschließen relativ zum Welt Anker visualisiert.
Diese werden anschließen in der Hololens relativ zum Welt Anker visualisiert.
\section{Kalibrierung}
\section{Kalibrierung}
Die Kalibrierung erfolgt anhand des Welt Ankers und eins Vive Trackers.
Die Kalibrierung erfolgt anhand des Welt Ankers und eins Vive Trackers.
Der Welt Anker orientiert sich an dem erkannten Boden sodass die y Achse senkrecht nach oben zeigt.
Der Welt Anker orientiert sich an dem erkannten Boden sodass die y Achse senkrecht nach oben zeigt.
Um die beiden Welten zu synchronisieren wird ein Vive Tracker so platziert, das die beiden Koordinatensysteme übereinstimmen.
Um die beiden Welten zu synchronisieren wird ein Vive Tracker so platziert, das die beiden Koordinatensysteme übereinstimmen (Siehe Abb. \ref{img:holokalib})
Hierfür wurde an dem Tracker ein 3D gedruckte Hilfe angebraucht um die aktuelle Rotation besser erkennen zu können.
Durch einen Tastenduck auf einen Controller wird die aktuelle Rotation und Position des Trackers in der Unreal Engine gespeichert.
Durch einen Tastenduck auf einen Controller wird die aktuelle Rotation und Position des Trackers in der Unreal Engine gespeichert.
Mit dieser Transformation kann der Strahl der VR Umgebung in das lokale Koordinatensystem des Weltankers transformiert werden.
Mit dieser Transformation kann der Strahl der VR Umgebung in das lokale Koordinatensystem des Weltankers transformiert werden.
\caption{Mixed Reality Capture der Hololens. Zu sehen ist das Koordinatenkruz und der Vive Tracker. Am Tracker ist das 3D gedruckte Hilfe zu sehen. }
\end{center}
\end{figure}
Welt Anker
verscheiobbar im Debug Modus
Eine Achse Senkrecht zum Boden
Vive Trakcer an Postion und roatioon des Welt anker
speichern auf Knopfdruck der Transformation des Trakcer Oringins
Senden oper UDP
inverse Transofrmation origin
\subsection{Kalibrierungsfehler}
\subsection{Kalibrierungsfehler}
Diese Art der Klibrierung ist einfach, aber an mehrerehn stellen Fehelranfällig mit der aktuellen Hardware.
Das erste Problem ist die menschliche Ungenauigkeit.
Den Tracker muss exakt an die richtige Postion mit der richtigen Rotation gelegt werden.
Dabei ist das Hologram direkt über dem Tracker, verdeckt diesen und erschwert damit das exakte Positionieren
Insbesondere die Rotation ist bei der Rotation ein Problem.
Eine kleiner Rotationsfehler wirkt sich weiter entfernt vom Ursprung stark auf die Kallibrierung aus.
Zum Beispiel bringt ein Fehler von 1\degree bei 2m Distanz eine Verschiebung von 3,4cm $(distance (rotate(1^{\circ}, (2,10))(2,0))$.
\todo{check distance}
Zu den Menschlichen Fehlern kommen Ungenauigkeiten vom Vive Tracking und dem Hololens Tracking.
Zum einen verschiebt sich der Hololens Ursprung manchmal leicht wenn er nicht direkt angeschaut wird.
Durch erneutes Ansehen der Ursprungsumgebung fängt sich dieser meistens wieder und wird zurück auf die Ursprüngliche Position gesetzt.
Aber es konnten sehr vereinzelnd Dauerhafte Verschiebungen beobachtet werden.
Im Extrafall waren ca.10cm nach unten zu beobachten.
Ein Weiterer Faktor sind die Ungenauigkeiten im Vive Tracking.
Insbesondere sind hierbei die Längen unterscheide zwischen Echtwelt und Virtueller Welt gewesen.
In dem verwendeten Setup wurde ein 2m Zollstock mit einem Vive Controller vermessen.
Dabei war die in VR gemessene Distanz 1,98m.
Dieser Fehler wirkt sich direkt auf das Zusammenspiel der Vive und Hololens aus.
Wird der Controller 2m vom Ursprung weg bewegt, dann bewegt sich der Beam nur um 1,98 in VR udn damit AR und entfernt sich damit von seiner eigentlichen Position.
In der Implementierung wurde das versucht auszugleichen indem alle Werte die per UDP versendet werden mit dem Faktor 1,025 skaliert wurden.
