@@ -31,7 +31,7 @@ Die Kalibrierung erfolgt anhand des Welt Ankers und eins Vive Trackers.
...
@@ -31,7 +31,7 @@ Die Kalibrierung erfolgt anhand des Welt Ankers und eins Vive Trackers.
Der Welt Anker orientiert sich an dem erkannten Boden sodass die y Achse senkrecht nach oben zeigt.
Der Welt Anker orientiert sich an dem erkannten Boden sodass die y Achse senkrecht nach oben zeigt.
Um die beiden Welten zu synchronisieren wird ein Vive Tracker so platziert, das die beiden Koordinatensysteme übereinstimmen (Siehe Abb. \ref{img:holokalib})
Um die beiden Welten zu synchronisieren wird ein Vive Tracker so platziert, das die beiden Koordinatensysteme übereinstimmen (Siehe Abb. \ref{img:holokalib})
Hierfür wurde an dem Tracker ein 3D gedruckte Hilfe angebraucht um die aktuelle Rotation besser erkennen zu können.
Hierfür wurde an dem Tracker ein 3D gedruckte Hilfe angebraucht um die aktuelle Rotation besser erkennen zu können.
Durch einen Tastenduck auf einen Controller wird die aktuelle Rotation und Position des Trackers in der Unreal Engine gespeichert.
Durch einen Tastenduck auf einen Controller wird die aktuelle Rotation und Position des Trackers in der Unreal Engine gespeichert.
Mit dieser Transformation kann der Strahl der VR Umgebung in das lokale Koordinatensystem des Weltankers transformiert werden.
Mit dieser Transformation kann der Strahl der VR Umgebung in das lokale Koordinatensystem des Weltankers transformiert werden.
\begin{figure}
\begin{figure}
...
@@ -67,10 +67,31 @@ Wird der Controller 2m vom Ursprung weg bewegt, dann bewegt sich der Beam nur um
...
@@ -67,10 +67,31 @@ Wird der Controller 2m vom Ursprung weg bewegt, dann bewegt sich der Beam nur um
In der Implementierung wurde das versucht auszugleichen indem alle Werte die per UDP versendet werden mit dem Faktor 1,025 skaliert wurden.
In der Implementierung wurde das versucht auszugleichen indem alle Werte die per UDP versendet werden mit dem Faktor 1,025 skaliert wurden.
Der Wert wurde experimentell bestimmt.
Der Wert wurde experimentell bestimmt.
Vershciebung
\todo{Bidler}
\todo{Bidler}
\section{Ergebnisse}
\section{Ergebnisse}
Bilder aus Hioloens perspektive
Die Kalibrierung funktioniert, ist aber nicht schnell und fehlerfrei umsetzbar.
Funktioniert gut wenn nach am gemeinsamen Punkt
Bis die Kalibrierung vollständig stimmt muss der Prozess teilweise ein paar mal wiederholt und getestet werden.
Nahe an dem Weltanker erreicht das umgesetzte Tool den gewünschten Effekt den Laser an den Vive Controller zu hängen.
Entfernt man sich von diesem Punkt, wird das Tracking immer schlechter und die Fehler werden sichtbarer.
Für die Evaluation wurde die VR Umgebung verschoben um getrennte Ort zu simulieren.
Damit der Fehler möglichst klein bleibt und keinen großen Einfluss auf die Evaluation hat wurde die Verschiebung so klein wie möglich gehalten (1.5m).
Zukunftstechnologie aber aktuelle Consumer HArdware noch zu schelcht
Virtaul Reality udn Augmendet Reality sind neue und sehr vielversprechende Technologien.
Verbesserung des Lighthouse Trackings
Die Vive und die Hololens sind jeweils die erste Generation und funktionieren für ihren jeweiligen Anwendungszweck sehr gut.
Kienct mit integrierten Vive tracking
Jedoch gibt es in so frühen Produkten einige Probleme.
verbidne mit aktuellen verfahren,-> datena als ausgangsbasis
Die Hololens ist bei längerem Tragen ungewohnt schwer und der Sichtbereich sehr klein.
Hololens ist eigtlich awesome, aber zu schwer zu kleines FOV
Verbindet man die Systeme miteinander dann werden die Ungenauigkeiten im Tracking verstärkt und deutlich sichtbar.
Neue Versionen der Hardware könnten hier aber erhebliche Vorteile bringen
generiertes Mehs besser als Punktwolke+
Kalibrierung Hololens vive
\section{Punktwolke}
tracker mit Markern
Das Vorgestellte Aufnehmen der Punktwolke mit Kinect und Lighthouse Tracking bietet eine gute Grundlage, ist aber zum direkten Verwenden noch zu ungenau.
multiple tracker (dsitanzproblem
Durch Verbesserung der Kalibrierung des Controllers zu Kinect und das Tracking des Controllers könnte das noch besser werden.
Bei der Kalibering zueinander könnte man einen andern Sensor verwenden bei dem die Position im Gehäuse besser dokumentiert ist.
Außerdem könnte ein Vive Tracker anstellte des Controllers besserer Ergebnisse bringen, da der Ursprung des Tackers geschickter liegt.
In Praktischen Anwendungen sollten die Punktwolken Aufnahmen nachbearbeitet werden.
Die einzelnen Teile der Punktwolke haben vergleichsweise kleine Verschiebungen und besitze häufig gemeinsame Flächen.
An diesen könnte im Nachhinein die exakte Punkwolke berechnet werden.
Ein weiterer Kritikpunk aus der Evaluation sind die zu ungenauen Punktwolken und das normale Nutzer es nicht gewöhnt sind mit Punktwolken zu arbeiten.
Generiert man ein Mesh aus der Wolke, dann könnte dies eine verbesserte Darstellung ergeben.
ein weiter Nachteil an den aktuellen Punktwolken ist das diese statisch sind.
Verändert der Lokale Nutzer den betrachtete Bereich dann erhält der Experte darüber keine Infos.
Ist die Aufnahmetechnik performant genug könnte man dem Lokalen Nutzer in regelmäßig nuee Aufnahmen machen lassen.
Alternativ man positioniert mehrere Kinects aus verschidenen Richtungen im Raum, sodass die Area of Intreast von allen benötigten Richtungen gescannt wird.
Diese Daten könnten live in die VR Umgebung gestreamt und visualisiert werden.
Mit einer live Punktwolke kann das Objekt in der Evaluation auch verändert werden.
Problematisch könnte die Verdeckung durch den Lokalen Nutzer sein.
\section{Vive und Hololens Kalibrierung}
Die Kalibrierung von Vive zu Hololens bringt einige Probleme.
Hier gibt es an einigen stellen Verbesserungspotetial.
Die einfache Lösung wäre die Hololens selber mit einem Tracker zu versehen und man erhält eine dauerhaft sich selber aktualisieren gemeinsamen Punkt.
Damit eliminiert man die Ungenauigkeit aus dem HoloLens Tracking.
Das Problem das das Lighthouse Tracking nicht Längen getreu ist wird dabei nicht gelöst.
Eine weiter Möglichkeit wäre es Vive Tracker mit Markern zu versehen.
Diese können dann mit der HoloLens erkannt werden und in dem Koordinatensystem der HoloLens platziert werden.
Damit umgeht man um einen den menschlichen Kalibrierfehler Fehler und wenn man mehrere Tracker mit Markern verwendet erhält man die Längen in der Hololens und der Vive
Mit dieser Information kann man die exakte Längenverzerrung ausrechnen und beseitigen.
\section{Evaluation}
Das verwendete Evaluatiosnzenario war relativ einfach, sehr abhängig vom Tracking, der Kalibrierung und den jeweiligen Probanden.
Bei weiteren Untersuchungen könnte man die Schwierigkeit anheben.
Um Ungenauigkeiten im Tracking auszugleichen könnte man ein größeres Objekt verwenden als Duplos.
Eine Möglichkeit wäre es einen ca 1m großen Würfel auf jeder Seite mit farbigen Schachbrettmustern zu versehen.
bei groß genugen Feldern sollten Trackingungenauigkeiten ein kleineres Problem darstellen.
Jedoch muss sich bei dem Szenario überlegt werden wie das Vorwissen dem Experten vermittelt wird.
In VR ist das relativ einfach möglich durch Highlights oder Pfeile die zusätzlich eingeblendet werden, im Referenzsznairo ist dies schwieriger.
\section{Interaktionswerkzeuge}
Beim Zusammenspiel im VR und AR könnten auch noch mehr Interaktionstechniken Evaluiert werden.
Bisher hat der Lokale Nutzer keine Möglichkeit dem Experten etwas zu zeigen.
Die einfachste Lösung hierfür wäre dem Lokalen Nutzer selbst einen Conrolelr zu geben mit dem er auf das Objekt zeigen kann.
Alternativ könnte auf die Klick geste der Hololens zurückgegriffen werden.
Klickt der Lokale Nutzer in der Welt etwas an so wird die Linie zwischen Kopf und der Klickposition in der VR Umgebung visualisiert.
Eine weiter Hilfreiche Ergänzung könnte das Visualisieren von Avataren in VR und AR sein.
Allein die Visualisierung der aktuellen Kopfposition (Headsets) des Partners könnte darüber Aufschluss geben, was dieser gerade betrachtet.
Eine Weitere Interaktionsmöglichkeit wäre das plaziern von 3D Objektenbzw Hologrammen in der Welt.
Der Experte hätte damit z.B. die Möglichkeit Referenzobjekte direkt darzustellen.
Bei animierten Hologrammen könnten so direkt Montageschritte visualisert werden.
\newcommand{\mytitle}{\iflanguage{english}{Remote Assistance and Collaboration with 3D Point Clouds}{Fernunterstützung und Zusammenarbeit mit 3D Punktwolken}}
\newcommand{\mytitle}{\iflanguage{english}{Fernunterstützung und Zusammenarbeit mit 3D Punktwolken}{Fernunterstützung und Zusammenarbeit mit 3D Punktwolken}}%Remote Assistance and Collaboration with 3D Point Clouds
