In dieser Arbeit wurde eine Möglichkleit vorgestellt um das zusammenarbeiten eines Lokalen Benutzers mit einem nicht anwesenden Experten an einem Objekt zu realisiernen.
Verwendet wurde dabei die Vive, die Kinect udn die HoloLens.
Hierzu wurde zunächst eine Methode vorgestellt mit einer Kienct und dem Lighthaus Tracking der Vive einen Punktwolkenscan des Objektes anzufertigen.
Der Experte und der lokale Nutzer können dann gemeinsam mit einer Zeigegeste an dem Selben Objekt arbeiten.
In dieser Arbeit wurde eine Möglichkeit vorgestellt, um das Zusammenarbeiten eines lokalen Benutzers mit einem nicht anwesenden Experten an einem Objekt zu realisieren.
Verwendet wurde dabei die Vive, die Kinect und die HoloLens.
Hierzu wurde zunächst eine Methode vorgestellt, mit einer Kinect und dem Lighthaus Tracking der Vive einen Punktwolkenscan des Objektes anzufertigen.
Der Experte und der lokale Nutzer können dann gemeinsam mit einer Zeigegeste an demselben Objekt arbeiten.
Der Experte sieht die 3D Punktwolke und den Beam, wobei der lokale Nutzer den Beam in einer AR Umgebung am echten Objekt eingeblendet bekommt.
Dieses Verfahren und die noch relativ neue Hardware bringt einige Problem mit, jedoch zeigt die Nutzerstudie das ein Zusammenspiel in VR und AR attraktiver, im Durchschnitt schneller und weniger Fehleranfällig ist.
Dieses Verfahren und die noch relativ neue Hardware bringt einige Problem mit, jedoch zeigt die Nutzerstudie, dass ein Zusammenspiel in VR und AR attraktiver, im Durchschnitt schneller und weniger fehleranfällig ist.
Das Vorgestellte Aufnehmen der Punktwolke mit Kinect und Lighthouse Tracking bietet eine gute und schnelle Grundlage für einen 3D Scan, ist aber zum direkten Verwenden noch zu ungenau.
Durch Verbesserung der Kalibrierung des Controllers zu Kinect und das Tracking des Controllers könnte dieses Verfahren eine Ideale Grundlage für schnelle Aufnahmen bieten.
Bei der Kalibering zueinander könnte man einen andern Sensor verwenden bei dem die Position im Gehäuse besser dokumentiert ist.
Das vorgestellte Aufnehmen der Punktwolke mit Kinect und Lighthouse Tracking bietet eine gute und schnelle Grundlage für einen 3D Scan, ist aber zum direkten Verwenden noch zu ungenau.
Durch Verbesserung der Kalibrierung des Controllers zu Kinect und das Tracking des Controllers könnte dieses Verfahren eine ideale Grundlage für schnelle Aufnahmen bieten. %@@@ was meinst du mit Aufnahmen?
Bei der Kalibrierung zueinander könnte man einen andern Sensor verwenden, bei dem die Position im Gehäuse besser dokumentiert ist.
Außerdem könnte ein Vive Tracker anstellte des Controllers besserer Ergebnisse bringen, da der Ursprung des Tackers geschickter liegt.
In Praktischen Anwendungen sollten die Punktwolken Aufnahmen nachbearbeitet werden.
Die einzelnen Teile der Punktwolke haben vergleichsweise kleine Verschiebungen und besitze häufig gemeinsame Flächen.
An diesen könnte im Nachhinein die exakte Punkwolke berechnet werden.
In praktischen Anwendungen sollten die Punktwolkenaufnahmen nachbearbeitet werden. %@@@ automatisch oder von Hand? Im zweiten Fall funktioniert dein Use Case nicht.
Die einzelnen Teile der Punktwolke haben vergleichsweise kleine Verschiebungen und besitzen häufig gemeinsame Flächen.
An diesen könnte im Nachhinein die exakte Punktwolke berechnet werden.
Ein weiterer Kritikpunk aus der Evaluation sind die zu ungenauen Punktwolken und das normale Nutzer es nicht gewöhnt sind mit Punktwolken zu arbeiten.
Generiert man ein Mesh aus der Wolke, dann könnte dies eine verbesserte Darstellung ergeben.
Generiert man ein Mesh aus der Wolke, dann könnte dieses eine verbesserte Darstellung ergeben.
Ein weiter Nachteil an den aktuellen Punktwolken ist das diese statisch sind.
Verändert der Lokale Nutzer den betrachtete Bereich dann erhält der Experte darüber keine Infos.
Ist die Aufnahmetechnik performant genug könnte man dem Lokalen Nutzer in regelmäßig neue Aufnahmen machen lassen.
Alternativ man positioniert mehrere Kinects aus verschiedenen Richtungen im Raum, sodass die Area of Intreast von allen benötigten Richtungen gescannt wird.
Ein weiterer Nachteil an den in dieser Arbeit verwendeten Punktwolken ist, dass diese statisch sind.
Verändert der lokale Nutzer den betrachteten Bereich, dann erhält der Experte darüber keine Infos.
Ist die Aufnahmetechnik performant genug, könnte man dem lokalen Nutzer regelmäßig neue Aufnahmen machen lassen.
Alternativ positioniert man mehrere Kinects aus verschiedenen Richtungen im Raum, sodass die Area of Interest von allen benötigten Richtungen gescannt wird.
Diese Daten könnten live in die VR Umgebung gestreamt und visualisiert werden.
Mit einer live Punktwolke kann das Objekt in der Evaluation auch verändert werden.
Problematisch könnte die Verdeckung durch den Lokalen Nutzer sein.
Problematisch könnte die Verdeckung durch den lokalen Nutzer sein.
Die Kalibrierung von Vive zu HoloLens un die Ungenauigkeiten im Tracking bringen weiter
Hier gibt es an einigen stellen Verbesserungspotenzial.
Die einfache Lösung wäre die HoloLens selber mit einem Tracker zu versehen und man erhält eine dauerhaft sich selber aktualisieren gemeinsamen Punkt.
Die Kalibrierung von Vive zu HoloLens un die Ungenauigkeiten im Tracking bringen weiter %@@@ Satz nich vollständig
Hier gibt es an einigen Stellen Verbesserungspotenzial.
Die einfache Lösung wäre, die HoloLens selber mit einem Tracker zu versehen und man erhält einen dauerhaft sich selber aktualisieren gemeinsamen Punkt.
Damit eliminiert man die Ungenauigkeit aus dem HoloLens Tracking.
Das Problem das das Lighthouse Tracking nicht Längen getreu ist wird dabei nicht gelöst.
Eine weiter Möglichkeit wäre es Vive Tracker mit Markern zu versehen.
Das Problem, dass das Lighthouse Tracking nicht längengetreu ist, wird dabei nicht gelöst.
Eine weitere Möglichkeit wäre es, Vive Tracker mit Markern zu versehen.
Diese können dann mit der HoloLens erkannt werden und in dem Koordinatensystem der HoloLens platziert werden.
Damit umgeht man um einen den menschlichen Kalibrierfehler Fehler und wenn man mehrere Tracker mit Markern verwendet erhält man die Längen in der Hololens und der Vive
Damit umgeht man den menschlichen Kalibrierfehler und wenn man mehrere Tracker mit Markern verwendet, erhält man die Längen in der HoloLens und der Vive.
Mit dieser Information kann man die exakte Längenverzerrung ausrechnen und beseitigen.
Das verwendete Evaluatiosnzenario war relativ einfach, sehr abhängig vom Tracking, der Kalibrierung und den jeweiligen Probanden.
Bei weiteren Untersuchungen könnten komplexere Szenar eine Evaluiert werden um einen Vorteil der VR Umgebung klarer heruaszuarbeiten.
Um Ungenauigkeiten im Tracking auszugleichen könnte man ein größeres Objekt verwenden als Duplos.
Eine Möglichkeit wäre es einen ca 1m großen Würfel auf jeder Seite mit farbigen Schachbrettmustern zu versehen.
Bei groß Feldern sollten Trackingungenauigkeiten ein kleineres Problem darstellen und in einem vergleichbaren Videostream wäre die Orientierung noch schwieriger.
Jedoch muss sich bei dem Szenario überlegt werden wie das Vorwissen dem Experten vermittelt wird.
In VR ist das relativ einfach möglich durch Highlights oder eingeblendete Pfeile, im Referenzsznairo ist dies schwieriger.
Bei weiteren Untersuchungen könnten komplexere Szenarien evaluiert werden, um die Vorteile der VR Umgebung klarer herauszuarbeiten.
Um Ungenauigkeiten im Tracking auszugleichen, könnte man größere Objekte verwenden als Duplos.
Eine Möglichkeit wäre es, einen ca. 1m großen Würfel auf jeder Seite mit farbigen Schachbrettmustern zu versehen.
Bei großen Feldern sollten Trackingungenauigkeiten ein kleineres Problem darstellen und in einem vergleichbaren Videostream wäre die Orientierung noch schwieriger.
Jedoch muss sich bei dem Szenario überlegt werden, wie das Vorwissen dem Experten vermittelt wird. %@@@ Warum ist das anders?
In VR ist das relativ einfach möglich durch Highlights oder eingeblendete Pfeile, im Referenzszenario ist dieses schwieriger.
Beim Zusammenspiel im VR und AR könnten mehr Interaktionstechniken Evaluiert werden.
Bisher hat der Lokale Nutzer keine Möglichkeit dem Experten etwas zu zeigen.
Die einfachste Lösung hierfür wäre dem Lokalen Nutzer selbst einen Controller zu geben mit dem er auf das Objekt zeigen kann.
Alternativ könnte auf die KlickGeste der HoloLens zurückgegriffen werden.
Klickt der Lokale Nutzer in der Welt etwas an so wird die Linie zwischen Kopf und der Klickposition an den Experten übertragen und dort visualisiert.
Beim Zusammenspiel im VR und AR könnten mehr Interaktionstechniken evaluiert werden.
Bisher hat der lokale Nutzer keine Möglichkeit, dem Experten etwas zu zeigen.
Die einfachste Lösung hierfür wäre, dem lokalen Nutzer selbst einen Controller zu geben mit dem er auf das Objekt zeigen kann.
Alternativ könnte auf die Klick-Geste der HoloLens zurückgegriffen werden.
Klickt der lokale Nutzer in der Welt etwas an, so wird die Linie zwischen Kopf und der Klickposition an den Experten übertragen und dort visualisiert.
Eine weiter Hilfreiche Ergänzung könnte das Visualisieren von Avataren in VR und AR sein.
Eine weitere hilfreiche Ergänzung könnte das Visualisieren von Avataren in VR und AR sein.
Allein die Visualisierung der aktuellen Kopfposition (Headsets) des Partners könnte darüber Aufschluss geben, was dieser gerade betrachtet.
Eine Weitere Interaktionsmöglichkeit wäre das platzieren von 3D Objektenbzw Hologrammen in der Welt.
Der Experte hätte damit z.B. die Möglichkeit Referenzobjekte direkt darzustellen.
Eine weitere Interaktionsmöglichkeit wäre das Platzieren von 3D Objekten bzw. Hologrammen in der Welt.
Der Experte hätte damit z.B. die Möglichkeit, Referenzobjekte direkt darzustellen.
Bei animierten Hologrammen könnten so direkt Montageschritte visualisiert werden.
