Damit ein Experte assistierend zugeschaltet werden kann benötigt dieser Informationen zu dem problematischen Objekt.
Diese Daten sollen anschließend in einer VR Umgebung dem Experten präsentiert werden, deshalb sollte die Aufnahme ein 3D Scan sein.
Ziel der Arbeit war es eine Lösung für das Aufnehmen der benötigten 3D Daten zu finden die einfach Bedienbar ist und ohne Aufwendige Nachbearbeitung oder Berechnungen auskommt.
Deshalb wurde sich für die Aufnahme und Visualisierung von 3D Punktwolken entschieden.
Damit ein Experte assistierend zugeschaltet werden kann, benötigt dieser Informationen zu dem problematischen Objekt.
Diese Daten sollen dem Experten anschließend in einer VR Umgebung präsentiert werden. Deshalb sollte die Aufnahme ein 3D Scan sein.
Ziel der Arbeit war es, eine Lösung für das Aufnehmen der benötigten 3D Daten zu finden, die einfach bedienbar ist und ohne aufwendige Nachbearbeitung oder Berechnungen auskommt.
Die Entscheidung fiel auf die Aufnahme und Visualisierung von 3D Punktwolken.
Als Sensor wurde die Kinect ausgewählt. Diese ist günstig, portabel und wird in der Forschung häufig als 3D Sensor eingesetzt.
Die Kinect als Sensor bietet die Möglichkeit aus einzelnen Aufnahmen bestehend aus einem Farbbild und einem Tiefeinbild eine Punktwolke aus der Perspektive der Kinect zu errechnen.
Eine Aufnahme (ein Frame) beinhaltet aber nur alle Informationen die aus der Perspektive der Kamera sichtbar sind.
Das beinhaltet zum einen die Flächen der nächsten Oberfläche.
Die Kinect als Sensor bietet die Möglichkeit, aus einzelnen Aufnahmen, bestehend aus einem Farbbild und einem Tiefeinbild, eine Punktwolke aus der Perspektive der Kinect zu errechnen.
Eine Aufnahme (ein Frame) beinhaltet aber nur alle Informationen, die aus der Perspektive der Kamera sichtbar sind.
Das beinhaltet zum einen die Flächen der nächsten Oberfläche.% @@@ zum anderen fehlt
Dahinterliegende Geometrie wird verdeckt und ist aus einer Perspektive nicht sichtbar(siehe \ref{img:KinectSides} (a)).
Außerdem sind an Kanten meist nicht genügend Informationen in der Aufnahme enthalten sodass seitliche Flächen richtig in Punkte konvertiert werden können.
In vielen Fällen führt das zu falschen und nicht existierenden Flächen der errechneten Punktwolke(siehe \ref{img:KinectSides} (b)).
Diese Informationen aus einer Aufnahme reichen für eine die Visualisierung in VR für den Experten nicht aus.
Das Objekt sollte von allen Seiten gescannt werden damit der Experte frei entscheiden kann von welcher Seite er das Objekt bzw. die Punktwolke betrachtet.
Außerdem sind an Kanten meist nicht genügend Informationen in der Aufnahme enthalten, sodass seitliche Flächen richtig in Punkte konvertiert werden können. %@@@ statt ``sodass'' muss des doch ``damit'' heißen, oder?
In vielen Fällen führt das zu falschen und nicht existierenden Flächen der errechneten Punktwolke(siehe \ref{img:KinectSides} (b)).
Diese Informationen aus einer Aufnahme reichen für die Visualisierung in VR für den Experten nicht aus.
Das Objekt sollte von allen Seiten gescannt werden, damit der Experte frei entscheiden kann, von welcher Seite er das Objekt bzw. die Punktwolke betrachtet.
Um eine Punktwolke zu erhalten die das gesamte Objekt abdeckt, werden mehrere Aufnahmen aus unterschiedlichen Perspektiven gemacht.
Um eine Punktwolke zu erhalten, die das gesamte Objekt abdeckt, werden mehrere Aufnahmen aus unterschiedlichen Perspektiven gemacht.
Diese Aufnahmen müssen aber anschließend richtig zu einer großen Punktwolke zusammengefügt werden.
Eine Möglichkeit 2 Aufnahmen zusammenzufügen ist über die Transformation zwischen den Kamerapositionen.
Mit dieser Transformation lässt sich eine Punktwolke aus einem Frame in das Koordinatensystem einer andern Aufnahme transformieren.
Um diese Transformation zu errechne gibt es einige Ansätze die aber meist rechenaufwändig und fehleranfällig sind.\todo{ref realted work}
In dieser Abriet wurde die Kinect mit dem Lighthouse Tracking der HTC Vive verbunden.
Das Trackingsystem liefert eine globale Position des Kinect Sensor und ermöglicht damit eine einfache Berechnung der relativen Transformation zwischen 2 Kameraperspektiven.
Durch ein globales Tracking zur Aufnahmezeit entfallen nachträgliche Berechnungen um aus den einzelnen Aufnahmen die Kamerapositionen zu errechnen.
Das spart zeit und Rechenleistung und bietet somit eine einfache und schnelle Möglichkeit eine 3D Aufnahme von einem Objekt zu erstellen.
Eine Möglichkeit 2 Aufnahmen zusammenzufügen, ist über die Transformation zwischen den Kamerapositionen.
Mit dieser Transformation lässt sich eine Punktwolke aus einem Frame in das Koordinatensystem einer anderen Aufnahme transformieren.
Um diese Transformation zu errechnen, gibt es einige Ansätze, die aber meist rechenaufwändig und fehleranfällig sind.\todo{ref realted work}
In dieser Arbeit wurde die Kinect mit dem Lighthouse Tracking der HTC Vive verbunden.
Das Trackingsystem liefert eine globale Position des Kinect Sensors und ermöglicht damit eine einfache Berechnung der relativen Transformation zwischen 2 Kameraperspektiven.
Durch ein globales Tracking zur Aufnahmezeit entfallen nachträgliche Berechnungen, um aus den einzelnen Aufnahmen die Kamerapositionen zu errechnen.
Das spart Zeit und Rechenleistung und bietet somit eine einfache und schnelle Möglichkeit eine 3D Aufnahme von einem Objekt zu erstellen.
\begin{figure}
\subfigure[Aufnahme aus Sicht der Kinect ]{\includegraphics[width=0.49\textwidth]{Bilder/1FrameKamera.png}}
\subfigure[Aufnahme von der Seite]{\includegraphics[width=0.49\textwidth]{Bilder/1FrameSeite.png}}
\caption{Aufnahme der Kinect aus verschiedenen Perspektiven. In Bild (a) ist zu erkennen wie die Türme den Hintergrund verdecken. In Bild (b) sind falsche Punkte zu sehen, die durch die Rekonstruktion aus einem 2D Bild entstehen. }
\caption{Aufnahme der Kinect aus verschiedenen Perspektiven. In Bild (a) ist zu erkennen, wie die Türme den Hintergrund verdecken. In Bild (b) sind falsche Punkte zu sehen, die durch die Rekonstruktion aus einem 2D Bild entstehen. }
