Commit 0e0e87ba by wester

todo signifikanztest

parent dde58329
Pipeline #340 passed with stage
in 49 seconds
......@@ -69,7 +69,7 @@ Nachdem der Lokale Nutzer den gesuchten Stein erkannt hat liest dieser die Besch
Der Experte hat selber bestimmt wann er zum nächsten Aufgabenteil voranschreitet.
Nachdem er aus dem Vorbereitungsdaten den Stein erkannt hat drückt er eine Taste (Controller Trigger/ Enter) und bekommt damit zugriff auf den Laserbeam bzw den Videostream.
Wurde das Label vorgelesen kann er erneut mit der gleichen Taste zur nächsten Aufgabe gelangen.
Bei jedem Tastendruck wird ein Timestamp mit dem die Zeiten errechnet werden können.
Bei jedem Tastendruck wird die aktuelle Uhrzeit gespeichert und damit können die Zeiten errechnet werden können.
Der Gesamtablauf der Evaluation erfolge immer im ähnlichen Ablauf.
Vor dem Test wurden der allgemeine Fragebogen ausgefüllt, das grundlegende Szenario erklärt und eine Beispielaufgabe an einem seperaten Turm erklärt.
......@@ -88,9 +88,22 @@ Nach jedem Szenario wurden die Fragebögen zu dem Test ausgefüllt. Hierbei wurd
Abschließend gab es noch einen weiteren Fragebogen mit einer allgemeine Frage und freien Kommentaren.
\section{Statistische verfahren}
Meißt Ordinale Daten ->median QUard
Für die statistische Auswertung der Nutzerstudie sind einige verfahren notwendig.
Die Ergebnisse bestehen aus den Antworten der Fragebögen und den automatisierten Zeitmessungen.
Die Fragebögen sind meist ordinal skalierte Daten auf einer Skala von -3 bis 3 bei dem jeder Wert nur einmal vorkommen darf.
Zusätzlich war es den Probanden möglich Freitextanmerkungen zu machen.
Diese werden bei Relevanz an der entsprechenden Stelle erwähnt.
Für die Ordinal skalierten Daten wird der Median und das 1. und 3. Quartil verwendet. Diese werden in Box-Whisker Plotz dargestellt.
Hierbei ist die Kennzeichnung wie folgt:
\begin{description}
\item[Minimum und Maximum] Whisker
\item[1.\&3. Quartil] Die Box
\item[Median] gepunktete Linie
\item[Mittelwert]Raute
\end{description}
Für metrisch skalierte Daten wir als Maß das arithmetische Mittel, im Folgenden Mittelwert genannt, verwendet. Zusätzlich wird in den Schaubildern die Standartabweichung angegeben.
Zeitdaten metrisch Mittelwert udn Standartabweichung
Signifikanztest
Abhängig paaren aka vr udn ar
......@@ -118,7 +131,7 @@ In der Auswertung werden Boxplots verwendet. Hierbei ist die Kennzeichnung wie f
Verwerfen der ersten 5 Messergebnisse!!!
\section{Probanden}
\section{Probanden und Teams}
Insgesamt wurden die Evaluation mit 13 Teams mit jeweils 2 Personen durchgeführt.
Bei den Versuchen 2 und 5 gab es technische Probleme mit dem VR /AR Setup (große tracking Ungenauigkeiten und Abbrüche) deshalb wurden diese Testläufe komplett aus den Daten gestrichen.
......@@ -156,7 +169,7 @@ In dem Abbildung \ref{plot:Vorberitung} sind die Zeiten eingezeichnet.
Bei 4 Gruppen war der Video Experte schneller als der VR Experte, bei Gruppe 1 auch signifikant schneller.
In den restlichen 7 Gruppen war der VR Experte schneller bei den Gruppen 10 und 13 auch hier signifikant.
Im Durchschnitt über alle Versuche hat der VR Experte 9,9 Sekunden und der Video Experte 11 gebraucht.
Damit ist das Stein finden im Vr Szenario im Durchsnitt 1,1s schneller aber es konnte keine statistische Signifikanz festgestellt werden.\todo{Check}
Damit ist das Stein finden im VR Szenario im Durchschnitt 1,1s schneller aber es konnte keine statistische Signifikanz festgestellt werden.\todo{Check}
Bemerkenswert ist das 5 von 6 Experten, die die Punktwolke kritisiert haben im VR Szenario schneller waren als Ihr Partner als Experte im Video Szenario.
Ein Aspekt auf dem in diesem Test nicht eingegangen wurde ist der jeweilige Experte selber.
Dieser könnte Einfluss auf das Messergebnis haben.
......@@ -221,7 +234,7 @@ Das heißt die sprachliche Kommunikation war unwichtiger, aber das eigentliche A
Wie in der Statistik \ref{plot:Fehler} zu sehen ist wurden kaum Fehler in den letzten 10 Durchläufen gemacht (VR 8/11 Teams Fehlerfrei, Video 6/11 Fehlerfrei)
In den nicht gewerteten ersten 5 Trainingsdurchläufen waren mehr Fehler zu finden.
Im Video Szenario wurde 2 mal 3 Fehler gemacht was auf ein fehlerhafteres Verfahren hinweißt.
Im Video Szenario wurde 2 mal 3 Fehler gemacht was auf eine größere Fehleranfälligkeit hinweist.
Allgemeine Fehlerquellen in beiden Szenarien sind bei dem versuch häufig beim Experten passiert.
Zum Beispiel wurde der letzte Stein der Sequenz beschreiben und nicht der eigentlich gesuchte.
......@@ -250,35 +263,69 @@ Ein großer Faktor warum bei dieser Messung keine unterscheide festgestellt werd
Dieser Vorgang hat je nach Positionierung der Beschriftung länger gedauert als die eigentliche Kommunikation.
\subsection{Unabhängigkeit}
Mießt Positiv
die kamera zeigt nicht dahin wo es gebraucht wird, wacklet, perspektive anders als in den Bidlern
Aber einzelne sehr schelchte bweertungen da es zu fehlern führt
kein gewohntes links rechts mehr
zeigen quer durch den Turm -> erste aufzeigepunkt gemeint, steht auf der andern Siete udn sieht den austritspunkt
todo nachscuane ob hololens da mit raum mesh schneidet
\subsection{NASA TLX und UEQ}
\todo{NASA: legende statt vr und ar drunterzuschrieben, zusätzliche Achsenbeschriftung mti gering und hoch}
\input{Charts/NASATLX}
In der Evaluierung wurden 2 standardisierte Tests verwendet: NASA-TLX und der User Experience Questionnaire (UEQ).
\input{Charts/Unabhaenigkeit}
Beim NASA TLX \cite{doi:10.1177/154193120605000909} werden 6 Kategorien auf einer Skala von 0-100 in 5er Schritten bewertet.
Auf die anschließende Gewichtung der Kategorien wurde verzichtet.
Die Ergebnisse wurden als Box-Whisker Plot \ref{plot:TLX} dargestellt.
Zunächst hat der Video Experte eine Signifikant geringer Körperlich Anforderung angegeben als der VR Experte.
Dies ist nicht verwunderlich da der Video Experte nur am PC sitzt, während der VR Experte sich steht und sich frei in der Virtuellen Welt bewegen könnte.
Vergleicht man den VR Experten mit dem Lokalen Nutzer in AR dann gibt es bei Leistung und Frustration einen Signifikaten Unterschied.
Der AR Benutzer hat die eigene Leistung am besten bewertet und gleichzeitig die geringste Frustration angegeben.
Zusätzlich ist in Augmented Reality im Durchschnitt die geringste geistige Anforderung zu sehen.
Zusammenfassend lässt sich also Sagen das das System für den Lokalen Benutzer mit der HoloLens eine Verbesserung darstellt, obwohl der Strahl trackingbedingt nicht immer ganz korrekt war und diese Fehler vom Lokalen Nutzer ausgeglichen werden mussten.
\todo{Chart UEQ}
\todo{cite UEQ}
Der User Experience Questionnaire (UEQ) ist dau gedacht die Nutzererfahrung zu messen.
Der Nutzer beantwortet hierzu 26 Gegensatzpaare von Eigenschaften auf einer Skala von -3 bis 3.
Die 26 Paare werden dann 6 Skalen zugeordnet und ein darüber ein Mittelwert gebildet.
In dem Grafen sind die Werte der Einzelnen Personen zu sehen.
Hier gibt es einige Signifikante unterscheide zwischen dem VR Szenario und dem Video Szenario zu erkennen.
Die Attraktivität, Stimulation und Originalität ist schneitet VR Szenario Szenario wesentlich besser ab wenn man die Experten und die Lokalen Nutzer miteinander vergleicht.
Auch zwischen den Experten und dem zugehörigen Technikern gibt es unterscheide.
Im VR Test unterscheiden sich die Werte bei Durchschaubarkeit, Steuerbarkeit Stimulation, und Originalität.
Der Lokale Nutzer bewertet diese besser als der Partner in der VR Umgebung.
Im Video Test nur bei Steuerbarkeit von dem Techniker besser bewertet worden.
Zusammenfassend ist hier wie beim Nasa TLX zu sehen das der Lokale Nutzer in der AR Umgebung am meisten von einem VR/AR Setup profitiert.
Das System wird generell als Attraktiver und Origineller bewertet als ein herkömmlicher Videostream.
\subsection{NASA TLX uind UEQ}
\todo{legend stad ver udn ar drunterzuschrieben}
\subsection{Unabhängigkeit}
\input{Charts/NASATLX}
\input{Charts/Unabhaenigkeit}
Nachdem die Teams beide Szenarien durchgeführt haben wurde eine abschließende Frage gestellt.
Es wurde geragt ob es in dem VR Szenario von Vorteil war von der andern Person unabhängig zu sein.
Im Videostream ist der Experte an die Perspektive und die Bewegungen der Kamera, also den Lokalen Nutzer selber gebunden.
In dem Plot \ref{plot:Perspektive} kann man erkennen das die meisten Nutzer diese Unabhängigkeit als Vorteil gesehen haben.
Die Kamera bewegt sich und zeigt nicht immer den richtigen Bildausschnitt.
Aber es gibt auch Bewertungen die diese Unabhängigkeit als sehr schlecht eingestuft haben.
Dies hat 2 in den Bemerkungen genannte Gründe.
Zum einen wird der Strahl in der HoloLens nicht mit der Geometrie geschnitten und endet damit am ersten Schnittpunkt, sondern geht durch das Objekt hindurch.
Stehen Experte und lokaler Nutzer auf unterschiedlichen Seiten des Objekts und der Strahl geht schräg durch das Modell, so zeigt er auf der Austrittsseite einen falschen Schnittpunkt.
Dieser kann zu Verwirrungen frühen.
Ein zweiter Grund ist das wir die gleiche Perspektive gewöhnt sind.
Wenn wir entlang des Strahl schauen ist es einfach er zu erkenne wo er aktuell schneidet.
Steht man senkrecht dazu ist es schwerer zu erkennen wo die genauen Schnittpunkte sind.
\todo(Chart UEQ)
TLX:
Experte median schwieriger
Video experte geringste körüpercliche anstrengung
UEQ
Atraktivität Stimulation Ooginalität in VR besser
durchschaubarkeit, effizez, steuerbarkeitne kein Statisch signifiknter unterschied
trends???
......
\chapter{Ausblick}
\chapter{Fazit und Ausblick}
\label{chapter:08Ausblick}
\todo{fazittttttttttt}
In dieser Arbeit wurde eine Möglichkleit vorgestellt um das zusammenarbeiten eines Lokalen Benutzers mit einem nicht anwesenden Experten an einem Objekt zu realisiernen.
Verwendet wurde dabei die Vive, die Kinect udn die HoloLens.
Hierzu wurde zunächst eine Methode vorgestellt mit einer Kienct und dem Lighthaus Tracking der Vive einen Punktwolkenscan des Objektes anzufertigen.
Der Experte und der lokale Nutzer können dann gemeinsam mit einer Zeigegeste an dem Selben Objekt arbeiten.
Der Experte sieht die 3D Punktwolke und den Beam, wobei der lokale Nutzer den Beam in einer AR Umgebung am echten Objekt eingeblendet bekommt.
Virtaul Reality udn Augmendet Reality sind neue und sehr vielversprechende Technologien.
Die Vive und die Hololens sind jeweils die erste Generation und funktionieren für ihren jeweiligen Anwendungszweck sehr gut.
Jedoch gibt es in so frühen Produkten einige Probleme.
Die Hololens ist bei längerem Tragen ungewohnt schwer und der Sichtbereich sehr klein.
Dieses Verfahren und die noch relativ neue Hardware bringt einige Problem mit, jedoch zeigt die Nutzerstudie das ein Zusammenspiel in VR und AR attraktiver, im Durchschnitt schneller und weniger Fehleranfällig ist.
Verbindet man die Systeme miteinander dann werden die Ungenauigkeiten im Tracking verstärkt und deutlich sichtbar.
Neue Versionen der Hardware könnten hier aber erhebliche Vorteile bringen
\section{Punktwolke}
Das Vorgestellte Aufnehmen der Punktwolke mit Kinect und Lighthouse Tracking bietet eine gute Grundlage, ist aber zum direkten Verwenden noch zu ungenau.
Durch Verbesserung der Kalibrierung des Controllers zu Kinect und das Tracking des Controllers könnte das noch besser werden.
Das Vorgestellte Aufnehmen der Punktwolke mit Kinect und Lighthouse Tracking bietet eine gute und schnelle Grundlage für einen 3D Scan, ist aber zum direkten Verwenden noch zu ungenau.
Durch Verbesserung der Kalibrierung des Controllers zu Kinect und das Tracking des Controllers könnte dieses Verfahren eine Ideale Grundlage für schnelle Aufnahmen bieten.
Bei der Kalibering zueinander könnte man einen andern Sensor verwenden bei dem die Position im Gehäuse besser dokumentiert ist.
Außerdem könnte ein Vive Tracker anstellte des Controllers besserer Ergebnisse bringen, da der Ursprung des Tackers geschickter liegt.
In Praktischen Anwendungen sollten die Punktwolken Aufnahmen nachbearbeitet werden.
......@@ -22,18 +21,18 @@ An diesen könnte im Nachhinein die exakte Punkwolke berechnet werden.
Ein weiterer Kritikpunk aus der Evaluation sind die zu ungenauen Punktwolken und das normale Nutzer es nicht gewöhnt sind mit Punktwolken zu arbeiten.
Generiert man ein Mesh aus der Wolke, dann könnte dies eine verbesserte Darstellung ergeben.
ein weiter Nachteil an den aktuellen Punktwolken ist das diese statisch sind.
Ein weiter Nachteil an den aktuellen Punktwolken ist das diese statisch sind.
Verändert der Lokale Nutzer den betrachtete Bereich dann erhält der Experte darüber keine Infos.
Ist die Aufnahmetechnik performant genug könnte man dem Lokalen Nutzer in regelmäßig nuee Aufnahmen machen lassen.
Alternativ man positioniert mehrere Kinects aus verschidenen Richtungen im Raum, sodass die Area of Intreast von allen benötigten Richtungen gescannt wird.
Ist die Aufnahmetechnik performant genug könnte man dem Lokalen Nutzer in regelmäßig neue Aufnahmen machen lassen.
Alternativ man positioniert mehrere Kinects aus verschiedenen Richtungen im Raum, sodass die Area of Intreast von allen benötigten Richtungen gescannt wird.
Diese Daten könnten live in die VR Umgebung gestreamt und visualisiert werden.
Mit einer live Punktwolke kann das Objekt in der Evaluation auch verändert werden.
Problematisch könnte die Verdeckung durch den Lokalen Nutzer sein.
\section{Vive und Hololens Kalibrierung}
Die Kalibrierung von Vive zu Hololens bringt einige Probleme.
Hier gibt es an einigen stellen Verbesserungspotetial.
Die einfache Lösung wäre die Hololens selber mit einem Tracker zu versehen und man erhält eine dauerhaft sich selber aktualisieren gemeinsamen Punkt.
Die Kalibrierung von Vive zu HoloLens un die Ungenauigkeiten im Tracking bringen weiter
Hier gibt es an einigen stellen Verbesserungspotenzial.
Die einfache Lösung wäre die HoloLens selber mit einem Tracker zu versehen und man erhält eine dauerhaft sich selber aktualisieren gemeinsamen Punkt.
Damit eliminiert man die Ungenauigkeit aus dem HoloLens Tracking.
Das Problem das das Lighthouse Tracking nicht Längen getreu ist wird dabei nicht gelöst.
Eine weiter Möglichkeit wäre es Vive Tracker mit Markern zu versehen.
......@@ -41,29 +40,26 @@ Diese können dann mit der HoloLens erkannt werden und in dem Koordinatensystem
Damit umgeht man um einen den menschlichen Kalibrierfehler Fehler und wenn man mehrere Tracker mit Markern verwendet erhält man die Längen in der Hololens und der Vive
Mit dieser Information kann man die exakte Längenverzerrung ausrechnen und beseitigen.
\section{Evaluation}
Das verwendete Evaluatiosnzenario war relativ einfach, sehr abhängig vom Tracking, der Kalibrierung und den jeweiligen Probanden.
Bei weiteren Untersuchungen könnte man die Schwierigkeit anheben.
Bei weiteren Untersuchungen könnten komplexere Szenar eine Evaluiert werden um einen Vorteil der VR Umgebung klarer heruaszuarbeiten.
Um Ungenauigkeiten im Tracking auszugleichen könnte man ein größeres Objekt verwenden als Duplos.
Eine Möglichkeit wäre es einen ca 1m großen Würfel auf jeder Seite mit farbigen Schachbrettmustern zu versehen.
bei groß genugen Feldern sollten Trackingungenauigkeiten ein kleineres Problem darstellen.
Bei groß Feldern sollten Trackingungenauigkeiten ein kleineres Problem darstellen und in einem vergleichbaren Videostream wäre die Orientierung noch schwieriger.
Jedoch muss sich bei dem Szenario überlegt werden wie das Vorwissen dem Experten vermittelt wird.
In VR ist das relativ einfach möglich durch Highlights oder Pfeile die zusätzlich eingeblendet werden, im Referenzsznairo ist dies schwieriger.
In VR ist das relativ einfach möglich durch Highlights oder eingeblendete Pfeile, im Referenzsznairo ist dies schwieriger.
\section{Interaktionswerkzeuge}
Beim Zusammenspiel im VR und AR könnten auch noch mehr Interaktionstechniken Evaluiert werden.
Beim Zusammenspiel im VR und AR könnten mehr Interaktionstechniken Evaluiert werden.
Bisher hat der Lokale Nutzer keine Möglichkeit dem Experten etwas zu zeigen.
Die einfachste Lösung hierfür wäre dem Lokalen Nutzer selbst einen Conrolelr zu geben mit dem er auf das Objekt zeigen kann.
Alternativ könnte auf die Klick geste der Hololens zurückgegriffen werden.
Klickt der Lokale Nutzer in der Welt etwas an so wird die Linie zwischen Kopf und der Klickposition in der VR Umgebung visualisiert.
Die einfachste Lösung hierfür wäre dem Lokalen Nutzer selbst einen Controller zu geben mit dem er auf das Objekt zeigen kann.
Alternativ könnte auf die Klick Geste der HoloLens zurückgegriffen werden.
Klickt der Lokale Nutzer in der Welt etwas an so wird die Linie zwischen Kopf und der Klickposition an den Experten übertragen und dort visualisiert.
Eine weiter Hilfreiche Ergänzung könnte das Visualisieren von Avataren in VR und AR sein.
Allein die Visualisierung der aktuellen Kopfposition (Headsets) des Partners könnte darüber Aufschluss geben, was dieser gerade betrachtet.
Eine Weitere Interaktionsmöglichkeit wäre das plaziern von 3D Objektenbzw Hologrammen in der Welt.
Eine Weitere Interaktionsmöglichkeit wäre das platzieren von 3D Objektenbzw Hologrammen in der Welt.
Der Experte hätte damit z.B. die Möglichkeit Referenzobjekte direkt darzustellen.
Bei animierten Hologrammen könnten so direkt Montageschritte visualisert werden.
Bei animierten Hologrammen könnten so direkt Montageschritte visualisiert werden.
\todo{cite Virtual Proxy}
......@@ -6,11 +6,11 @@ In deisem Anhang finden Sie das verwendete Tileset der 3D Tiles
\pagebreak
\section{Evaluations Fragebogen}
\todo{mäh}
\begin{figure}
\begin{center}
\label{img:Anfangsfragebogen}
\includegraphics[width=\textwidth]{../Evaluation/Anfangsfragebogen.pdf}
\includepdf[page=1]{../Evaluation/Anfangsfragebogen.pdf}
\caption{Der Anfagsfragebogen}
\end{center}
\end{figure}
......@@ -18,7 +18,7 @@ In deisem Anhang finden Sie das verwendete Tileset der 3D Tiles
\begin{figure}
\begin{center}
\label{img:JedesMal}
\includegraphics[width=\textwidth]{../Evaluation/PDFsam_merge.pdf}
\includepdf[pages={1-4}]{../Evaluation/PDFsam_merge.pdf}
\caption{Der Fragebogen nach jedem Versuchsdurchlauf}
\end{center}
\end{figure}
......@@ -26,7 +26,7 @@ In deisem Anhang finden Sie das verwendete Tileset der 3D Tiles
\begin{figure}
\begin{center}
\label{img:Abschluss}
\includegraphics[width=\textwidth]{../Evaluation/Abschluss.pdf}
\includepdf[page=1]{../Evaluation/Abschluss.pdf}
\caption{Der AbschlussFragebogen}
\end{center}
\end{figure}
\ No newline at end of file
Hololens
controller mi beam
test beam schnittpunkt Box
\begin{landscape}
\begin{figure*}
\caption{NASA-TLX, Zu beachten ist das ein geringer Wert bei Leistung für Gut steht. }
\caption{NASA-TLX,Die Skala geht von Gering (0) bis Hoch (100). Bei Leistung von Gu (0) bis schlecht (100)}
\label{plot:TLX}
\begin{tikzpicture}
\pgfplotstableread{Charts/NASATLX.txt}
......
......@@ -106,3 +106,28 @@
}
@article{doi:10.1177/154193120605000909,
author = {Sandra G. Hart},
title ={Nasa-Task Load Index (NASA-TLX); 20 Years Later},
journal = {Proceedings of the Human Factors and Ergonomics Society Annual Meeting},
volume = {50},
number = {9},
pages = {904-908},
year = {2006},
doi = {10.1177/154193120605000909},
URL = {
https://doi.org/10.1177/154193120605000909
},
eprint = {
https://doi.org/10.1177/154193120605000909
}
,
abstract = { NASA-TLX is a multi-dimensional scale designed to obtain workload estimates from one or more operators while they are performing a task or immediately afterwards. The years of research that preceded subscale selection and the weighted averaging approach resulted in a tool that has proven to be reasonably easy to use and reliably sensitive to experimentally important manipulations over the past 20 years. Its use has spread far beyond its original application (aviation), focus (crew complement), and language (English). This survey of 550 studies in which NASA-TLX was used or reviewed was undertaken to provide a resource for a new generation of users. The goal was to summarize the environments in which it has been applied, the types of activities the raters performed, other variables that were measured that did (or did not) covary, methodological issues, and lessons learned }
}
......@@ -20,6 +20,7 @@
\usepackage{lscape}
\usepackage{pdfpages}
\usepackage{pgfplots}
\pgfplotsset{compat=newest}
\usetikzlibrary{pgfplots.statistics}
......@@ -54,7 +55,7 @@
\newcommand{\mytitle}{\iflanguage{english}{Fernunterstützung und Zusammenarbeit mit 3D Punktwolken}{Fernunterstützung und Zusammenarbeit mit 3D Punktwolken}}%Remote Assistance and Collaboration with 3D Point Clouds
\newcommand{\reviewerone}{Prof. Dr.-Ing. Rainer Stiefelhagen}
\newcommand{\reviewertwo}{XXXX}
\newcommand{\reviewertwo}{Prof. Dr.-Ing. habil. Jurgen Beyerer}
\newcommand{\advisor}{M.Sc. Adrian Hoppe}
\newcommand{\sadvisor}{M.Sc. Sebastian Maier}
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment