@@ -62,51 +62,51 @@ Diese Aufgabe ist eine eine Farbsequenz von oben nach unten von 4 aufeinanderfol
Am Anfang oder Ende der Farbsequenz ist ein zusätzlicher gesuchter Stein markiert.
Beispiel: Aufgabe aus dem Turmpaar 1: $XXX, Blau, Rot, Grün, Blau$.
Im ersten Schritt sucht der Experte damit den mit XXX markierten Stein.
Im VR Szenario kann er dieses direkt in der Punktwolke, die der Lokale Nutzer vorher aufgenommen hat.
Für das Nicht VR Szenario stehen dem Experten dafür 6 Bilder aus verschieden Perspektiven zur Verfügung, damit er sich vorbereiten kann.
Im VR Szenario kann er dieses direkt in der Punktwolke, die der lokale Nutzer vorher aufgenommen hat.
Für das Nicht VR Szenario stehen dem Experten dafür 6 Bilder aus verschieden Perspektiven zur Vorbereitung zur Verfügung.
Nachdem der Experte den gesuchten Stein und dessen Farbe gefunden hat, soll er diesen dem lokalen Nutzer beschreiben.
In beiden Szenarios dürfen die beiden Probanden miteinander sprechen, aber keinesfalls die ursprüngliche Farbsequenz verraten.
Erlaubt ist damit unter anderem die Farbe des gesuchten Steins oder auch die Position im Turm mitzuteilen.
Im VR Szenario wird dem Experten zusätzlich der Beam angeschaltet mit dem er auf die entsprechende Stelle zeigen kann.
Im VR Szenario wird dem Experten zusätzlich der Beam angeschaltet, mit dem er auf die entsprechende Stelle zeigen kann.
Im Video Szenario wird der Videostream angeschaltet, sodass dieser als Interaktionsmöglichkeit zur Verfügung steht.
Nachdem der Lokale Nutzer den gesuchten Stein erkannt hat liest dieser die Beschriftung vor.
Nachdem der lokale Nutzer den gesuchten Stein erkannt hat, liest dieser die Beschriftung vor.
Der Experte hat selber bestimmt wann er zum nächsten Aufgabenteil voranschreitet.
Nachdem er aus dem Vorbereitungsdaten den Stein erkannt hat drückt er eine Taste (Controller Trigger/ Enter) und bekommt damit zugriff auf den Laserbeam bzw den Videostream.
Der Experte bestimmt selbst, wann er zum nächsten Aufgabenteil voranschreitet.
Nachdem er aus dem Vorbereitungsdaten den Stein erkannt hat, drückt er eine Taste (Controller Trigger/ Enter) und bekommt damit Zugriff auf den Laserbeam bzw. den Videostream.
Wurde das Label vorgelesen kann er erneut mit der gleichen Taste zur nächsten Aufgabe gelangen.
Bei jedem Tastendruck wird die aktuelle Uhrzeit gespeichert und damit können die Zeiten errechnet werden können.
Bei jedem Tastendruck wird die aktuelle Uhrzeit gespeichert. Damit können die Zeiten errechnet werden können.
Der Gesamtablauf der Evaluation erfolge immer im ähnlichen Ablauf.
Vor dem Test wurden der allgemeine Fragebogen ausgefüllt, das grundlegende Szenario erklärt und eine Beispielaufgabe an einem seperaten Turm erklärt.
Vor dem Test wurden der allgemeine Fragebogen ausgefüllt, das grundlegende Szenario erklärt und eine Beispielaufgabe an einem separaten Turm erklärt.
Anschließen wurden die beiden Szenarien evaluiert.
Anschließend wurden die beiden Szenarien evaluiert.
Ein Team startet hierbei entweder mit dem Video Szenario oder dem VR Szanario und einem Turmpaar.
Beim 2. Szenaro wurden dann Rollen getauscht und das andere Turmpaar genutzt um die Ergebnisse nicht zu verfälschen.
Außerdem wurde darauf geachtet das beide Turmpaare in VR und Video verwendet wurden.
Beim 2. Szenario wurden dann Rollen getauscht und das andere Turmpaar genutzt, um die Ergebnisse nicht zu verfälschen.
Außerdem wurde darauf geachtet, dass beide Turmpaare in VR und Video verwendet wurden.
Vor dem VR Szenario wurde kurz die Kalibrierung überprüft.
Der Experte sollte auf die Turmspitzen zeigen und der Lokale Nutzer sollte kurz überprüfen ob der Laserstrahl auch in der Hololens den Turm an der gleichen Stelle schneidet.
War die Versatz zu groß wurde neu kalibriert.
Der Experte sollte auf die Turmspitzen zeigen und der lokale Nutzer sollte kurz überprüfen, ob der Laserstrahl auch in der HoloLens den Turm an der gleichen Stelle schneidet.
War die Versatz zu groß, wurde neu kalibriert.
Nach jedem Szenario wurden die Fragebögen zu dem Test ausgefüllt. Hierbei wurden eigene Fragen, NASA-TLX und der User Experience Questionnaire (UEQ) verwendet.
Abschließend gab es noch einen weiteren Fragebogen mit einer allgemeine Frage und freien Kommentaren.
Um anfängliche Probleme und den Lerneffekt in der Evaluation nicht mit einzubeziehen wurden bei jedem Testlauf die ersten 5 Aufgaben verworfen.
Das heißt es wurden nur die letzten 10 Durchläufe der jeweiligen Szenarien ausgewertet und auf Fehler und Zeit Unterschiede untersucht.
Um anfängliche Probleme und den Lerneffekt in der Evaluation nicht mit einzubeziehen, wurden bei jedem Testlauf die ersten 5 Aufgaben verworfen.
Das heißt, es wurden nur die letzten 10 Durchläufe der jeweiligen Szenarien ausgewertet und auf Fehler und Zeitunterschiede untersucht.
\section{Statistische verfahren}
Für die statistische Auswertung der Nutzerstudie sind einige verfahren notwendig.
\section{Statistische Verfahren}
Für die statistische Auswertung der Nutzerstudie sind einige Verfahren notwendig.
Die Ergebnisse bestehen aus den Antworten der Fragebögen und den automatisierten Zeitmessungen.
Die Fragebögen sind meist ordinal skalierte Daten auf einer Skala von -3 bis 3 bei dem jeder Wert nur einmal vorkommen darf.
Zusätzlich war es den Probanden möglich Freitextanmerkungen zu machen.
Zusätzlich war es den Probanden möglich, Freitextanmerkungen zu machen.
Diese werden bei Relevanz an der entsprechenden Stelle erwähnt.
Für die Ordinal skalierten Daten wird der Median und das 1. und 3. Quartil verwendet. Diese werden in Box-Whisker Plotz dargestellt.
Für die ordinal skalierten Daten wird der Median und das 1. und 3. Quartil verwendet. Diese werden in Box-Whisker Plots dargestellt.
Hierbei ist die Kennzeichnung wie folgt:
\begin{description}
\item[Minimum und Maximum] Whisker
...
...
@@ -114,36 +114,36 @@ Hierbei ist die Kennzeichnung wie folgt:
\item[Median] gepunktete Linie
\item[Mittelwert]Raute
\end{description}
Für metrisch skalierte Daten wir als Maß das arithmetische Mittel, im Folgenden Mittelwert genannt, verwendet. Zusätzlich wird in den Schaubildern die Standartabweichung angegeben.
Für metrisch skalierte Daten wird als Maß das arithmetische Mittel, im folgenden Mittelwert genannt, verwendet. Zusätzlich wird in den Schaubildern die Standartabweichung angegeben.
Um Zusammenhänge in den Daten zu finden und zu analysieren wurden Signifikanzsanalysen der Daten durchgeführt.
Hierfür wird eine Gegenhypothese oder auch Nullhypothese genannt aufgestellt, welche ausdrückt das kein Zusammenhang besteht.
Ein berechnete Testgröße (p-Wert) gibt Aufschluss darüber,w ie wahrscheinlich die Nullhypothese zutrifft.
Liegt der p-WErt unter einem Signifikanzniveau kann die Nullhypothese verworfen werden.
Um Zusammenhänge in den Daten zu finden und zu analysieren, wurden Signifikanzanalysen der Daten durchgeführt.
Hierfür wird eine Gegenhypothese, auch Nullhypothese genannt, aufgestellt, welche ausdrückt, dass kein Zusammenhang besteht.
Eine berechnete Testgröße (p-Wert) gibt Aufschluss darüber, wie wahrscheinlich die Nullhypothese zutrifft.
Liegt der p-Wert unter einem Signifikanzniveau, kann die Nullhypothese verworfen werden.
Für das Signifikanzniveau wird meist ein Wert von 5\% verwendet \cite{Signifikanztests}
Für dei Evaluation wurde deshalb ebenfalls 5\% gewählt.
Für die Evaluation wurde deshalb ebenfalls 5\% gewählt.
In dieser Arbeit wurde der T-Test für die Signifikanzanalyse verwendet.
In dieser Arbeit wurde der T-Test für die Signifikanzanalyse verwendet.
Dieser bietet Verfahren für abhängige (gepaarte) und unabhängige Stichproben.
Abhängige Stichproben liegen vor wenn der Messwiederholung vorliegt, zum Beispiel die Messwerte stammen von der gleichen Person oder bei natürlichen Paaren, d.h. die Messwerte stammen von unterschiedlichen Personen, die zusammengehören.
Abhängige Stichproben liegen vor, wenn Messwiederholung vorliegt, zum Beispiel, falls die Messwerte von der gleichen Person stammen oder bei natürlichen Paaren, d.h. die Messwerte stammen von unterschiedlichen Personen, die zusammengehören. %@@@ ich verstehe die Definition für natürliche Person nicht.
In dieser Evaluation liegt eine Abhängigkeit zwischen dem Experten und dem lokalen Benutzer vor.
Unabhängige Stichproben sind zum Beispiel der Vergleich der beiden Experten zwischen dem VR und Video Szenario.
Die Rollen werden zwischen den Tests gewechselt und damit nimmt jeder Teilnehmer jede Rolle nur einmal an.
Die Rollen werden zwischen den Tests gewechselt und damit nimmt jeder Teilnehmer jede Rolle nur einmal an.%@@@ was genau ist hier unabhängig?
Als Nullhypothese wird in dieser Arbeit verwendet das sich die 2 Stichproben nicht unterscheiden.
In dieser Arbeit wird die Nullhypothese verwendet, dass sich die 2 Stichproben nicht unterscheiden.
Das ist keine gerichtete Hypothese, deshalb wurde der zweiseitige T-Test verwendet.
\section{Probanden und Teams}
Insgesamt wurden die Evaluation mit 13 Teams mit jeweils 2 Personen durchgeführt.
Bei den Versuchen 2 und 5 gab es technische Probleme mit dem VR /AR Setup (große tracking Ungenauigkeiten und Abbrüche) deshalb wurden diese Testläufe komplett aus den Daten gestrichen.
Für die Folgende Evaluation werden nur die Daten der verbleibenden 11 Teams mit insgesamt 22 Personen betrachtet.
An der Studie nahmen 19 männlich und 3 weibliche Probanden teil. Für die Evaluation wird nur die männliche Sprachform verwendet,a lle Asusagen bezeihen sich aber auf beiden Geschlechter.
in der Altersgruppe bis 20 Jahren waren 2 Teilnehmer, von 20-30 17 und in der Altersgruppe von 30-40 Probanden.
6 der Probanden nutzten eine Sehhilfe un 2 gaben an an einer Rot-Grün Schwäche zu leiden.
Aus den freien Antworten geht hervor, das eine Rotgrünschwäche in dem Versuchsaufbau keine Einschränkungen mit sich brachte.
Die Rote und Grüne Farbe der Duplosteine sei kräftig und unterschiedlich genug,sodass diese trotzdem erkennbar waren.
Bei den Versuchen 2 und 5 gab es technische Probleme mit dem VR /AR Setup (große tracking Ungenauigkeiten und Abbrüche). Deshalb wurden diese Testläufe komplett aus den Daten gestrichen.
Für die folgende Evaluation werden nur die Daten der verbleibenden 11 Teams mit insgesamt 22 Personen betrachtet.
An der Studie nahmen 19 männlich und 3 weibliche Probanden teil. Für die Evaluation wird nur die männliche Sprachform verwendet. Alle Aussagen beziehen sich aber auf beiden Geschlechter.
In der Altersgruppe bis 20 Jahren waren 2 Teilnehmer, von 20 bis 30 Jahren 17 Teilnehmer und in der Altersgruppe von 30 bis 40 Probanden. %@@ Wieviel in der letzten Altersgruppe?
6 der Probanden nutzten eine Sehhilfe und 2 gaben an, an einer Rot-Grün Schwäche zu leiden.
Aus den freien Antworten geht hervor, das eine Rot-Grün Schwäche in dem Versuchsaufbau keine Einschränkungen mit sich brachte.
Die rote und grüne Farbe der Duplosteine sei kräftig und unterschiedlich genug, sodass diese trotzdem erkennbar waren.
Jeder Proband wurde nach Erfahrung zu Virtaul Reality und Augmented Realtiy und die dabei verwendeten Systeme gefragt (siehe Box Plot \ref{plot:Erfahrung}).
Dabei ist zu erkennen das viele Personen schon einiges an Erfahrung gesammelt habe.
...
...
@@ -182,7 +182,7 @@ Dieser könnte Einfluss auf das Messergebnis haben.
\subsection{Kommunikation des gesuchten Steins}
Die nächste Aufgabe des Experten war es den gesuchten Stein an de lokalen Nutzer zu Kommunizieren.
Die nächste Aufgabe des Experten war es, den gesuchten Stein an de lokalen Nutzer zu kommunizieren.
Im VR Szanario stand hierfür der Laser Strahl zur Verfügung, und im Video Szenario ein Livestream.
...
...
@@ -192,12 +192,12 @@ Die meisten Teams haben sich bei den ersten Versuchsdurchläufen direkt oder Ind
Häufig wurde links und rechts verwendet, aber auch unterschiedliche Merkmale in den Türmen wie der Turm mit der blauen Spitze oder der Turm mit der Deutschland Flagge.
Links und rechts funktionieren insbesondere dann sehr gut wenn der Nutzer nach jedem vorgelesen Label an seine Ausgangsposition zurückkehrt.
Ansonsten ist diese Bezeichnung teilweise verwirrend für den Experten.
Ändert sich die Ansicht des Lokalen Nutzers ständig, können sich auch die Bezeichner für jeweiligen Türme ändern.
Ändert sich die Ansicht des lokalen Nutzers ständig, können sich auch die Bezeichner für jeweiligen Türme ändern.
Außerdem wackelt die Kamera stark wenn sich der lokalen Nutzer bewegt, zum Beispiel um die Beschriftung vorzulesen.
Deshalb haben einige Teams nach dem initialen einigen über die Bezeichnungen der Türme, den Videostream nicht wirklich betrachtet.
bei andern Teams wurde der Videostream als direktes Feedback benutzt.
Der Lokale Nutzer hat zum Beispiel mit einem Finger auf einen Turm oder Stein gezeigt und nachgefragt ob er das richtig verstanden hat.
Der lokale Nutzer hat zum Beispiel mit einem Finger auf einen Turm oder Stein gezeigt und nachgefragt ob er das richtig verstanden hat.
Dies Info kann der Experte im Video sehen und direkt beantworten.
\subsubsection{VR/AR Strahl}
...
...
@@ -208,7 +208,7 @@ Ein großes Problem mit dem tracking waren kleine konstante Verschiebungen in ei
Bei kleine Verschiebungen wurde dies zwar als störend empfunden, aber wenn bekannt ist wie die Verschreibung ist, dann kann diese im Kopf ausgeglichen werden.
Ein weites Problem das in den freien Texten genannt wurde waren zittrige Hände.
Diese kleinen Bewegungen werden mit übertragen und können dem Lokalen Nutzer das erkennen erschweren.
Diese kleinen Bewegungen werden mit übertragen und können dem lokalen Nutzer das erkennen erschweren.
\subsubsection{Sprachliche Kommunikation}
\input{Charts/wichtigKommunikation}
...
...
@@ -216,13 +216,13 @@ Diese kleinen Bewegungen werden mit übertragen und können dem Lokalen Nutzer d
In beiden Szenarien war es erlaubt frei zu reden und zu kommunizieren.
Lediglich die Aufgabenstellung des Experten war verboten zu sagen.
Im anschließenden Fragebogen wurde gefragt wie wichtig die sprachliche Kommunikation für die jeweilige Person gewesen ist \ref{plot:Kommunikation}.
Zwischen den Lokalen Nutzern in AR und Video r ist hierbei ein signifikanter unterscheide feststellbar.
Die Person in AR findet die Sprache zwar wichtig (Median 2), jedoch unwichtiger als der Lokale Nutzer im Videoszenario.
Zwischen den lokalen Nutzern in AR und Video r ist hierbei ein signifikanter unterscheide feststellbar.
Die Person in AR findet die Sprache zwar wichtig (Median 2), jedoch unwichtiger als der lokale Nutzer im Videoszenario.
Zwischen den Experten ließ sich kein signifikanter Unterschied feststellen, jedoch ist der Durchschnitt im VR Szenario geringer.
Außerdem wurden die Probanden gefragt wie einfach es war den beschriebenen Stein zu finden (siehe Abbildung\ref{plot:Finden}).
Zwischen den Lokalen Nutzern ist kein Unterschied feststellbar.
Zwischen den lokalen Nutzern ist kein Unterschied feststellbar.
Das heißt die sprachliche Kommunikation war unwichtiger, aber das eigentliche Auffinden wurde in beiden Szenarien gleich leicht bewertet.
...
...
@@ -244,20 +244,20 @@ Ist zum Beispiel der Strahl um 1 bis 2 Steine verschoben, dann zeigt dieser in d
Im Video Szenario war ein häufiger Fehler das verwechseln von rechts und links.
Teilweise wurden die Steine richtig beschreiben, aber dann die Beschriftung auf dem anderen Turm vorgelesen.
Der zweite Fall der zu einer Links rechts Verwechslung geführt hat war, dass der Experte eine andere Ansicht in den Bildern gewählt hat, als der Lokale Nutzer in seinem Videostream.
Passt der Experte nicht auf dann beschreibt er rechts links anhand des Bildes, aber der Lokale Nutzer steht auf der falschen Seite.
Der zweite Fall der zu einer Links rechts Verwechslung geführt hat war, dass der Experte eine andere Ansicht in den Bildern gewählt hat, als der lokale Nutzer in seinem Videostream.
Passt der Experte nicht auf dann beschreibt er rechts links anhand des Bildes, aber der lokale Nutzer steht auf der falschen Seite.
\subsubsection{Timings}
\input{Charts/Kommunikatiosnzeit}
Während der Kommunikation zwischen dem Experten und dem Lokalen Nutzer wurde ebenfalls die Zeit gestoppt.
Während der Kommunikation zwischen dem Experten und dem lokalen Nutzer wurde ebenfalls die Zeit gestoppt.
Die Messung beginnt sobald der Experte anfängt zu kommunizieren und endet sobald die Beschriftung vorgelesen wurde.
In Abbildung \ref{plot:KommunikationsZeit} sind die Zeiten abgebildet.
Wie bei der Vorbereitung gab es 6 Gruppen die in VR schneller waren und 5 die in dem Video Szenario schneller waren.
Signifikant schneller war nur Gruppe 13 im Videoszenario.\todo{überprüfen}
Insgesamt war das VR Szenario mit 12s Durchschnittszeit 700ms schneller.
Ein großer Faktor warum bei dieser Messung keine unterscheide festgestellt werden können ist das der Lokale Nutzer nachdem er den Stein erkannt hat noch die zugehörige Beschriftung finden musste.
Ein großer Faktor warum bei dieser Messung keine unterscheide festgestellt werden können ist das der lokale Nutzer nachdem er den Stein erkannt hat noch die zugehörige Beschriftung finden musste.
Dieser Vorgang hat je nach Positionierung der Beschriftung länger gedauert als die eigentliche Kommunikation.
...
...
@@ -273,11 +273,11 @@ Auf die anschließende Gewichtung der Kategorien wurde verzichtet.
Die Ergebnisse wurden als Box-Whisker Plot \ref{plot:TLX} dargestellt.
Zunächst hat der Video Experte eine Signifikant geringer Körperlich Anforderung angegeben als der VR Experte.
Dies ist nicht verwunderlich da der Video Experte nur am PC sitzt, während der VR Experte sich steht und sich frei in der Virtuellen Welt bewegen könnte.
Vergleicht man den VR Experten mit dem Lokalen Nutzer in AR dann gibt es bei Leistung und Frustration einen Signifikaten Unterschied.
Vergleicht man den VR Experten mit dem lokalen Nutzer in AR dann gibt es bei Leistung und Frustration einen Signifikaten Unterschied.
Der AR Benutzer hat die eigene Leistung am besten bewertet und gleichzeitig die geringste Frustration angegeben.
Zusätzlich ist in Augmented Reality im Durchschnitt die geringste geistige Anforderung zu sehen.
Zusammenfassend lässt sich also Sagen das das System für den Lokalen Benutzer mit der HoloLens eine Verbesserung darstellt, obwohl der Strahl trackingbedingt nicht immer ganz korrekt war und diese Fehler vom Lokalen Nutzer ausgeglichen werden mussten.
Zusammenfassend lässt sich also Sagen das das System für den lokalen Benutzer mit der HoloLens eine Verbesserung darstellt, obwohl der Strahl trackingbedingt nicht immer ganz korrekt war und diese Fehler vom lokalen Nutzer ausgeglichen werden mussten.
\input{Charts/UEQ}
...
...
@@ -288,16 +288,16 @@ Der Nutzer beantwortet hierzu 26 Gegensatzpaare von Eigenschaften auf einer Skal
Die 26 Paare werden dann 6 Skalen zugeordnet und ein darüber ein Mittelwert gebildet.
In dem Grafen sind die Werte der Einzelnen Personen zu sehen.
Hier gibt es einige Signifikante unterscheide zwischen dem VR Szenario und dem Video Szenario zu erkennen.
Die Attraktivität, Stimulation und Originalität ist schneitet VR Szenario Szenario wesentlich besser ab wenn man die Experten und die Lokalen Nutzer miteinander vergleicht.
Die Attraktivität, Stimulation und Originalität ist schneitet VR Szenario Szenario wesentlich besser ab wenn man die Experten und die lokalen Nutzer miteinander vergleicht.
Auch zwischen den Experten und dem zugehörigen Technikern gibt es unterscheide.
Im VR Test unterscheiden sich die Werte bei Durchschaubarkeit, Steuerbarkeit Stimulation, und Originalität.
Der Lokale Nutzer bewertet diese besser als der Partner in der VR Umgebung.
Der lokale Nutzer bewertet diese besser als der Partner in der VR Umgebung.
Im Video Test nur bei Steuerbarkeit von dem Techniker besser bewertet worden.
Zusammenfassend ist hier wie beim Nasa TLX zu sehen das der Lokale Nutzer in der AR Umgebung am meisten von einem VR/AR Setup profitiert.
Zusammenfassend ist hier wie beim Nasa TLX zu sehen das der lokale Nutzer in der AR Umgebung am meisten von einem VR/AR Setup profitiert.
Das System wird generell als Attraktiver und Origineller bewertet als ein herkömmlicher Videostream.
...
...
@@ -308,7 +308,7 @@ Das System wird generell als Attraktiver und Origineller bewertet als ein herkö
Nachdem die Teams beide Szenarien durchgeführt haben wurde eine abschließende Frage gestellt.
Es wurde geragt ob es in dem VR Szenario von Vorteil war von der andern Person unabhängig zu sein.
Im Videostream ist der Experte an die Perspektive und die Bewegungen der Kamera, also den Lokalen Nutzer selber gebunden.
Im Videostream ist der Experte an die Perspektive und die Bewegungen der Kamera, also den lokalen Nutzer selber gebunden.
In dem Plot \ref{plot:Perspektive} kann man erkennen das die meisten Nutzer diese Unabhängigkeit als Vorteil gesehen haben.
Die Kamera bewegt sich und zeigt nicht immer den richtigen Bildausschnitt.
...
...
@@ -328,7 +328,7 @@ Steht man senkrecht dazu ist es schwerer zu erkennen wo die genauen Schnittpunkt
