F) Wie kann ich den fertigen Fragebogen kontrollieren bzw. testen?

Ein Umfrageprojekt durchzuführen ist eine komplexe Aufgabe, bei der neben Planung, Erstellung des Fragebogens und Auswertung auch vielfältige Qualitätssicherungsaufgaben anfallen. Von der Funktionsfähigkeit einzelner Einstellungen im Fragebogen- Editor bis zum Erscheinungsbild des Fragebogens muss alles überprüft, diskutiert, unter Umständen geändert und vor Beginn der Feldphase unter realen Bedingungen getestet werden. Ein hilfreiches Tutorial: Wie man Projekte testet (Schritt 4)

• Die Funktion Projekttest, mit der automatisch z.B. die Filtersetzung überprüft werden kann.
• Der Konsistenzcheck überprüft die Schlüssigkeit der Konfiguration von Filtern, Ausblendbedingungen, Triggern und Plausichecks.
• Die „Chef-Taste“, mit der Sie beim Testen des Fragebogens Plausichecks und Vollständigkeitschecks überspringen können.
• Ein Runtime-Check überprüft die Bedingungen von LUA-Filtern, Quoten und Triggern während des Umfrageverlaufs.

Neben einer Vielzahl von einzelnen Testfeatures bietet EFS auch Unterstützung bei Arbeits- und Testorganisation:

• Die To-Do-Verwaltung dient zur Erfassung und Verwaltung interner Notizen der Projektverantwortlichen.
• im Pretest-Tool kann man die Kommentare der Tester in der Pretest-Phase.

Die Funktion Projekttest, die Sie im Menü Test und Validierung (früher: Projekt-Checks) finden, erleichtert Ihnen das Testen der Filtersetzung, indem sie automatisch eine große Anzahl von Testdurchläufen simuliert. In der resultierenden Statistik sind Einstellungsprobleme bei Filtersetzung und interner Quotierung leicht erkennbar.
Im Folgenden werden die Nutzungsmöglichkeiten erläutert, die diese Funktion bietet:

• Testdaten erzeugen
• Testdaten interpretieren
• Testdaten löschen

Testdaten erzeugen

Öffnen Sie nach Fertigstellung Ihres Fragebogens das Menü Test und Validierung-> Projekttest an. Sie gelangen zur Eingangsseite des Projekttest-Menüs, die einen Überblick über die im Projekt verwendeten Filter und Variablen gibt.

Klicken Sie die Registerkarte Testdaten erzeugen an, und geben Sie die Bedingungen für die automatisch erzeugten Testläufe ein:

• Geben Sie im Feld „Anzahl der Teilnahmen“ an, wie viele Durchläufe des Fragebogens automatisch generiert werden sollen. Wie viele Durchläufe sinnvoll sind, hängt von der Komplexität des Projekts und der Belastbarkeit des Servers ab.
• Im zweiten Feld können Sie die „maximale Anzahl gesendeter Seiten pro Durchlauf“ vorgeben. Die eingegebene Zahl sollte größer als 0 sein.
• Ist die Option „Testdaten vor dem Ausführen löschen?“ aktiviert, werden in vorhergehenden Durchläufen erzeugte Daten oder automatisch generierte Testteilnehmende gelöscht.

Testdaten interpretieren

Routing-Statistik
Wurden alle Durchläufe erfolgreich beendet? Überprüfen Sie nach dem Testlauf zuerst, ob die Anzahl der beendeten Durchläufe (Dispositionscode 31, 32) der ursprünglich eingegebenen Anzahl der Teilnahmen entspricht.

Öffnen Sie dazu die Registerkarte Routing-Statistik und wählen dann den Link „Alle Datensätze auswerten“.

• Wenn alle Durchläufe erfolgreich beendet wurden, können Sie sich bei Ihrer Analyse auf die Statistik Nur beendete Datensätze auswerten beschränken.
• Wurden Testdurchläufe unterbrochen, sollten Sie zunächst die Ursache der Abbrüche ermitteln. Klicken Sie dazu den Link „Alle Datensätze“ auswerten an. Beachten Sie dabei, dass Abbrüche nicht notwendig problematisch sein müssen.

Feldbericht
Über den Menüpunkt Feldbericht können Sie sich den Feldbericht für die automatisch simulierte Testphase ansehen.

Interne Quotierung
Bei Projekten mit internen Quoten sollten aktuelle Besetzung und Status der Quote unter Fragebogen-Editor->Quoten den Testergebnissen entsprechen.

Testdaten löschen

Die automatisch erzeugten Daten müssen gelöscht werden, wenn Sie die Auswertung von Routing-Statistik und Feldbericht abgeschlossen haben. Andernfalls bleiben die Daten erhalten, gehen in den nächsten Testdurchlauf oder gar in die Auswertung der Feldphase ein und beeinflussen die Resultate. Klicken Sie dazu die Registerkarte Testdaten löschen an und bestätigen anschließend mit Testdaten löschen.

Im Menü „Test und Validierung“ (früher: Projekt-Checks) finden Sie die Funktion Konsistenzcheck. Bei Anklicken dieses Menüpunktes wird in einem zusätzlichen Fenster ein Codebuch geöffnet, das die Bedingungen von Filtern, Ausblendbedingungen, Triggern und Plausichecks anzeigt und Informationen über die Konsistenz der Einstellung enthält.
Ampel-Icons informieren darüber, ob die Einstellung konsistent ist:

• Grün: Die Einstellung ist konsistent (d.h. alle verwendeten Variablen sind wirklich im Projekt vorhanden).
• Gelb: Die Farbe „gelb“ taucht nur bei Filtern auf. Sie signalisiert, dass die Filterbedingungen zwar konsistent sind, der Filter aber noch nicht mit dem Filtertest geprüft wurde.
• Rot: Die Einstellung ist nicht konsistent (d.h. sie greift beispielsweise auf nicht mehr vorhandene Variablen zu).

Je nachdem, unter welcher Fragestellung Sie den Fragebogen in der Testphase durchlaufen, kann es lästig werden, Plausichecks und Vollständigkeitschecks auszufüllen. Die sogenannte Chef-Taste ermöglicht das Überspringen von Plausichecks und Vollständigkeitschecks.
Aktiviert bzw. deaktiviert wird sie über die Drop-Down-Liste „Chef-Taste und Seitenauswahl in der Umfrage“ im Menü Projekteigenschaften auf der Registerkarte Features zur internen Organisation.

Die Funktionsfähigkeit von LUA-Filtern, Quoten und Triggern wird während des Umfrageverlaufs überprüft, d.h. während sich die Teilnehmenden in der Feldphase durch den Fragebogen durchklicken.

• Werden Fehler festgestellt, wird im Umfragemenü ein gut sichtbarer Hinweis angezeigt, Details können Sie in einem Laufzeitfehler-Log einsehen.
• Auch in der Vorschau können Sie die Laufzeitfehler einsehen.
• Optional können Sie sich die Fehlermeldungen auch per Mail zustellen lassen.

Werden bei der Runtime-Prüfung Fehler festgestellt, wird im Umfragemenü ein gut sichtbarer roter Hinweis angezeigt. Um Details einzusehen, öffnen Sie das Menü Test und Validierung->Projektprüfung und klicken den Link im Feld „Fehler während des Umfrageverlaufs“ an.
In einer Tabelle werden für jeden registrierten Laufzeitfehler die Fehlermeldung, die Anzahl der Vorfälle, der Zeitpunkt des letzten Auftretens und die laufende Nummer („lfdn“) des letzten betroffenen Teilnehmernden aufgeführt.

• Über den Link Zum Filter können Sie zur jeweiligen Filterbedingung wechseln.
• Mit dem Alle Fehler löschen-Button können Sie nach Behebung der Fehler das Log zurücksetzen.

Bevor eine Umfrage ins Feld geht, wird sie in der Regel einem Pretest unterzogen. Dabei machen ausgewählte Personen methodische, inhaltliche oder technische Anmerkungen zum Fragebogen. Das Pretest-Feature unterstützt dich und die Testenden beim systematischen Erfassen dieser Pretest-Kommentare. Es ergänzt so den Todo-Marker, mit dessen Hilfe Mitarbeitende mit Benutzerzugang zum Adminbereich ihre Anmerkungen direkt im Fragebogen notieren können.

Ist die Umfrage im Pretest-Modus, wird in der Toolbar oben rechts am Bildschirm das Pretest-Icon in Form von zwei Sprechblasen angezeigt (bis EFS 10.4 bzw. bei klassischem Standardlayout: rechts neben dem Weiter-Button). Mit einem Klick auf dieses Icon kann der oder die Testende ein Popup-Fenster öffnen und einen Pretest-Kommentar eintragen. Bei anonymen Projekten wird ein Feld angeboten, in die Kontaktdaten hinterlassen werden können. Bei allen anderen Projekttypen werden Name und E-Mail-Adresse des kommentierenden Teilnehmenden automatisch aus der Teilnehmerverwaltung übernommen.

Aktiviert bzw. deaktiviert wird die Pretest-Funktion über die Drop-Down-Liste „Pretest-Kommentare in der Umfrage“ im Menü Projekteigenschaften auf der Registerkarte Features zur internen Organisation. 

Durch Auswahl der geeigneten Optionen:

• ausblenden
• für alle Teilnehmenden einblenden
• bei personalisierten Projekten: für Tester einblenden (d.h. Teilnehmende mit Testeraccounts)

kann man selbst steuern, welche Zielgruppen darauf zugreifen dürfen. Nach Aktivierung des Pretest-Modus wird zusätzlich die Option „Bei Pretest-Kommentaren Kontaktinformationen erfassen“ eingeblendet. Ist diese aktiviert, werden die Kontaktdaten der kommentierenden Proband/inn/en erfasst:

• Bei anonymen Projekten wird im Pretest-Fenster ein zusätzliches Feld angeboten, in dem die Proband/inn/en ihre Kontaktdaten hinterlassen können.
• Bei allen anderen Projekttypen werden Name und E-Mail-Adresse automatisch aus der Teilnehmerverwaltung bzw. der Panelistenverwaltung übernommen.

Es ist sinnvoll, für den Pretest das Setzen von Cookies zu de-aktivieren, da man von einem Gerät sonst nicht mehrfach auf den zu testenden Fragebogen zugreifen kann. Das kann aber z. B. sinnvoll sein, wenn man Filter testet und alle Versionen anschauen möchte (dafür ist außerdem die Chef-Taste sinnvoll, s.u.). Man geht dafür wie folgt vor:

1. Projekteigenschaften im Umfragemenü auswählen
2. In den Umfrageeinstellungen auf „Login-Optionen“ klicken
3. Bei der Option „Cookies werden verwendet“ das Häkchen entfernen

Noch ein Tipp: Wenn das Feld ‚Chef-Taste und Seitenauswahl in der Umfrage‘ eingeblendet ist, werden im Pretest-Modus Vollständigkeits- und Plausibilitätschecks übersprungen und man kann die Seiten zum Testen selbst auswählen. Das ist insbesondere bei Experimenten hilfreich, wenn man unterschiedliche Stimulusvarianten anschauen möchte.

Im Dokumentationsbereich des jeweiligen Projekts unter Projekte->{Ausgewähltes Projekt}->Dokumentation->Pretest-Kommentare kann man die Kommentare der Tester einsehen.

Tipp: In der „Erweiterten Suche“, die man mit einem Klick auf den gleichnamigen Link öffnen kann, werden verschiedene Möglichkeiten zum Durchsuchen der Kommentarliste und zum Einschränken der angezeigten Ergebnisse angeboten. Beispielsweise kann nach einem Stichwort aus dem Kommentar oder nach dem Seitentitel gesucht werden. Nach abgeschlossener Suche kann man über Aktivierung der Checkbox im Feld „Alle Auswahlen entfernen“ wieder die komplette Kommentarliste einblenden.

In der Tabelle werden die Pretest-Kommentare angezeigt. Zu jedem Kommentar stehen folgende Zusatzinformationen zur Verfügung:

• ID des Kommentars
• Erstellungsdatum
• Benutzer-ID
• Laufende Nr.: Den Testern werden laufende Nummern zugeordnet.
• Kontaktinformation: Bei personalisierten Projekten werden Name und E-Mail-Adresse der Tester aus der Teilnehmerverwaltung übernommen. Bei einem anonymen Projekt werden Kontaktinformationen angezeigt, wenn die Erfassung aktiviert ist und die Tester Daten eingegeben haben.
• Seiten-ID: ID der Fragebogenseite.
• Seitentitel: Mit einem Klick auf den Seitentitel können Sie die kommentierten Seiten sofort im Fragebogen-Editor öffnen.
• Kommentar
• Sprache: Sprache des getesteten Fragebogens bei mehrsprachigen Projekten.
• Browser: Es wird mitgeloggt, welchen Browser die Tester verwenden. So kann man leicht überprüfen, ob beispielsweise Layout-Tests mit allen wichtigen Browsern durchgeführt wurden oder ob eine Fehlermeldung browserspezifisch ist.
• Status: hier kann man den Pretest-Kommentaren Bearbeitungsstatus zuweisen. Dies erleichtert besonders dann die Koordination, wenn man das Projekt zusammen mit anderen Benutzern vorbereitet. Zur Auswahl stehen die Status „nicht entschieden“, „to do“, „erledigt“, und „nicht relevant“.

Über den Button Pretest-Kommentare als Excel-Datei exportieren kann man die Kommentare herunterladen.

Wenn man den Fragebogen mit den Pretest-Kommentaren ausdrucken möchten, kann man die übliche Druck-Funktion unter Projekte->{Ausgewähltes Projekt}->Druckversion verwenden. Man muss dort lediglich die Checkbox „Pretest-Kommentare einblenden“ anklicken.

Zu dokumentarischen Zwecken, beim Testen oder beim Korrekturlesen wünscht man sich oft, den Fragebogen ausdrucken zu können, um den gesamten Text überschauen zu können. EFS stellt eine HTML-Version des Fragebogens zur Verfügung, die für solche Situationen optimiert ist.

Schritte:

1. Klicken Sie den Menüpunkt Projekte->{Ausgewähltes Projekt}->Druckversion an.
2. In einem neuen Fenster wird eine für den Ausdruck optimierte HTML-Version des Fragebogens ausgegeben.
3. Bei mehrsprachigen Projekten kann man die Sprache wählen und mit Einstellungen speichern aktivieren.
4. Optional kann man verschiedene Zusatzinformationen auswählen und mit Einstellungen speichern einblenden.
5. auf das Drucken-Icon klicken.

In einem komplexen Fragebogen eine bestimmte Frage oder Variable zu finden, ohne im Codebuch zu suchen, kann mühsam sein. Das Codebuch enthält eine Übersicht aller Variablen und aller Codierungen in einem Projekt. D.h. es informiert darüber, welche Speicherplätze für Fragen angelegt wurden und mit welchen Codes die Antworten der Teilnehmenden gespeichert werden. Zum Einsatz kommt das Codebuch beispielsweise beim Definieren von Bedingungen, die den Umfrageverlauf steuern (z.B. Filter- oder Triggerbedingungen) und beim Auswerten der Umfrageergebnisse.

Das Codebuch findet man unter Projekte->{Ausgewähltes Projekt}->Dokumentation ->Codebuch, es wird aber auch in verschiedenen anderen Menüs wie beispielsweise im Filtereditor eingeblendet. Klicke den Menüpunkt an. Es öffnet sich ein neues Browser-Fenster, und das Codebuch erscheint.