סקר מקוון הוא מהיר ויעיל, אבל אותה מהירות מאפשרת גם תשובות שאינן רצויות בדוח: בוטים, אנשים שנכנסים לאותו סקר פעמיים, ומשיבים שעוברים על השאלון בלי לקרוא. משיב אחד כזה לא ישנה תוצאה. אבל כמה אחוזים של תשובות לא אמיתיות בתוך קבוצה קטנה עלולים לייצר ממצא שאינו קיים.
לכן בקרת האיכות אינה נדחית לסוף. היא מתחילה בשאלון, נמשכת בשדה ומסתיימת בקובץ הנתונים.
לפני השדה
- הגנה מפני בוטים. אימות שרץ ברקע ומסמן כניסות חשודות, בלי להטריד משיבים אמיתיים.
- חסימת כניסות חוזרות. לפי המזהה בפאנל ולפי המכשיר, גם כשדוגמים מכמה ספקים במקביל.
- שאלות ערנות. שאלה או שתיים שנכתבות מראש בתוך השאלון, למשל "לצורך בדיקה, סמנו את התשובה השלישית". הוגנות ופשוטות, ולא שאלות מכשילות.
- שדה מקדים. מדגם קטן ראשון, לבדיקת משכי מענה, נטישה ולוגיקה לפני שממשיכים.
במהלך השדה
מעקב יומי: התקדמות המכסות, שיעור ההשלמה, משך המענה לפי סוג מכשיר והתפלגות התשובות לפי מקור. ספק שמתחיל להראות דפוסים חשודים נעצר אחרי יום, ולא מתגלה בסוף השדה.
אחרי השדה
על הקובץ המלא רצות בדיקות שמסמנות כל משיב:
- מהירים מדי. משך מענה קצר בהרבה מהזמן הרגיל בסקר, ובמיוחד זמן קצר מדי בעמוד שדרש קריאת טקסט.
- איטיים מאוד. מי שהשאיר את הסקר פתוח זמן ארוך מסומן, וההחלטה מה לעשות איתו תלויה בסקר.
- תשובות בקו ישר. אותה תשובה לכל ההיגדים בטבלה, גם כשחלקם מנוסחים בכיוון הפוך.
- כפולים. אותו מזהה, אותו מכשיר או דפוס תשובות זהה, כולל בין פאנלים שונים.
- שאלות פתוחות. רצף תווים חסר משמעות, טקסט מועתק או תשובה שאין לה קשר לשאלה.
- סתירות. למשל גיל שאינו מתאים לשנת הלידה, או ותק בעבודה גבוה מהגיל.
כל משיב שמוסר מהניתוח מסומן בקובץ הנתונים יחד עם הסיבה להסרה.
שקיפות, לא רק ניקוי
במקום למחוק, אנחנו מוסיפים לקובץ הנתונים משתני סימון: מי כפול, מי מהיר מדי, מי נכשל בשאלת הערנות ומי נכלל בניתוח. הלקוח רואה בדיוק מה הוסר ולמה, ויכול להריץ את הניתוח עם הקבוצות האלה או בלעדיהן.
מידת ההחמרה
כללים נוקשים מדי מוציאים גם משיבים אמיתיים, למשל קוראים מהירים או משיבים מבוגרים שעונים לאט, וכך מטים את המדגם בעצמם. לכן הספים נקבעים לפי הסקר הספציפי, נכתבים מראש ככל האפשר ומתועדים בדוח.
בקרת האיכות אינה נראית בדוח עצמו, אבל היא התנאי לכך שאפשר להסתמך על כל מספר בו.