נניח שרוצים לדעת איזה מסר ישכנע יותר: זה שמדגיש חיסכון בכסף, או זה שמדגיש בריאות. אפשר להציג את שני המסרים ולשאול איזה מהם משכנע יותר. אבל התשובה לשאלה כזו מושפעת ממה שנשמע הגיוני, ממה שנחשב נכון לומר ומהסדר שבו הוצגו המסרים.
ניסוי בתוך סקר פועל אחרת. כל משיב רואה באקראי רק אחד מהמסרים, ואז כולם עונים על אותן שאלות. ההבדל בין הקבוצות הוא ההשפעה של המסר עצמו.
שימושים
- בדיקת מסרים, מודעות ושמות של מוצרים.
- מחיר: נכונות לשלם, כשכל קבוצה רואה מחיר אחר.
- מדיניות: איך ניסוח של הצעה משנה את התמיכה בה.
- מחקר אקדמי: ניסויי תרחיש, שבהם משנים פרט אחד בתיאור ובודקים את השפעתו.
מה צריך לתכנן
- מספר הגרסאות וגודל כל קבוצה. כל גרסה נוספת מחייבת עוד משיבים. שמונה גרסאות של 250 משיבים כל אחת הן 2,000 משיבים, אחרי ניקוי.
- הקצאה אקראית ומאוזנת. המערכת מחלקת את המשיבים שווה בשווה בין הגרסאות, וסוגרת גרסה שהתמלאה.
- וידוא שהטקסט נקרא. זמן מינימלי בעמוד הטקסט, ושאלה שבודקת אם המשיב שם לב לפרט שהשתנה. השאלה חייבת להיות ניטרלית, כדי שלא תרמוז על התשובה.
- בדיקת איזון. אחרי השדה בודקים שהקבוצות דומות בגיל, במגדר ובאזור. אם הן דומות, ההבדל בתשובות נובע מהגרסה ולא מהרכב הקבוצה.
- ניקוי שאינו פוגע בניסוי. כללי הניקוי חלים על כל הקבוצות באותה צורה, וכל קבוצה נשארת בגודל שנקבע.
בניסוי, המשיב אינו נדרש להעריך מה משפיע עליו. ההשפעה מחושבת ישירות מההבדל בין הקבוצות.
הניתוח
הקבוצות מושוות באמצעות מבחני מובהקות, ונבדק גם אם ההשפעה שונה בין קהלים, למשל בין צעירים למבוגרים. ניסוי מתוכנן היטב נותן תשובה ברורה לשאלה: מה קורה כשמשנים דבר אחד, וכל השאר נשאר כפי שהוא.