واریانت

واریانت یکی از نسخه‌های رقیب در یک آزمایش است؛ هر واریانت یک تجربه متفاوت را به بخشی از کاربران نشان می‌دهد تا عملکردشان مقایسه شود.

در ساده‌ترین آزمایش دو واریانت داریم: نسخه فعلی (که همان کنترل است) و نسخه تغییریافته. اما تعداد واریانت‌ها می‌تواند بیشتر باشد، و همین‌جا یک تله ریاضی هست: هرچه واریانت بیشتر شود، ترافیک بین‌شان تقسیم می‌شود و رسیدن هر کدام به حجم کافی برای نتیجه معنادار کندتر می‌شود. واریانت را نباید با ویژگی اشتباه گرفت؛ واریانت یک حالت موقتی برای سنجش است، نه یک قابلیت دائمی. قاعده سالم این است که تعداد واریانت را کم نگه دارید تا آزمایش در زمان معقول به جواب برسد.