گروه هلد‌اوت

گروه هلد‌اوت بخشی از کاربران است که عمدا برای مدتی از یک تغییر یا مجموعه‌ای از تغییرها کنار گذاشته می‌شوند تا اثر بلندمدت و تجمعی آن تغییرها سنجیده شود.

هلد‌اوت با گروه کنترل هم‌خانواده است اما بازه و هدفش فرق دارد: گروه کنترل برای یک آزمایش کوتاه است، اما هلد‌اوت گروهی است که هفته‌ها یا ماه‌ها هیچ‌کدام از تغییرهای تیم را نمی‌بیند تا معلوم شود مجموع کار تیم در بلندمدت چقدر ارزش ساخته است. ارزشش این است که اثرهای کوچک که تک‌به‌تک ناچیزند اما روی هم انباشته می‌شوند، فقط با یک مبنای دست‌نخورده دیده می‌شوند. هزینه‌اش هم روشن است: عده‌ای از کاربران عمدا از بهبودها محروم می‌مانند، پس اندازه هلد‌اوت را کوچک و مدتش را محدود نگه می‌دارند.