تحلیل تاثیر
پیشرفتهتحلیل تاثیر برآورد میکند یک تغییر مشخص چقدر یک متریک را جابهجا کرده است، با مقایسه آنچه بعد از تغییر رخ داده و آنچه بدون آن تغییر انتظار میرفت.
سختترین بخش، ساختن همان حالت فرضی «اگر تغییر نبود» است، چون آن نسخه از جهان هرگز مشاهده نمیشود و باید برآورد شود. سه راه متداول وجود دارد: گروه کنترل تصادفی که عملا تحلیل را به یک آزمایش تبدیل میکند، یک بخش دستنخورده و قابل مقایسه در همان بازه زمانی که به آن تفاضل در تفاضل میگویند، و پیشبینی از روی دوره پیش از تغییر که خانواده کنترل مصنوعی است. مقایسه ساده قبل و بعد هیچکدام از اینها را ندارد و بیسروصدا هر چیز دیگری را که در همان هفته اتفاق افتاده، از فصل و کمپین تا انتشارهای دیگر، به حساب همان تغییر میگذارد. دو تله دیگر هم هست: اثر تازگی، که فقط به دلیل جدید بودن یک تغییر ظاهری متریک را چند روز بالا میبرد، و انتشار همزمان چند تغییر، که اثر هیچکدام را دیگر قابل بازیابی نمیگذارد.