کنترل کیفیت داده
متوسط تلفظEN/ˈdeɪtə ˈkwɑːləti kənˈtroʊl/
کنترل کیفیت داده مجموعه بررسیهایی است که هنگام ورود داده و پس از آن اجرا میشود تا رویداد نادرست، ناقص یا تکراری به گزارش راه پیدا نکند.
کنترل کیفیت داده معمولا سه لایه دارد: اعتبارسنجی هر رویداد در برابر اسکیمای خودش هنگام ورود، حذف رکوردهای تکراری بر اساس شناسه رویداد، و پایش حجم و تازگی داده در برابر خط پایه انتظاری تا افت ناگهانی یا توقف یک منبع دیده شود. مهمترین انتخاب طراحی این است که رویداد نامعتبر بهجای حذف بیصدا با یک کد دلیل در قرنطینه بماند؛ حذف بیصدا داشبورد را سالم نشان میدهد در حالی که بخشی از داده هرگز نرسیده است. لایهای که بیشتر از همه فراموش میشود پایش انحراف تدریجی است: پراپرتیای که آرامآرام ارسال نمیشود هیچ خطایی تولید نمیکند و فقط ماهها بعد در یک گزارش خالی خودش را نشان میدهد.
پرسشهای پرتکرار
اصلاح خودکار در لحظه ورود خطر پنهانکردن باگ را دارد، چون منبعی که داده خراب میفرستد هیچوقت متوجه نمیشود. مسیر امنتر این است که رویداد نامنطبق وارد جریان اصلی نشود اما با دلیل مشخص نگه داشته شود تا هم قابل شمارش باشد و هم پس از رفع باگ بتوان درباره بازپخش آن تصمیم گرفت.