بواسطة ابهينايا شيتي, بهارات موماديسيتي
في Netflix، لدينا فريق هندسة بيانات العضوية والمالية يستخدم البيانات المتنوعة المتعلقة بالخطط والتسعير ودورة حياة العضوية والإيرادات لدعم التحليلات وتشغيل لوحات المعلومات المختلفة واتخاذ قرارات مستنيرة بالبيانات. العديد من المقاييس في التقارير المالية لشركة Netflix مدعومة ومتوافقة مع الجهود التي يبذلها فريقنا! ونظراً لدورنا في هذا المسار الحرج، دقة أمر بالغ الأهمية. وفي هذا السياق، فإن إدارة البيانات، خاصة عندما تصل متأخرة، يمكن أن تشكل تحديًا كبيرًا!
في سلسلة منشورات المدونة المكونة من ثلاثة أجزاء، نقدم لك سايبيرج، إطار معالجة البيانات المتزايد لدينا مصممة لمواجهة مثل هذه التحديات! سنناقش معالجة البيانات المجمعة، والقيود التي واجهناها، وكيف ظهر Psyberg كحل. علاوة على ذلك، سنتعمق في الأعمال الداخلية لـ Psyberg، وميزاته الفريدة، وكيفية دمجها في سير عمل توجيه البيانات لدينا. بحلول نهاية هذه السلسلة، نأمل أن تكتسب فهمًا لكيفية تحويل Psyberg لمعالجة البيانات لدينا، مما يجعل خطوط الأنابيب لدينا أكثر كفاءة ودقة وفي الوقت المناسب. دعونا الغوص في!
يتضمن نموذج معالجة البيانات الخاص بفرقنا بشكل أساسي خطوط الأنابيب دفعة، والتي يتم تشغيلها على فترات زمنية مختلفة تتراوح من كل ساعة إلى عدة مرات في اليوم (المعروف أيضًا باسم خلال اليوم) وحتى يوميًا. نحن نتوقع بيانات كاملة ودقيقة في نهاية كل شوط. وللوفاء بهذه التوقعات، نقوم عمومًا بتشغيل خطوط الأنابيب لدينا بفارق زمني يصل إلى بضع ساعات لإفساح المجال للبيانات التي تصل متأخرة.
البيانات المتأخرة هي في الأساس بيانات متأخرة بسبب إعادة محاولة النظام، أو تأخيرات الشبكة، أو جداول معالجة الدُفعات، أو انقطاع النظام، أو تأخر تدفقات العمل الأولية، أو التسوية في أنظمة المصدر.
يمكنك التفكير في بياناتنا باعتبارها لغزًا. مع كل جزء جديد من البيانات، يجب علينا دمجها في الصورة الأكبر والتأكد من دقتها واكتمالها. وبالتالي، يجب علينا إعادة معالجة البيانات المفقودة لضمان اكتمال البيانات ودقتها.
استنادًا إلى بنية أنظمتنا الأولية، قمنا بتصنيف البيانات المتأخرة إلى فئتين، تمت تسمية كل منهما على اسم الطوابع الزمنية للقسم المحدث:
