Estuary هو نظام لنقل البيانات من مصادر متعددة إلى وجهة نهائية. وهو جزء من البنية التحتية للبيانات الخاصة بأي مؤسسة. تصف البنية التحتية للبيانات مجموعة فريدة من أنظمة البيانات والعمليات والهياكل التي تسمح للبيانات بأداء وظيفتها داخل المؤسسة. Estuary هو النموذج الذي يربط هذه البنية التحتية.
في سياق البنية التحتية للبيانات، يمكن أن تكون مصادر البيانات التي تغذي Estuary قواعد بيانات أو تطبيقات SaaS أو تدفقات بيانات أو بحيرات بيانات. يمكن أن تكون الوجهة قاعدة بيانات أخرى أو مستودع بيانات أو نظام تشغيل، حيث سيتم تحليل البيانات واستخدامها لتحقيق أهداف العمل. يمكن أن يتخذ Estuary أشكالًا متعددة، اعتمادًا على مصدره ووجهته، وفي النهاية، حالة استخدام العمل.
طالما أنه ينقل البيانات من النقطة “أ” إلى النقطة “ب”، يمكنك تسميته Estuary. قد يكون لديك بالفعل Estuary في مؤسستك بشكل ما. Estuary له العديد من الأسماء المختلفة، على سبيل المثال ETL (استخراج، تحويل، تحميل) أو ELT (استخراج، تحميل، تحويل) أو استيعاب البيانات أو تكامل البيانات. في الواقع، من الصعب اليوم العثور على أي شركة ذات حجم كبير لا تعتمد على Estuary. تعتمد كل الصناعات تقريبًا على معالجة البيانات السريعة والأتمتة والتحليلات وذكاء الأعمال.
من خلال ربط أنظمة البيانات المختلفة، يخدم Estuary العديد من احتياجات العمل. على سبيل المثال: مراقبة وتحليل الأداء المالي للكشف عن الاحتيال بسرعة، تتبع المخزون لتبسيط الشحن والاستلام، جمع بيانات العملاء من المتاجر عبر الإنترنت لتخصيص تجربة البيع، وجمع التعليقات لتحديد نجاح المنتج أو الخدمة أو الحملة. لا يمكن تنفيذ أي من مهام سير العمل هذه إذا لم تتمكن من مزامنة البيانات عبر أنظمة مختلفة.
حجم البيانات التي تحتاج إلى نقلها يكون دائمًا كبيرًا جدًا. إن معالجة بيتابايت من البيانات الأولية وتحويلها إلى معلومات مفيدة ليس بالأمر السهل. إنها مهمة ضخمة تقوم بها الشركات كل يوم. إذن، كيف تحدد أفضل طريقة لبناء Estuary أو تحسينه لعملك؟ سيكون ذلك أسهل إذا فهمت المزيد عن كيفية عمل Estuary.
يشبه Estuary أي خط أنابيب آخر: على سبيل المثال، خط أنابيب يأخذ الماء من المصدر (خزان محلي) ويجلبه إلى وجهته (صنبورك). يمكن أن يتفرع أو يأخذ الماء من مصادر متعددة ويذهب بالفعل إلى وجهات متعددة حول منزلك. عندما يعمل، بالكاد تفكر فيه. وبالمثل، تتوقع أن يكون الماء الذي يخرج من صنبورك نظيفًا وقابلًا للشرب. في طريقه، يجب معالجته. البيانات كذلك.
بعض أنواع Estuary تنقل البيانات الأولية ببساطة من المصدر إلى التخزين، مثل بحيرة البيانات. لكن هذا لا يتوسع بشكل جيد. تستخدم معظم الشركات والمؤسسات الكبرى بنية Estuary أكثر تقدمًا تتضمن تحويلات بيانات أساسية مثل التجميع أو إعادة التشكيل لتتناسب مع المخطط.
كيف تعمل هذه العملية؟ تتكون من ثلاثة أجزاء: جمع من المصدر والتحويل والوجهة. مصدر البيانات هو مصدر البيانات. تحصل معظم أنظمة Estuary على معلومات من مصادر متعددة – يمكن أن تكون واجهات برمجة تطبيقات أو قواعد بيانات علائقية أو أنظمة إدارة علاقات العملاء أو أدوات الوسائط الاجتماعية، وما إلى ذلك. يمكن جمع البيانات على دفعات أو باستخدام جمع البيانات المستند إلى الأحداث في الوقت الفعلي.
قبل وصول البيانات إلى وجهتها، غالبًا ما يتم دمجها ومعالجتها وتوحيدها وفقًا لاحتياجات العمل. خطوة التحويل ليست إلزامية حسب التعريف الأساسي لـ Estuary، لكنها مهمة للغاية في معظم مهام سير العمل. إنها تضمن أن أنظمة تخزين بيانات الشركة (قواعد البيانات أو مستودعات البيانات أو بحيرات البيانات) لا تصبح مستنقعات بيانات. بمعنى آخر، تضمن أن البيانات في الوجهة قابلة للاستخدام.
الوجهة هي النظام الذي تخرج منه البيانات من Estuary. عادةً ما يكون مستودع بيانات الشركة. تم تصميم مستودعات البيانات للتعامل مع أعباء عمل تحليل البيانات الثقيلة وعلوم البيانات والتعلم الآلي. هنا، سيقوم المحللون وعلماء البيانات ببناء نماذج البيانات وتحويل البيانات إلى معلومات. ومع ذلك، هناك العديد من أنظمة الوجهة المختلفة: أنظمة التشغيل مثل لوحات المعلومات وتطبيقات SaaS وأدوات تصور البيانات.
النوعان الرئيسيان من Estuary هما Estuary الدفعي و Estuary الوقت الفعلي. ينقل Estuary الدفعي كميات كبيرة من البيانات — تسمى الدفعات — على فترات زمنية مجدولة بانتظام. لا يتم نقل البيانات في الوقت الفعلي. يعالج Estuary الوقت الفعلي البيانات على الفور تقريبًا. يتعلق التحليل في الوقت الفعلي أو تحليل التدفق بجمع وتشكيل الرؤى من تدفقات البيانات المستمرة في غضون ثوانٍ.
يستخدم Estuary في العديد من حالات الاستخدام، بما في ذلك التطبيقات وتحليل البيانات ومركزية البيانات. سواء كانت شركتك تبيع منتجات أو خدمات، أو تدير الشؤون المالية، أو تتعامل مع الخدمات اللوجستية، أو تتعامل مع المعرفة، فإنها تعتمد على البيانات. لاستخدام هذه البيانات بشكل صحيح، يلزم تكامل البيانات. ويتم توفير تكامل البيانات بواسطة Estuary.