Estuary là một hệ thống di chuyển dữ liệu từ nhiều nguồn khác nhau đến đích cuối cùng. Nó là một thành phần của cơ sở hạ tầng dữ liệu của một tổ chức. Cơ sở hạ tầng dữ liệu mô tả sự kết hợp độc đáo của các hệ thống dữ liệu, quy trình và kiến trúc cho phép dữ liệu thực hiện chức năng của nó trong một tổ chức. Estuary là mô liên kết của cơ sở hạ tầng này.
Trong bối cảnh cơ sở hạ tầng dữ liệu, các nguồn cung cấp dữ liệu cho Estuary có thể là cơ sở dữ liệu, ứng dụng SaaS, luồng dữ liệu hoặc hồ dữ liệu. Điểm đến có thể là một cơ sở dữ liệu khác, kho dữ liệu hoặc hệ thống vận hành, nơi dữ liệu sẽ được phân tích và tận dụng để đáp ứng các mục tiêu kinh doanh. Estuary có thể có nhiều hình thức khác nhau, tùy thuộc vào nguồn và đích của chúng và cuối cùng là trường hợp sử dụng kinh doanh.
Miễn là nó di chuyển dữ liệu từ điểm A đến điểm B, bạn có thể gọi nó là Estuary. Bạn có thể đã có Estuary trong tổ chức của mình dưới một số hình thức nào đó. Estuary có nhiều tên gọi khác nhau, ví dụ như ETL (trích xuất, chuyển đổi, tải), ELT (trích xuất, tải, chuyển đổi), tiếp nhận dữ liệu hoặc tích hợp dữ liệu. Trong thực tế, ngày nay, bạn sẽ khó tìm thấy bất kỳ doanh nghiệp nào có quy mô đáng kể mà không dựa vào Estuary. Hầu hết mọi ngành đều phụ thuộc vào xử lý dữ liệu nhanh chóng, tự động hóa, phân tích và thông tin kinh doanh.
Bằng cách kết nối các hệ thống dữ liệu khác nhau, Estuary phục vụ rất nhiều nhu cầu kinh doanh. Ví dụ: giám sát và phân tích hoạt động tài chính để nhanh chóng kiểm tra gian lận; theo dõi hàng tồn kho để hợp lý hóa việc vận chuyển và nhận hàng; thu thập dữ liệu khách hàng từ cửa hàng trực tuyến để tùy chỉnh trải nghiệm bán hàng; thu thập phản hồi để xác định sự thành công của sản phẩm, dịch vụ hoặc chiến dịch. Không một quy trình làm việc nào trong số này có thể thực hiện được nếu bạn không thể đồng bộ hóa dữ liệu giữa các hệ thống khác nhau.
Khối lượng dữ liệu cần di chuyển hầu như luôn rất lớn. Việc xử lý hàng petabyte dữ liệu thô và biến chúng thành thông tin hữu ích không phải là một kỳ công nhỏ. Đó là một nhiệm vụ to lớn mà các công ty thực hiện mỗi ngày. Vậy, làm thế nào để bạn xác định cách tốt nhất để xây dựng hoặc tối ưu hóa Estuary cho doanh nghiệp của bạn? Điều đó sẽ dễ dàng hơn nếu bạn hiểu thêm về cách thức hoạt động của Estuary.
Estuary giống như bất kỳ đường ống nào khác: ví dụ, một đường ống lấy nước từ nguồn (hồ chứa địa phương) và mang đến đích (vòi của bạn). Nó có thể phân nhánh hoặc lấy nước từ nhiều nguồn và thực sự đi đến nhiều điểm đến khác nhau xung quanh nhà bạn. Khi nó hoạt động, bạn hầu như không nghĩ về nó. Tương tự như vậy, bạn mong đợi nước chảy ra từ vòi của bạn phải sạch và có thể uống được. Trên đường đi, nó phải được xử lý. Dữ liệu cũng vậy.
Một số Estuary chỉ đơn giản là di chuyển dữ liệu thô từ nguồn vào bộ nhớ, chẳng hạn như hồ dữ liệu. Nhưng điều này không mở rộng tốt. Hầu hết các công ty và doanh nghiệp lớn hơn sử dụng kiến trúc Estuary tiên tiến hơn bao gồm các phép biến đổi dữ liệu cơ bản như tổng hợp hoặc định hình lại để phù hợp với lược đồ.
Quá trình này hoạt động như thế nào? Nó bao gồm ba phần: thu thập từ nguồn, chuyển đổi và đích. Nguồn dữ liệu là nơi dữ liệu đến. Hầu hết các Estuary lấy thông tin từ nhiều nguồn – chúng có thể là API ứng dụng, cơ sở dữ liệu quan hệ, CRM, công cụ truyền thông xã hội, v.v. Dữ liệu có thể được thu thập theo lô hoặc sử dụng thu thập dữ liệu dựa trên sự kiện theo thời gian thực.
Trước khi dữ liệu đến đích, nó thường được kết hợp, thao tác và tiêu chuẩn hóa theo nhu cầu của doanh nghiệp. Bước chuyển đổi không bắt buộc theo định nghĩa cơ bản của Estuary, nhưng nó cực kỳ quan trọng trong hầu hết các quy trình làm việc. Nó đảm bảo rằng các hệ thống lưu trữ dữ liệu của công ty (cơ sở dữ liệu, kho dữ liệu hoặc hồ dữ liệu) không trở thành đầm lầy dữ liệu. Nói cách khác, nó đảm bảo rằng dữ liệu ở đích có thể sử dụng được.
Đích là hệ thống nơi dữ liệu thoát ra khỏi Estuary. Điển hình là kho dữ liệu của doanh nghiệp. Kho dữ liệu được thiết kế để xử lý khối lượng công việc phân tích dữ liệu nặng, khoa học dữ liệu và học máy. Tại đây, các nhà phân tích và nhà khoa học dữ liệu sẽ xây dựng mô hình dữ liệu và biến dữ liệu thành thông tin. Tuy nhiên, có nhiều hệ thống đích khác nhau: hệ thống vận hành như bảng điều khiển, ứng dụng SaaS và công cụ trực quan hóa dữ liệu.
Hai loại Estuary chính là Estuary hàng loạt và Estuary thời gian thực. Estuary hàng loạt di chuyển một lượng lớn dữ liệu — được gọi là hàng loạt — theo các khoảng thời gian được lên lịch thường xuyên. Dữ liệu không được di chuyển trong thời gian thực. Estuary thời gian thực xử lý dữ liệu gần như ngay lập tức. Phân tích thời gian thực hoặc phân tích luồng là về việc thu thập và hình thành thông tin chi tiết từ các luồng dữ liệu liên tục trong vài giây.
Estuary được sử dụng trong nhiều trường hợp, bao gồm ứng dụng, phân tích dữ liệu và tập trung hóa dữ liệu. Cho dù công ty của bạn bán sản phẩm hay dịch vụ, quản lý tài chính, xử lý hậu cần hay xử lý kiến thức, thì nó đều dựa vào dữ liệu. Để sử dụng dữ liệu đó một cách chính xác, cần phải tích hợp dữ liệu. Và tích hợp dữ liệu được cung cấp bởi Estuary.
