#Sựkiệnngàyhômqua #Mage #dbt #KhônggianlàmviệckiểuNotebook
Trong bản tin Sed ut perspiciatis unde, Khuyên Trần đã chia sẻ cách hợp lý hóa quá trình phát triển mô hình dbt với không gian làm việc kiểu Notebook. Để thay thế miễn phí cho đám mây dbt, công cụ đường dẫn dữ liệu nguồn mở Mage đã được giới thiệu, cung cấp một loạt lợi ích bao gồm việc bổ sung cho dbt một IDE dựa trên web tích hợp và ngôn ngữ linh hoạt, trực quan hóa đầu ra mô hình dbt, khai thác và tải dữ liệu, cơ chế lập kế hoạch và thử lại đường ống.
Bằng cách cài đặt Mage bằng Docker, pip hoặc conda, bạn có thể thử nghiệm và khám phá mã nguồn bằng cách sao chép kho lưu trữ GitHub của nó. Hướng dẫn cụ thể để cài đặt và khởi tạo dự án đã được cung cấp trong bài viết.
Sử dụng BigQuery làm kho dữ liệu cho dbt, chúng ta cần cài đặt dbt-bigquery bằng cách thêm nó vào tệp “requirements.txt” và nhấp vào “Cài đặt gói”. Sau đó, đối với mỗi dự án dbt mới, cần thực hiện lệnh dbt init để thiết lập các thông số cấu hình. Tạo thư mục mới để lưu trữ các dự án dbt và tạo tệp profiles.yml để khai báo thông tin đăng nhập BigQuery của bạn.
Sử dụng Mage trong dbt pipeline có nhiều lợi ích, cho phép xây dựng và quản lý mô hình dữ liệu một cách dễ dàng và tiện lợi hơn. Nó đáp ứng tốt nhu cầu của những người làm việc với dữ liệu và đang tìm kiếm một công cụ sáng tạo và hiệu quả để tích hợp dữ liệu từ nhiều nguồn khác nhau.
bản tin
Sed ut perspiciatis unde.
Một giải pháp thay thế miễn phí cho đám mây dbt là Mage, một công cụ đường dẫn dữ liệu nguồn mở dành cho các tác vụ tích hợp và chuyển đổi dữ liệu.
Mage bổ sung liền mạch cho dbt với một loạt lợi ích, bao gồm:
- IDE dựa trên web tích hợp: Mage cung cấp một IDE dựa trên web thuận tiện, nơi bạn có thể phát triển và khám phá các mô hình dữ liệu một cách dễ dàng trong một giao diện duy nhất.
- Ngôn ngữ linh hoạt: Với Mage, bạn có thể kết hợp điểm mạnh của các công cụ và ngôn ngữ khác nhau cùng với dbt để có khả năng xử lý dữ liệu nâng cao.
- Trực quan hóa đầu ra mô hình dbt: Mage cung cấp khả năng trực quan hóa tích hợp, cho phép người dùng dễ dàng hình dung đầu ra được tạo bởi các mô hình dbt chỉ bằng một vài cú nhấp chuột.
- Khai thác và tải dữ liệu: Ngoài việc chuyển đổi dữ liệu, Mage còn cung cấp các chức năng để trích xuất và tải dữ liệu, cho phép giải pháp đường dẫn dữ liệu đầu cuối toàn diện hơn.
- Cơ chế lập kế hoạch và thử lại đường ống: Mage cho phép bạn lên lịch cho các đường dẫn dữ liệu của mình và tự động thử lại các thành phần bị lỗi, đảm bảo quá trình tích hợp dữ liệu của bạn được thực thi suôn sẻ và đáng tin cậy.
Hãy tìm hiểu sâu hơn về từng tính năng này.
Vui lòng khám phá và thử nghiệm mã nguồn bằng cách sao chép kho lưu trữ GitHub này:
cài đặt pháp sư
Bạn có thể cài đặt Mage bằng Docker, pip hoặc conda. Bài viết này sẽ sử dụng Docker để cài đặt Mage và khởi tạo dự án.
docker run -it -p 6789:6789 -v $(pwd):/home/src mageai/mageai /app/run_app.sh mage start (project_name)
Ví dụ: hãy đặt tên cho dự án của chúng ta là “dbt_mage”, để lệnh trở thành:
docker run -it -p 6789:6789 -v $(pwd):/home/src mageai/mageai /app/run_app.sh mage start dbt_mage
Tìm các cách khác để cài đặt Mage tại đây.
Tạo một đường ống dẫn
Mở http://localhost:6789/ trong trình duyệt của bạn để xem Mage UI.
Nhấp vào “Mới” và chọn “Chuẩn (lô)” để tạo quy trình bán hàng loạt mới. Đổi tên nó thành “dbt_pipeline.”
Cài đặt phụ thuộc
Vì chúng tôi sẽ sử dụng BigQuery làm kho dữ liệu cho dbt nên chúng tôi cần cài đặt dbt-bigquery bằng cách thêm nó vào tệp “requirements.txt” và nhấp vào “Cài đặt gói”.
Tạo một dự án dbt
Để tạo một dự án dbt, hãy điều hướng đến bảng bên phải và nhấp vào nút thiết bị đầu cuối.
Di chuyển đến thư mục “dbt” trong dự án của bạn và thực hiện lệnh dbt init:
cd dbt_mage/dbt
dbt init demo -s
Lệnh này thêm thư mục “demo” vào thư mục dbt.
Nhấp chuột phải vào thư mục “demo” và tạo một tệp mới có tên “profiles.yml.” Chỉ định thông tin đăng nhập BigQuery của bạn trong tệp này.
[ad_2]
