Kiến Trúc Hệ Thống (System Architecture)#
Phục vụ bài toán quét, lấy dữ liệu và phân loại tên miền làm Digital Marketing (Mainsite (Thị trường Game/Betting) / Satellite (Vệ tinh, Thể thao, Tin tức)), tool được áp dụng 3 nhân lõi chính:
1. REST API Server (Producer Layer)#
Nhiệm vụ: Nhận tín hiệu điều phối và các request kiểm tra Domain từ các dự án khác gửi về thông qua Http endpoint.
Đặc điểm: Nhiệm vụ rất tinh gọn: Quản lý hàng đợi, đẩy lệnh kiểm tra (Tasks) vào chung một cơ sở MongoDB.
2. Background Processes & Browser Workers (Consumer Layer)#
Công nghệ: Node Worker, puppeteer-real-browser
Nhiệm vụ: Vòng lặp các Node Worker liên tục chạy ngầm trong máy tính.
Cơ chế: Sử dụng thư viện Puppeteer để mô phỏng chính xác thao tác user người thật, qua mặt Captcha và đo lường các hiệu ứng Form, Canvas,... nhằm bóc tách loại website.
Công nghệ: Amazon S3, Webhook
Nhiệm vụ: Kết thúc quá trình chạy trên 1 domain, Workers sẽ lưu trữ lại Bằng chứng xử lý như Media Images, Video (được tải lên S3 Amazon).
Cơ chế: Tự động gọi Request POST báo cáo toàn bộ dữ liệu trở lại thông qua đường link (hookUrl) do đối tác khai báo ban đầu.
Modified at 2026-03-27 09:47:55