Tổng Quan Vận Hành — Source `tool-check`

Vai trò: Máy kiểm tra — Thực thi kiểm tra website bằng trình duyệt thật
Công nghệ: Bun · Elysia · TypeScript · Puppeteer · MongoDB

1. Source này làm gì?

tool-check là máy thợ của hệ thống — nó thực sự mở trình duyệt, truy cập từng website, và thu thập thông tin. Không có màn hình, không có giao diện, nó chạy âm thầm trên máy chủ.

Nhiệm vụ chính:

Nhận lệnh từ api (trung tâm điều phối)

Mở trình duyệt thật và truy cập website cần kiểm tra

Chụp ảnh màn hình để làm bằng chứng trực quan

Phân tích website: có hoạt động không, có bị chặn không, loại website gì

Gửi kết quả về api khi hoàn thành

2. Cấu trúc vận hành bên trong

┌─────────────────────────────────────────────────────────────────┐
│                        SOURCE: tool-check                       │
│                                                                 │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │              BỘ ĐIỀU PHỐI CÔNG VIỆC (Dispatcher)        │   │
│  │                                                         │   │
│  │  Liên tục hỏi DB: "Có task nào chờ xử lý không?"       │   │
│  │  Có task → Phân cho worker rảnh                         │   │
│  │  Hết slot → Chờ worker nào xong mới lấy task tiếp      │   │
│  └────────────────────────┬────────────────────────────────┘   │
│                           │ Phân công                          │
│           ┌───────────────┼───────────────┐                    │
│           │               │               │                    │
│           ▼               ▼               ▼                    │
│     ┌──────────┐   ┌──────────┐   ┌──────────┐                 │
│     │ Worker 1 │   │ Worker 2 │   │ Worker N │   (tối đa N)    │
│     │ (trình   │   │ (trình   │   │ (trình   │                 │
│     │  duyệt)  │   │  duyệt)  │   │  duyệt)  │                 │
│     └────┬─────┘   └────┬─────┘   └────┬─────┘                 │
│          │              │              │                        │
│          └──────────────┴──────────────┘                       │
│                         │ Kết quả                              │
│                         ▼                                      │
│              ┌─────────────────────┐                           │
│              │   BỘ GỬI KẾT QUẢ   │                           │
│              │     (Webhook)       │                           │
│              │  Báo về api trung   │                           │
│              │  tâm khi xong       │                           │
│              └─────────────────────┘                           │
└─────────────────────────────────────────────────────────────────┘

3. Vòng đời xử lý một task

API trung tâm tạo "phiếu công việc" (task) trong MongoDB
        │
        ▼
Dispatcher phát hiện task mới đang chờ
        │
        ▼
Kiểm tra:  CPU < 70%?  RAM < 80%?  Còn slot trống?
        │
        ▼ Đủ điều kiện
Đánh dấu task "đang chạy" → giao cho Worker rảnh
        │
        ▼
Worker mở trình duyệt thật (Puppeteer)
  → Dùng proxy IP trung gian (để ẩn danh)
  → Truy cập website cần kiểm tra
  → Thu thập thông tin
        │
        ├── Chụp ảnh màn hình (screenshot)
        ├── Kiểm tra website có từ khóa không
        ├── Phát hiện chuyển hướng (redirect)
        └── Phân loại loại website (mainsite / satellite)
        │
        ▼
Worker hoàn thành → gửi kết quả về api qua Webhook
        │
        ▼
Worker báo "xong" → Dispatcher giao task tiếp theo

4. Hai loại kiểm tra chạy song song

Kiểm tra Website (Check Website)

Truy cập website, chụp ảnh, kiểm tra từ khóa, phát hiện redirect

Chạy liên tục theo thứ tự hàng đợi

Phân loại Loại Domain (Domain Type Check)

Sau khi kiểm tra xong, hệ thống tiếp tục phân tích: website này là cờ bạc chính hay vệ tinh tin tức?

Quá trình này cũng dùng trình duyệt và proxy

Kết quả lưu lại để nhân viên xem trên admin

5. Hệ thống quản lý tài nguyên tự động

Tool-check tự động theo dõi tình trạng máy chủ để không làm quá tải:

Điều kiện	Hành động
CPU > 70%	Dừng lấy task mới, chờ CPU hạ
RAM > 80%	Dừng lấy task mới, chờ RAM hạ
Tất cả worker đang bận	Chờ cho đến khi có worker nào xong
Task ưu tiên (manual)	Được xử lý trước task thường

6. Kết nối dữ liệu

MongoDB (nội bộ tool-check)
  → Lưu tạm danh sách task cần làm
  → Theo dõi task nào đang chạy, xong, lỗi

api (trung tâm)
  → Gửi task mới vào MongoDB
  → Nhận kết quả qua Webhook callback

Proxy (lấy từ api)
  → Dùng làm địa chỉ IP trung gian khi truy cập website
  → Tránh bị website nhận ra và chặn

AWS S3 (lưu trữ đám mây)
  → Ảnh chụp màn hình được upload lên đây

7. Thông báo lỗi

Khi gặp sự cố, tool-check gửi cảnh báo qua Telegram ngay lập tức:

Webhook gửi thất bại → cảnh báo + thử lại

Không có proxy khả dụng → cảnh báo

Lỗi mở trình duyệt → thử lại tối đa 5 lần rồi ghi log lỗi

8. Các chế độ hoạt động

Chế độ	Mô tả
Tự động (Auto)	Task do api tạo theo lịch hàng ngày, ưu tiên bình thường
Thủ công ưu tiên (Priority)	Task do nhân viên bấm tay, được xử lý trước
Retry	Task thất bại được tự động thử lại sau 60 giây
Old Running Recovery	Khi khởi động lại, hệ thống tự phục hồi các task bị gián đoạn

9. Tóm tắt nhanh

tool-check giống như đội nhân viên thực địa: nhận phiếu công việc từ trưởng phòng (api), đi thực địa mở website kiểm tra, chụp ảnh bằng chứng, rồi báo cáo lại. Có bao nhiêu nhân viên (worker) thì làm được bấy nhiêu việc cùng lúc, không quá tải nhau.

Tổng quan

Tổng Quan Vận Hành — Source tool-check#

1. Source này làm gì?#

2. Cấu trúc vận hành bên trong#

3. Vòng đời xử lý một task#

4. Hai loại kiểm tra chạy song song#

Kiểm tra Website (Check Website)#

Phân loại Loại Domain (Domain Type Check)#

5. Hệ thống quản lý tài nguyên tự động#

6. Kết nối dữ liệu#

7. Thông báo lỗi#

8. Các chế độ hoạt động#

9. Tóm tắt nhanh#