SYSTEM BUSINESS LOGIC: INTEGRATION & RELIABILITY (MODULE 3)

Để đảm bảo hai phân hệ (Admin và Worker) hoạt động trơn tru 24/7 mà không bị mất mát dữ liệu, hệ thống áp dụng các nghiệp vụ về tính chịu lỗi (Fault Tolerance) và đồng bộ dữ liệu.

1. Nghiệp vụ Đồng bộ Kết quả (Webhook Dispatching)

Do Worker xử lý tác vụ bất đồng bộ (có thể mất từ vài giây đến vài phút), Admin không thể chờ phản hồi HTTP trực tiếp.

Thay vào đó, Worker áp dụng nghiệp vụ Webhook Polling:

Trình quản lý InitializeQueueWebhook() liên tục quét các Task đạt trạng thái Completed (2) hoặc Failed (3).

Hệ thống tự động đóng gói toàn bộ bằng chứng (Video URL, Image URL, Keywords Found, Thời gian thực thi) và gọi axios.post đẩy dữ liệu ngược về URL của CMS hệ thống đích (hookUrl).

Đánh dấu cờ isSentBack = true để đảm bảo dữ liệu không bị gửi trùng lặp (Duplicate Dispatching).

2. Nghiệp vụ Tự phục hồi (Auto-Retry & Fault Tolerance)

Trong quá trình Worker chạy, có thể xảy ra các sự cố ngoại cảnh như Memory Dump, mất điện, rớt mạng khiến Task bị kẹt vĩnh viễn ở trạng thái Running (1).

Cơ chế Timeout Reset: Module InitQueueTaskRetryOldRunning() liên tục đối chiếu timestamp. Bất kỳ Task nào chạy quá 6 phút mà chưa chuyển trạng thái sẽ bị hệ thống tự động Reset về Pending (0). Điều này giúp hệ thống tự động đưa Task vào Queue để chạy lại mà không cần sự can thiệp của con người.

3. Nghiệp vụ Làm mới Phiên giao tiếp mạng (Silent Token Refresh)

Ở phía Frontend, nghiệp vụ yêu cầu trải nghiệm người dùng liền mạch. Cơ chế Token Refresh Queueing được triển khai:

Khi Axios nhận diện Token sắp hết hạn, nó tự động kích hoạt trạng thái "Tạm dừng" (Hold).

Đẩy mọi Request API mới của người dùng vào hàng đợi (Queue) nội bộ của trình duyệt.

Gửi Request cấp đổi Token ngầm lên máy chủ.

Cập nhật Token mới và giải phóng hàng đợi. Nghiệp vụ này triệt tiêu hoàn toàn sự cố gián đoạn công việc của quản trị viên.

4. Nghiệp vụ Giám sát & Báo động (Monitoring & Alerting)

Các lỗi nghiêm trọng từ Worker (như Proxy cạn kiệt, FFmpeg crash) hoặc các Task phải chạy lại nhiều lần sẽ được hệ thống đóng gói và gửi qua API của Telegram Bot.

Đội ngũ kỹ thuật trực tiếp nhận tin nhắn trên Telegram để xử lý sự cố tức thì (Real-time alerting), đảm bảo SLA của hệ thống không bị ảnh hưởng.

Integration & Reliability Business

SYSTEM BUSINESS LOGIC: INTEGRATION & RELIABILITY (MODULE 3)#

1. Nghiệp vụ Đồng bộ Kết quả (Webhook Dispatching)#

2. Nghiệp vụ Tự phục hồi (Auto-Retry & Fault Tolerance)#

3. Nghiệp vụ Làm mới Phiên giao tiếp mạng (Silent Token Refresh)#

4. Nghiệp vụ Giám sát & Báo động (Monitoring & Alerting)#

SYSTEM BUSINESS LOGIC: INTEGRATION & RELIABILITY (MODULE 3)

1. Nghiệp vụ Đồng bộ Kết quả (Webhook Dispatching)

2. Nghiệp vụ Tự phục hồi (Auto-Retry & Fault Tolerance)

3. Nghiệp vụ Làm mới Phiên giao tiếp mạng (Silent Token Refresh)

4. Nghiệp vụ Giám sát & Báo động (Monitoring & Alerting)