Quay lại Trang chủ
Featured Case Study

Radar – Nền tảng Thu thập & Xử lý Dữ liệu Web

Nền tảng thu thập và xử lý dữ liệu sản phẩm, giá bán từ khoảng 40 sàn thương mại điện tử Hàn Quốc, vận hành theo kiến trúc hướng sự kiện với Kafka, AWS Lambda và SQS.

Vai trò
Thực tập sinh Backend Developer
Thời gian thực hiện
Tháng 10/2025 - Tháng 1/2026
Dự án Doanh nghiệp (Mã nguồn Nội bộ)

Tổng quan Dự án

Radar là nền tảng nội bộ thu thập và xử lý dữ liệu sản phẩm, giá bán và khuyến mãi từ khoảng 40 sàn thương mại điện tử Hàn Quốc. Hệ thống lập lịch các tác vụ thu thập, phân phối chúng tới các crawler chạy song song, phân tích dữ liệu thô thành dữ liệu sản phẩm có cấu trúc rồi đồng bộ về cơ sở dữ liệu trung tâm để phục vụ việc theo dõi và so sánh giá.

Kiến trúc Hệ thống

Nền tảng gồm ba thành phần chính, giao tiếp với nhau qua hàng đợi thông điệp:

  • Backend Điều phối (NestJS): Quản lý cấu hình nền tảng, danh mục và lịch thu thập. Các cron job tạo yêu cầu thu thập, sinh và thu hồi danh tính truy cập (proxy, header), theo dõi job lỗi và gửi báo cáo hằng ngày. Dữ liệu được lưu trên MongoDB và MySQL (TypeORM).
  • Crawler Serverless (AWS Lambda): Ba hàm Lambda nối với nhau qua SQS — thu thập trang danh sách sản phẩm (PLP), thu thập trang chi tiết (PDP) và phân tích dữ liệu (Parse). Mỗi sàn có một cặp Crawler/Parser riêng được khởi tạo qua Factory, dùng Cheerio cho trang tĩnh và Puppeteer cho trang cần trình duyệt; dữ liệu thô được lưu trên S3.
  • Dịch vụ Crawler Trình duyệt (NestJS): Dịch vụ chạy lâu dài cho các nền tảng chống bot mạnh, quản lý pool trình duyệt headless cùng cơ chế xoay vòng cookie và persona, có hỗ trợ trích xuất dữ liệu sản phẩm bằng LLM.

Luồng dữ liệu: Lập lịch → SQS → Crawl (PLP/PDP) → S3 → Parse → Kafka → Pipeline cập nhật trạng thái job → Cơ sở dữ liệu.

Công nghệ

Backend
NestJSTypeScriptNode.jsPuppeteerCheerio
Cơ sở dữ liệu
DynamoDBMongoDBMySQLTypeORM
Hạ tầng
KafkaAWS LambdaAWS SQSAWS S3Docker
Kiểm thử & Công cụ
Jest

Trách nhiệm chính & Triển khai thực tế

  • Xoay vòng Proxy Đa nhà cung cấp: Nghiên cứu và cải thiện cơ chế chọn proxy cho crawler: lọc proxy khả dụng theo nhà cung cấp và tier được cấu hình cho từng nền tảng, phân bổ round-robin để chia đều tải giữa các IP, và tạm chặn proxy theo từng nền tảng khi bị phát hiện (có thời hạn mở chặn), nhờ đó crawler ổn định hơn và giảm tình trạng bị chặn IP bởi các trang web mục tiêu.
  • Tích hợp Kafka: Tích hợp Kafka cho log sự kiện phân tán và xử lý bất đồng bộ giữa các dịch vụ, tách việc tiếp nhận kết quả thu thập khỏi luồng xử lý chính để các pipeline dữ liệu luôn ổn định khi lưu lượng tăng.
  • AI & Tự động hóa: Ứng dụng công cụ AI để tăng tốc triển khai tính năng, sinh unit test (Jest) và tự động hóa các bước kiểm tra; mọi đầu ra đều được rà soát kỹ trước khi tích hợp vào mã nguồn.