JAVA Webservice bị treo

1. Phát Hiện Lỗi.

  - 08:50 - 22/04/2024 nhận được thông báo lỗi từ phòng phát triển sản phẩm sau khi kiểm tra thì thấy CMS không ghi nhận và không có thống kê đăng ký/mua gói/hủy dịch vụ của ngày 20/04, 21/04, 22/04.

2. Phạm vi ảnh hưởng

  - Toàn bộ các chức năng của web service đều dừng hoạt động.

3. Nguyên Nhân

  - Web service bị treo, kiểm tra trạng thái thấy running nhưng không nhận được request.

4. Phương án xử lý

    - Khắc phục tạm thời: Restart lại web service - Đã restart web service vào lúc 09:12 - 22/04/2024.

    - Khắc phục dài hạn: 

        + Thời điểm gia hạn của user vào các khung giờ (1h, 9h, 15h, 19h ) trước mỗi khung giờ gửi 1 request lên web service để check nếu sau 2 phút không nhận được phản hồi thì gửi cảnh báo về telegram, sms để vào restart lại web service.

        + Viết một tiến trình cứ 10 phút gửi 1 request lên web service để check nếu sau 2 phút không nhận được phản hồi thì gửi cảnh báo về telegram, sms để vào restart lại web service.

        + Cứ khoảng 8-9h sẽ kiểm tra log giao dịch nếu thời gian hiện tại trừ thời gian log giao dịch đó mà lớn hơn 9h thì gửi cảnh báo về  telegram, sms để vào restart lại web service.

5. Bài học rút ra