Phần 6 — Production checklist: Backup, alerting, troubleshooting

Series Observability với Grafana Stack — 6 phần:

1. Phần 1 — Tổng quan: Observability với Grafana LGTM, Alloy và SeaweedFS

2. Phần 2 — SeaweedFS: Object storage gọn nhẹ cho Loki, Mimir, Tempo

3. Phần 3 — Grafana Alloy: Collector duy nhất cho metrics, logs, traces

4. Phần 4 — Loki, Mimir, Tempo: Triển khai 3 storage backends

5. Phần 5 — Grafana, Pyroscope, Beyla: UI, profiling và auto-instrumentation

6. Phần 6 — Production checklist: Backup, alerting, troubleshooting ← bạn đang đọc

Trước khi đẩy lên production

Stack đã chạy. Giờ là phần "phòng thủ": backup, alert, monitor stack tự nó, và những lỗi kinh điển cần tránh.

1. Backup checklist

Mất 1 thứ trong danh sách này = mất luôn observability. Phải backup theo tần suất:

2. Alerts cho chính stack

Stack monitor app — nhưng ai monitor stack? Phải có self-monitoring rules. Tạo file mimir/rules/observability-stack.yml:

groups:
  - name: stack-health
    interval: 30s
    rules:
      - alert: AlloyDown
        expr: up{job=~"alloy.*"} == 0
        for: 2m
        labels: { severity: critical }
        annotations:
          summary: "Alloy node {{ $labels.instance }} down"

      - alert: LokiIngestErrors
        expr: rate(loki_distributor_ingester_appends_failures_total[5m]) > 0
        for: 5m
        labels: { severity: warning }

      - alert: MimirIngesterMemoryHigh
        expr: container_memory_usage_bytes{name=~"mimir.*"} / container_spec_memory_limit_bytes > 0.85
        for: 10m
        labels: { severity: warning }

      - alert: SeaweedDiskAlmostFull
        expr: SeaweedFS_volumeServer_disk_bytes{type="free"} / SeaweedFS_volumeServer_disk_bytes{type="total"} < 0.10
        for: 15m
        labels: { severity: critical }
        annotations:
          summary: "SeaweedFS volume {{ $labels.instance }} còn <10% disk"

      - alert: TempoIngestionRateDrop
        expr: rate(tempo_distributor_spans_received_total[5m]) == 0
        for: 10m
        labels: { severity: warning }

3. Capacity planning nhanh

Công thức gần đúng cho ngân sách hardware:

Multiply theo số service, +50% buffer cho growth.

4. Lỗi kinh điển

5. Security checklist

• SeaweedFS: bật IAM (-iam.config), không dùng dummy test/test trong production. Đổi sang access key per-tenant.

• TLS: terminate ở reverse proxy (Traefik/Nginx) — Grafana/Mimir/Loki/Tempo nói nhau qua plaintext trong overlay network thì OK.

• Grafana: bật OAuth/OIDC, tắt user signup, set GF_AUTH_ANONYMOUS_ENABLED=false.

• Multi-tenancy: enforce X-Scope-OrgID ở reverse proxy nếu có nhiều team. Không trust header từ client.

• Beyla: privileged + host PID là quyền rộng — chỉ chạy trên node bạn kiểm soát.

• Network: không expose port 9333 (SeaweedFS master), 8888 (Filer), 8080 (Mimir) ra public — chỉ Grafana :3000 sau auth.

6. Daily ops checklist

• SeaweedFS disk usage < 80% trên mọi volume?

• Alloy nodes "up" full count? (so với count(up{job="docker_swarm_node"}))

• Loki / Mimir / Tempo ingestion rate có drop bất thường không?

• Backup metadata Filer có chạy đêm qua không?

• Có alert nào pending lâu hơn 24h chưa được ack?

7. Khi cần scale

Khi 1 component nghẹt, chuyển từ monolithic sang microservice mode:

Kết

Bạn đã có một observability stack production-ready: gọn nhẹ, chi phí vận hành thấp, đủ mạnh cho team nhỏ–vừa, và mở đường scale lên hàng trăm node khi cần.

Series 6 phần đến đây kết thúc. Nếu bạn triển khai theo và gặp issue cụ thể, mở Grafana Alloy UI ở :12345/graph luôn là chỗ đầu tiên cần xem.

← Phần 5: Grafana, Pyroscope, Beyla: UI, profiling và auto-instrumentation