Nghiên cứu tái lập
Tín hiệu lịch sử có vượt ngẫu nhiên?
Một pipeline chronological, walk-forward được dùng để kiểm tra câu hỏi này ngoài mẫu — kể cả khi kết quả là âm.
Các thử nghiệm này đánh giá mô hình trên dữ liệu lịch sử. Chúng không cung cấp khả năng dự đoán đáng tin cậy cho kỳ quay tương lai.
Kết luận quick experiment
Chưa qua production gate
Chưa đủ bằng chứng cho thấy mô hình tốt hơn ngẫu nhiên và các heuristic bắt buộc.
Phương pháp và chống leakage
- Game: Mega 6/45, 6 số chính; 27/08/2021–14/10/2026.
- Chia tuần tự 60% train, 20% validation, 20% final holdout; không random split.
- Feature của kỳ T được chốt trước khi kết quả T cập nhật state; không đọc analytics “current”.
- Walk-forward dùng lịch sử mở rộng; holdout không được dùng để chọn feature hoặc hyperparameter.
- Random ranking chạy 5 seed; paired bootstrap 2.000 mẫu theo kỳ.
Metrics trên final holdout
K = 6. Brier/log loss thấp hơn tốt hơn; Recall@K và số bóng khớp cao hơn tốt hơn.
| Phương pháp | Brier ↓ | Log loss ↓ | Recall@6 ↑ | ECE ↓ | Khớp TB |
|---|---|---|---|---|---|
| Bayesian smoothing | 0.11571715 | 0.39336940 | 0.12916667 | 0.00000000 | 0.77500 |
| Uniform probability | 0.11555556 | 0.39267447 | 0.12812500 | 0.00000000 | 0.76875 |
| Random ranking (5 seeds) | 0.11555556 | 0.39267447 | 0.13604167 | 0.00000000 | 0.81625 |
| Frequency high | 0.11910926 | 0.43323480 | 0.12812500 | 0.03651852 | 0.76875 |
| Long gap | 0.11555556 | 0.39267447 | 0.13854167 | 0.00000000 | 0.83125 |
Bất định thống kê
Δ Brier dương nghĩa là model tốt hơn baseline. Khoảng tin cậy 95% chứa 0 không được xem là thắng.
| Baseline | Δ Brier | CI thấp | CI cao |
|---|---|---|---|
| Uniform probability | -0.00016159 | -0.00034455 | 0.00002222 |
| Random ranking | -0.00016159 | -0.00034455 | 0.00002222 |
| Frequency high | 0.00339211 | 0.00255544 | 0.00423072 |
| Long gap | -0.00016159 | -0.00034455 | 0.00002222 |
Calibration và giới hạn
ECE bằng 0 trong cấu hình 10 bin vì toàn bộ xác suất rơi vào cùng bin quanh tỷ lệ nền 6/45; đây không phải bằng chứng calibration hoàn hảo.
Xác suất ở đây là xác suất biên một bóng xuất hiện trong historical evaluation, không phải xác suất trúng giải. Các bóng trong cùng kỳ không được diễn giải như quan sát độc lập.