Finální holdout – 2025/26

Evaluation #2 · 22.08.2026 17:42:54 · source backtest #6

Holdout rows2 279

Observed Over rate52,52 %

Frozen configdecay365-prior20-carry50

Model commitd6efb6e

Pravidla předem

Kandidát	Poisson v2 raw pouze
Specifikace	Commit d6efb6e · decay365-prior20-carry50
Refit / trénování na holdoutu	NE
Market	Benchmark pouze, nikoli vstup modelu
Hlavní metriky	Brier score a log loss
ROI / threshold	Nezapočteno a nepoužito pro rozhodnutí
Bootstrap	5 000 párových event-level replikací, seed 42

Výsledek na nedotčené 2025/26

Model	Brier	Log loss	Calibration error	Počet
Base-rate	0,2495	0,6921	0,94 %	2 279
Poisson v1	0,2500	0,6937	5,61 %	2 279
Poisson v2 raw	0,2472	0,6876	2,04 %	2 279
Opening market	0,2436	0,6800	1,14 %	2 279

Paired bootstrap rozdílů

Rozdíl je vždy v2 − comparator. Záporná hodnota znamená lepší v2.

Porovnání	Metrika	Bodový rozdíl	95% CI	P(v2 lepší)
v2_minus_base_rate	Brier	-0,0022	-0,0052 až 0,0007	93,18 %
v2_minus_base_rate	Log loss	-0,0045	-0,0106 až 0,0014	93,04 %
v2_minus_v1	Brier	-0,0028	-0,0064 až 0,0007	93,40 %
v2_minus_v1	Log loss	-0,0061	-0,0140 až 0,0016	93,82 %
v2_minus_market	Brier	0,0036	0,0010 až 0,0062	0,24 %
v2_minus_market	Log loss	0,0075	0,0022 až 0,0128	0,26 %

Všechny ligy

Liga	Počet	Base Brier	V1 Brier	V2 Brier	Market Brier	V2 log loss
England Championship	547	0,2501	0,2535	0,2520	0,2485	0,6973
England Premier League	380	0,2487	0,2434	0,2491	0,2470	0,6915
France Ligue 1	301	0,2496	0,2503	0,2531	0,2401	0,6996
Germany Bundesliga	301	0,2458	0,2335	0,2287	0,2244	0,6495
Italy Serie A	375	0,2515	0,2660	0,2522	0,2524	0,6978
Spain La Liga	375	0,2501	0,2484	0,2434	0,2423	0,6799

Immutable metodika

{
    "candidate": "Only the frozen Poisson v2 raw candidate was evaluated.",
    "comparators": [
        "development base-rate",
        "frozen Poisson v1",
        "opening market no-vig"
    ],
    "main_metrics": [
        "Brier score",
        "log loss"
    ],
    "paired_bootstrap": "Event-level paired bootstrap of v2 minus comparator; negative difference favors v2.",
    "bootstrap_iterations": 5000,
    "bootstrap_seed": 42,
    "league_breakdown": "All leagues are included; no league was removed after seeing results.",
    "no_post_holdout_tuning": true,
    "immutable_result": true
}