Kako radimo
Metodologija
Šta model radi
Model iz istorije utakmica procenjuje koliko je verovatan svaki ishod: pobeda domaćina, nerešeno, pobeda gosta, broj golova i da li oba tima daju gol.
Rezultat je verovatnoća, ne obećanje. Ishod sa verovatnoćom od 60 % se u proseku ne desi u četiri od deset sličnih utakmica.
Modeli
- Poisson — očekivani golovi iz snage napada i odbrane oba tima i prednosti domaćeg terena.
- Dixon-Coles — Poisson sa ispravkom za niske rezultate (0:0, 1:0, 0:1, 1:1) i manjom težinom starijih utakmica.
- Elo — rejting timova koji se menja posle svake utakmice.
- Logistička regresija i LightGBM — modeli nad osobinama forme, golova, rejtinga i odmora.
Model se uključuje tek kad prođe proveru na istorijskim podacima. Dok nijedan model nije uključen, portal ne objavljuje tipove. Svaki tip nosi naziv i verziju modela koji ga je napravio.
Provera bez curenja podataka
Model se proverava po vremenu: uči na starijim utakmicama, a ocenjuje se na kasnijim, koje nije video.
Za svaku istorijsku procenu koriste se samo podaci koji su postojali pre te utakmice. Budući rezultati, kasnije tabele i naknadno ispravljeni podaci ne ulaze u procenu.
Kada se tip ne objavljuje
Kad o jednom od timova nema dovoljno utakmica u podacima, model vraća INSUFFICIENT_DATA i tip se ne objavljuje. Ne pravimo procenu da bismo popunili listu.
Verovatnoća, pouzdanost i kvalitet podataka
To su tri različite stvari i ne mešamo ih:
- Verovatnoća — izlaz modela za izabrani ishod.
- Pouzdanost modela — koliko je procena oštra (niska, umerena, visoka).
- Kvalitet podataka — koliko je ulaza bilo dostupno i koliko su sveži.
Uz to se prikazuje i istorijski učinak modela na istom tržištu, sa brojem rešenih tipova.
Pečat pre početka
Pravila čuva baza podataka, a ne urednik. Tip upisan posle početka utakmice baza odbija. Vreme objave mora biti trenutno vreme, pa je antidatiranje nemoguće. Objavljen tip ne može da se izmeni ni obriše.
Svaki tip dobija SHA-256 otisak zapisa. Ishod se upisuje posle utakmice kao posebna revizija, pa se vidi i svaka kasnija ispravka.
Kako merimo učinak
- Uspešnost — udeo pogođenih među rešenim tipovima.
- Brier skor i log loss — koliko su verovatnoće bile blizu ishoda. Niže je bolje.
- Kalibracija — da li se tipovi od 60 % ostvaruju u oko 60 % slučajeva.
- ROI — samo uz definisan ulog i kvote zabeležene u trenutku objave. Bez toga ga ne prikazujemo.
Ispod 30 rešenih tipova procente ne prikazujemo, jer na tako malom uzorku najviše meri slučajnost. Uz svaku brojku stoje period i veličina uzorka.