Preskoči na sadržaj

Kako radimo

Metodologija

Brojeve na SiguranTipu daje statistički model, ne jezički model i ne urednik. Ova strana objašnjava odakle dolaze i kako ih proveravamo.

Šta model radi

Model iz istorije utakmica procenjuje koliko je verovatan svaki ishod: pobeda domaćina, nerešeno, pobeda gosta, broj golova i da li oba tima daju gol.

Rezultat je verovatnoća, ne obećanje. Ishod sa verovatnoćom od 60 % se u proseku ne desi u četiri od deset sličnih utakmica.

Modeli

  • Poisson — očekivani golovi iz snage napada i odbrane oba tima i prednosti domaćeg terena.
  • Dixon-Coles — Poisson sa ispravkom za niske rezultate (0:0, 1:0, 0:1, 1:1) i manjom težinom starijih utakmica.
  • Elo — rejting timova koji se menja posle svake utakmice.
  • Logistička regresija i LightGBM — modeli nad osobinama forme, golova, rejtinga i odmora.

Model se uključuje tek kad prođe proveru na istorijskim podacima. Dok nijedan model nije uključen, portal ne objavljuje tipove. Svaki tip nosi naziv i verziju modela koji ga je napravio.

Provera bez curenja podataka

Model se proverava po vremenu: uči na starijim utakmicama, a ocenjuje se na kasnijim, koje nije video.

Za svaku istorijsku procenu koriste se samo podaci koji su postojali pre te utakmice. Budući rezultati, kasnije tabele i naknadno ispravljeni podaci ne ulaze u procenu.

Kada se tip ne objavljuje

Kad o jednom od timova nema dovoljno utakmica u podacima, model vraća INSUFFICIENT_DATA i tip se ne objavljuje. Ne pravimo procenu da bismo popunili listu.

Verovatnoća, pouzdanost i kvalitet podataka

To su tri različite stvari i ne mešamo ih:

  • Verovatnoća — izlaz modela za izabrani ishod.
  • Pouzdanost modela — koliko je procena oštra (niska, umerena, visoka).
  • Kvalitet podataka — koliko je ulaza bilo dostupno i koliko su sveži.

Uz to se prikazuje i istorijski učinak modela na istom tržištu, sa brojem rešenih tipova.

Pečat pre početka

Pravila čuva baza podataka, a ne urednik. Tip upisan posle početka utakmice baza odbija. Vreme objave mora biti trenutno vreme, pa je antidatiranje nemoguće. Objavljen tip ne može da se izmeni ni obriše.

Svaki tip dobija SHA-256 otisak zapisa. Ishod se upisuje posle utakmice kao posebna revizija, pa se vidi i svaka kasnija ispravka.

Kako merimo učinak

  • Uspešnost — udeo pogođenih među rešenim tipovima.
  • Brier skor i log loss — koliko su verovatnoće bile blizu ishoda. Niže je bolje.
  • Kalibracija — da li se tipovi od 60 % ostvaruju u oko 60 % slučajeva.
  • ROI — samo uz definisan ulog i kvote zabeležene u trenutku objave. Bez toga ga ne prikazujemo.

Ispod 30 rešenih tipova procente ne prikazujemo, jer na tako malom uzorku najviše meri slučajnost. Uz svaku brojku stoje period i veličina uzorka.

Meni