IAP #11: Revizuirea functionalitatii ratingului

[•silviug]

Aici puteti da feedback pentru IAP #11: Revizuirea functionalitatii ratingului.

[•silviug]

In primul rand cred ca e bine sa avem rating. Deci n-as merge pe propunerea 3.

In al doilea rand, as vrea ca sistemul de rating sa rezolve si problema task-urilor share-uite intre concursuri. Momentan, daca un task face parte din mai multe concursuri, cand un utilizator trimite o solutie intra in clasamentele tutoror concursurilor. Asta este, in opinia mea, un lucru urat pentru ca polueaza clasamentele (chiar daca nu si rating-ul) si ingreuneaza mult obtinerea unor statistici (am vazut asta la blog-postul pentru runda 1).

In conditiile astea as merge pe propunerea 1 si vad doua variante la ea:

1. Asa cum e ea acum: te inscrii dinainte, daca nu te-ai inscris nu poti participa, te poti retrage (dar tot inainte de concurs).

Uitucii nu mi se pare ca or sa fie multi: specificam clar in newsletter ca trebuie sa te inscrii inainte si cu timpul o sa intre in constiinta colectiva.

Problema cu net-ul care pica cred ca e in balanta cu cea a cheating-ului: daca intri la rating numai cand citesti problemele atunci iti faci alt cont si citesti problemele, si cu ala pe bune bagi doar daca stii sa le faci. Oricum, faptul ca iti pica netul in cazul concursurilor noastre nu e mare chestie pentru ca poti merge la un prieten sa submitezi ce ai facut. Si apoi, poate sa-ti pice netul si dupa ce ai citit problemele si chestia asta nu o mai putem rezolva. Deci eu zic sa scoatem din discutie acest criteriu.

In conditiile astea, propunerea asta mi se pare cea mai buna solutie! Mai ales ca:

- stim dinainte cine are de gand sa participe pe bune
- elimina clar posibilitatile de cheating (te poti inscrie si retrage numai inaintea concursului, cand nu stii problemele)
- putem face clasamente si statistici mai bune

2. Permitem inscrierea si in timpul concursului

Asta elimina problema uitucilor dar introduce problema cheating-ului: un utilizator poate citi problemele si se inscrie daca stie sa le faca.

As vota si varianta asta daca se demonstreaza ca uitucii vor fi o problema majora.

Silviu

[•bogdan2412]

A treia propunere nu era de luat in serios

Si eu inclineam catre prima propunere la sedinta: dezavantajele precizate acolo sunt singurele care au fost ridicate la sedinta. Nu mi se par niste motive prea serioase pentru a evita propunerea, mai ales ca afecteaza o categorie foarte restransa de oameni. Daca iti cade netu ai probleme mai mari decat ratingul ca poti sa ratezi calificarea Daca iti revine netul in timpul concursului, oricum esti inscris de acum o saptamana si poti participa.

Zic ca trebuie sa tratam si situatia pentru concursuri foarte lungi (Happy Coding, All you can code), pentru ca o sa se gaseasca oameni care o sa vrea sa rezolve doar cateva probleme mai interesante / mai grele, nu sa se implice foarte mult in concurs. Ei ar trebui totusi sa poata trimite surse, fara sa apara in clasament sau sa conteze la statistici. Putem rezolva problema cu trimisul la mai multe runde si luand asta in considerare.

[•silviug]

@Bogdan: Intr-adevar, ar fi bine sa rezolvam si problema celor care vor doar o parte din concursurile lungi Tind sa cred ca si aceasta categorie e relativ restransa, dar daca nu e super complicat sa ii bucuram si pe ei de ce sa n-o facem. Ai vreo propunere in minte?

[•gcosmin]

in mod normal concusurile lungi sunt fara rating. asa ca poate putem sa trecem peste

[•silviug]

in mod normal concusurile lungi sunt fara rating. asa ca poate putem sa trecem peste

Imi place solutia asta - e simpla

[•bogdan2412]

in mod normal concusurile lungi sunt fara rating. asa ca poate putem sa trecem peste

Toate happy coding-urile si all you can code au fost cu rating Oricum asta se aplica si pentru concursuri de scurta durata: daca ai uitat sa te inscrii dar vrei sa vezi totusi cat faceai ar trebui sa poti sa faci asta. E altceva sa faci problemele in arhiva decat daca le faci in conditii de concurs.

Am stat sa ma gandesc si ridica cateva probleme Initial ma gandisem ca daca utilizatorul nu este inscris la nici o runda care sa cuprinda problema respectiva, sa se trimita job-ul cu runda Null, asa cum se face cu sursele trimise inainte de concursuri. Asta nu prea merge pentru ca permisiunile (de a vedea dimensiunea sursei, rezultatul evaluarii etc) depind de runda, deci trebuie tinuta totusi informatia asta. Cred ca cea mai buna solutie care sa rezolve si problema cu trimisul la mai multe runde e ca utilizatorii sa specifice runda direct (la pagina de submit) sau site-ul sa se prinda singur (daca un utilizator intra pe pagina problemei de pe pagina rundei x, e clar ca utilizatorul vrea sa trimita la runda x).

[•domino]

Cred ca cea mai buna solutie care sa rezolve si problema cu trimisul la mai multe runde e ca utilizatorii sa specifice runda direct (la pagina de submit) sau site-ul sa se prinda singur (daca un utilizator intra pe pagina problemei de pe pagina rundei x, e clar ca utilizatorul vrea sa trimita la runda x).

Si eu cred ca asta e cea mai buna solutie pentru problema mentionata de Silviu.

Legat de rating si de IAP as tinde tot spre solutia 1, care pare cea mai curata. Totusi, nu stiu daca e directia in care vrem sa mergem. Noi incercam sa ne rezolvam problemele noastre (nu putem face statistici bune, rating-ul nu este relevant), complicand procesele prin care trece un utilizator. Din cate stiu eu nu s-a plans prea multa lume ca rating-ul e irelevant sau ca nu avem nu stiu ce statistici.. dar ma astept ca userii sa se planga in momentul in care nu pot participa la un concurs ca au uitat sa se inscrie.
Ce vreau eu sa zic este ca oamenii mai mult vor sa participe la un concurs decat ii intereseaza rating-ul. Rating-ul de pe infoarena e oarecum "meaningless" din mai multe motive (nu avem destui participanti, dam concursuri pe grupe de varste, nu folosim numerele astea nicaieri). La TC de exemplu e clar, e o singura grupa mare de oameni (ma refer la divizia 1). Ai rating mare esti vazut altfel pe forum, poti propune probleme la SRM-uri, recruiterii te iau la ochi, etc. Noi nu prea avem nimic din astea si ca atare nu este "incentive" prea mare sa te masori in rating sau sa trisezi ca sa fie cat mai mare.
Nu sunt convins ca am dreptate, dar tind sa cred ca sunt oameni vor doar sa participe la concursuri pur si simplu, fara alte costuri aditionale (inregistrare). Nu putem face un sistem care sa minimize efortul suplimentar suportat de utilizator si sa ne si rezolve probleme noastre?

[•silviug]

@Bogdan:

In spiritul propunerii 1, putem oferi posibilitatea inscrierii "incognito"; cand un utilizator opteaza pentru aceasta, el poate trimite solutii conform restrictiilor rundei dar nu va aparea in clasamente si deci nu i se va modifica rating-ul.

Oricum, nu prea imi place de feature-ul asta pentru ca introduce o vulnerabilitate: daca sortam si pe baza numarului de submisii (de ex. la concursuri gen ACM) poti sa mai elimini din penalizari cu un al doilea user inscris incognito. Desi recunosc ca e relativ usor sa detectezi cheaterii parca tot nu as face-o. Pentru astfel de concursuri as scoate posibilitatea de inscriere incognito.

@Mircea:

Referitor la poluarea clasamentelor, e clar ca trebuie rezolvata. Totusi mie nu-mi place ideea ca utilizatorul sa aleaga runda la care trimite solutia. In loc sa se inscrie inainte trebuie sa completeze inca un camp pentru fiecare submit. Momentan nu putem sa ne dam seama "inteligent" in ce runda vrea sa trimita pentru ca ai submit si direct din problema, nu?

Cat despre rating si irelevanta lui nu sunt atat de sigur. Personal nu tin atat de mult la rating-ul de pe infoarena, dar cred ca face mai mult bine decat rau

Silviu

[•gcosmin]

Putem sa ne dam noi cu parerea despre cat de util e ratingu si cum e vazut el, mult si bine ca opinia majoritatii poate foarte usor sa difere. Ar fi foarte dragutz sa avem ceva feedback adevarat asupra propunerilor astora, ca sa ne putem face o idee mai exacta asupra lor. Noi vedem lucrurile altfel. Din pacate putina lume chiar zice cate ceva
Putin off topic: Poate sunt greu de gasit topicurile astea... oare ar merge ceva anunt pe pagina: "avem nevoie de feedback!!!"?

[•c_e_manu]

poate mai multa lume e interesata doar de arhiva de probleme care oricum devine din ce in ce mai numeroasa... pentru majoritatea conteaza mai putin concursurile, sau mai exact, rezultatele la concursuri, obiectivul pentru cei mai multi de aici fiind ONI... sunt bine venite antrenamentele gen Algoritmiada, All You Can Code si challengeuri... cel putin pentru mine conteaza mai putin ce rezultat am aici la concursurile respective... ma intereseaza mai mult exercitiul de a avea un timp limita pentru N probleme si de a lucra sub un anume stres... pe scurt: experienta! de aceea feedbackul e cam slabut...

ratingul are si el rolul lui... imi cer scuze daca s-a mai zis... dar o solutie ar fii ca la inscrierea la un concurs, utilizatorul sa selecteze daca sa i se modifice ratingul sau nu... astfel el apare in clasamente, vede problemele, dar in cazul in care are probleme cu netul/curentul/timpul ( ) nu ii va fii afectat ratingul... ar fii ca si cum nu a participat...

[•sigrid]

@Emanuel: Nu cred ca e bine asa  . Ce e asta sa alegi daca sa-ti modifice raitingul sau nu? Si oricum posibilitatea asta exista si in prezent. Poti alege sa nu ti se modifice raitingul daca nu te inscrii si poti participa si neinscris la concurs. Nu mi se pare atat de grav, dar nu inteleg de ce sa complicam sistemul cu inca o optiune: aceea de a alege sa ti se modifice sau nu. N-o zic cu rautate.

@echipa Infoarena: Personal votez pentru propunerea 2.

E adevarat, nu e corect ca cineva sa aleaga sa participe sau nu la concurs dupa ce a vazut problemele, dar nici asta nu mi se pare atat de grav. Chiar e rau daca participa doar cei care se simt in stare sa faca figura buna? Haideti sa tinem la obrazul si imaginea participantilor . Sa nu-i obligam sa se faca de ras. Exercitiul conteaza mai mult decat asta. Si antrenamentul  .

[•gabitzish1]

     Pe mine m'a motivat mai tot timpul ratingul, adica ma inscriu la concusuri pentru a'l vedea crescand cate un pic, iar concursurile fara rating nu mi se par la fel de atractive. E drept si ce zice Mircea <<Rating-ul de pe infoarena e oarecum "meaningless">>, dar aduce o oarecare satisfactie.

     Propunerea mea ar fi sa se tina cont in clasamente doar de cei inscrisi, restul sa poata submita, dar sa nu apara in clasament. Asa s'ar evita si aparitia unui utilizator in 3 clasamente diferite pt o singura, problema cum s'a intamplat la Runda 1 a Algoritmiadei.

     Cred ca e bine sa se pastreze regula cu inscrierile doar inainte de concurs, ca sa nu apara "problema cheating-ului" (utilizatorii care se inscriu doar daca stiu rezolva problemele).

[•c_e_manu]

@maria: da..acum daca o problema e la 4 grupe si tu esti inscris la o grupa, rezolvi problema comuna e ca si cum ai participa la toate cele 4 grupe... ceea ce nu e corect. eu ma refeream la faptul ca daca eu ma inscriu cu 3 zile inainte la concurs si intervine ceva neprevazut pentru ziua concursului sunt salvat ca mi-am ales sa nu mi se modifice ratingul... astfel m-am salvat de la a face o figura proasta cum zici tu ...ah, da... si de ce sa facem toti o figura buna... tot nu e corect... la OJI primesti subiectele inainte si dupa aceea decizi daca mai participi sau nu, pentru a scapa de un punctaj slabut, poate chiar nul? de aceea e concurs...sa existe figuri excelente, figuri bune, figuri mediocre si figuri proaste ce ar fii concursurile de info in care nu se poate da 'merge cells' la vreo 20 de campuri cu 0 puncte?

probabil insa ca cea mai buna solutie e: inscrierile deschise cu putin timp inainte de concurs, pana la 5-10 minute inainte de afisarea problemelor si astfel cine nu e sigur ca participa pana in ultima clipa are calea deschisa...

[•pauldb]

Eu ma gandesc la o alternativa mai simpla. Am putea face ca doar cei inscrisi cu rating sa apara in clasament. Astfel ar fi cateva avantaje:

1. Pentru concursuri gen Algoritmiada, vom lua in considerare doar clasamentul (deci cei inscrisi cu rating).
2. Pentru concursurile mai lungi, studentii pot participa linistit daca vor sa faca doar cateva probleme grele. (Sunt sigur ca nici lor nu le place sa se vada jos in clasament.)
3. Am constrange mai serios utilizatorii si ratingul ar deveni mai relevant.
4. Nu difera foarte mult fata de sistemul actual si cred ca nu necesita multa munca.
5. Stim fiecare participant la ce clasa s-a inscris, deci putem realiza clasamente si statistici corecte.

Singurul dezavantaj major pe care il vad, este ca relevanta ratingului nu este perfecta, deoarece unii utilizatori vor prefera sa nu se vada in clasament decat sa-si strice ratingul. Dar si asa, pentru ei concursul este mai mult o simulare neluata in calcul de nimeni, decat un concurs serios.

Restul problemelor gen pica curentul/netul ar avea aceleasi solutii ca si pana acum (submitezi de la un prieten, mergi la KFC ) si la capitolul acesta nu am avut utilizatori care sa se planga. In plus, utilizatorii vor fi anuntati din timp si vor avea timp sa se inscrie (cei ce vor sa participe). Oricum, acesta nu este o problema foarte serioasa, desi recunosc ca eu am ridicat-o la sedinta. 

Ar merita sa consideram si asta o alternativa la IAP?

[•silviug]

@Paul:

Imi place solutia ta: este un compromis bun intre situatia actuala si propunerea 1. Cateva completari:

- problema uitucilor ramane
- utilizatorii care vor sa participe tot sunt obligati sa se inscrie (vazut de Mircea ca un dezavantaj desi personal nu cred ca e foarte grav)
- trebuie tratat cazul special al submit-urilor utilizatorilor care nu sunt inscrisi; o solutie e ca task-urile acestora sa le punem intr-o runda default "incognito" sau asa ceva

[•bogdan2412]

Eu nu prea vad diferenta intre alternativa lui Paul si ceea ce am zis eu... (este o subpropunere mentionata in IAP la propunerea 1)... cei care sunt inscrisi apar in clasament si cei care nu, pot trimite, dar nu apar in clasament... Problema este cum tratam utilizatorii care nu vor sa participe cu rating / clasament (nu e asa straightforward cum parea la inceput).

Imi pare ca nu avem cum sa evitam separarea sistemului de submit pentru fiecare runda. In viitor vom suporta (probabil) concursuri virtuale cu probleme din arhiva. Ca sa evitam trimiterea si la concursul virtual/concursurile virtuale din care face parte problema si in arhiva, trebuie sa fie clar specificata pentru problema din ce runda face parte.

Sunt curios daca mai foloseste cineva pagina de submit cand are form-ul de submit la subsolul problemei. Daca de pe pagina rundei R faci click pe problema P te poate duce la un link de genu infoarena.ro/problema/P#R, hash-ul de la sfarsit poate fi usor determinat la momentul submitului si rezolvam problema fara ca utilizatorul sa aiba vreo interventie in plus (presupunand ca n-are javascript dezactivat degeaba).

[•wickedman]

Eu cred că rating-ul trebuie privit ca pe o funcționalitate marginală, folosită în special de utilizatorii avansați. Ca și Mircea, nu cred că e bine să îngreunăm și pe ceilalți utilizatori.

Un utilizator obișnuit trebuie să beneficieze de toate privilegiile unui concurs, indiferent dacă îi pasă sau nu de rating. Mai exact, un utilizator obișnuit...

    * Poate citi probleme și poate trimite soluții oricând pe parcursul unei runde.
    * Apare în clasamentul rundei la sfârșit. Se poate compara cu ceilalți participanți.
    * Este eligibil pentru premii / calificări.

Ca atare, propunerea (1) nu îmi surâde, deși recunosc că ar fi cea mai „curată” inginerește.
Nici propunerea (2) nu cred că e în regulă. Mi se pare că subminează toate rating-urile. Un utilizator care vrea să încerce din curiozitate o singură problemă ușoară din 5 va umfla artificial rating-ul celorlalți prin comparație.


Pornind de la motivația IAP-ului și de la mesajele de pe acest thread, cred că trebuie să adresăm două clase ortogonale de probleme.    (Mă scuzați că repet ce s-a zis deja, fac și eu o sinteză ca să înțeleg mai bine.)

(a) Probleme de relevanță:
    * Unii participanți își aleg „bătăliile” în mod favorabil pentru rating-ul lor. De exemplu, unii concurenți participă numai la grupe mai mici decât vârsta lor.
    * Unii participanți vor trișa dacă au ocazia, și asta ar compromite toate rating-urile. Spre exemplu, nu-i putem lăsa să aleagă dacă se înscriu după ce începe concursul.

și (b) Probleme „tehnice”:
    * În ce clasament apari dacă trimiți soluția la o problema comună a doua runde?
    * Problema „uitucilor”, și problema celor care se înscriu la un concurs din timp însă nu mai pot participa.
    * Cât de ușor e să facem clasamente și statistici?


În loc de propunerile (1) și (2), cred că putem să păstrăm sistemul actual dar cu următoarele amendamente / mențiuni.

Pentru problemele (a):

    * „culori relevante”, oarecum ca la TC: Fiecare rundă va avea asociată culorile de utilizator care se pot înregistra la ea. Un „roșu” nu se poate înscrie la Junior Challenge ca să își modifice rating-ul însă poate să participe din curiozitate. Concursurile lungi, sau cele cu o mie de probleme variate nu vor afecta rating-ul.
      (Alternativ am putea să nu ținem de cont de culoare la înregistrare, însă atunci când actualizăm rating-ul unui utilizator vom compara rezultatul lui numai cu rezultatele celor cu rating similar.)
    * Utilizatorii care vor să „joace cu rating” trebuie să se înscrie în prealabil. Cineva poate participa și dacă nu s-a înregistrat, însă fără rating.

Pentru problemele (b): (Din nou, repet ce s-a zis deja. Bear with me.)

    * Facem o pagină de submit mai deșteaptă. S-au propus mai multe soluții, am și eu câteva idei. Vom ști clar la ce runde participă conștient un concurent. Asta rezolvă și faptul că acum e greu să facem statistici!
    * Facilitate pentru de-înregistrare.
    * „Uitucii” nu ne interesează. Rating-ul este o faciltiate pentru utilizatori avansați. N-au voie să uite.

[•silviug]

@Cristi:

Ai sumarizat bine discutiile de pana acum si intr-adevar avem de a face cu doua probleme de facturi diferite:

(a) Relevanta rating-ului

Momentan avem o procedura de calculare a rating-ului de care putem spune, cel mult, ca da rating-uri utilizatorilor in functie de cat de buni sunt comparativ cu utilzatorii din aceeasi categorie de varsta. Sub nicio forma nu este un rating global!

Ceea ce sugerezi tu este o schimbare a procedurii de rating (prin restrictionari aplicate fie rundelor, fie subseturilor de useri) astfel incat sa avem rating global. Consider ca problema este una deloc simpla: avem de comparat utilizatori din grupe de varsta diferite,  mai multe tipuri de concursuri si concursuri gen Algoritmiada unde avem restrictii de varsta. Dupa parerea mea, procedura de rating trebuie sa modeleze tot acest amalgam de detalii preferabil intr-un mod simplu.

Eu as propune ca discutia aceasta sa o izolam intr-un nou IAP si sa organizam niscaivai brainstorm-uri pentru ea. Pana atunci, putem lasa rating-ul cum e acum sau putem sa-l scoatem (pe motive de irelevanta).

(b) Problemele de factura tehnica

Izolat de relevanta rating-ului, putem rectifica modalitatea de submit si de inscriere actuala destul de rapid. Personal as vrea sa vad clasamente curate si job-uri mai putine in monitor cat mai rapid cu putinta si sunt dispus sa pun osul la treaba (cand scap de temele de la facultate).

Silviu

[•wickedman]

Bune remarci, Silviu!

Izolat de relevanta rating-ului, putem rectifica modalitatea de submit si de inscriere actuala destul de rapid. Personal as vrea sa vad clasamente curate si job-uri mai putine in monitor cat mai rapid cu putinta si sunt dispus sa pun osul la treaba (cand scap de temele de la facultate).

Sunt de acord că problemele (b) pot și merită abordate cât mai repede, până decidem cum reformăm rating-ul.
Cred că e de ajuns să facem un tichet pentru „pagina de submit mai deșteaptă” și un tichet pentru „de-înregistrare.”  Prima e un bug, a doua e un feature necesar. Amândouă sunt probleme presante și cred că valabile indiferent de cum vom schimba sistemul de rating.

În rest am putea continua discuția tot aici, în același IAP.

[•wickedman]

Ceea ce sugerezi tu este o schimbare a procedurii de rating (prin restrictionari aplicate fie rundelor, fie subseturilor de useri) astfel incat sa avem rating global.

Da, așa e. Rating-ul cred că ar trebui să fie global, un număr de comparație absolut, ca la TC. Indiferent dacă ești zmeu la gimnaziu, e bine să realizezi cât de buni sunt „ăi mai mari”, și să încerci să-i depășești repede.
De altfel, nici nu văd cum am putea avea vreodată rating-uri relevante pe grupe de vârstă.

[•bogdan2412]

Nu prea sunt de acord cu ideea ca ratingul e destinat doar utilizatorilor avansati... Ideea ratingului era sa masoare performantele utilizatorilor in regim de concurs, si aceasta masura sa motiveze competitia intre oameni. Asta am presupus avand in vedere ca atunci cand dai click pe "clasament" te duce la rating, nu la arhiva de problema (care era factor motivant inainte de introducerea rating-ului). Daca nu e facut sa fie folosit de toata lumea, mi se pare ca e implementat doar ca sa fie ...

La runda 1 de Algoritmiada s-au inscris mult mai multi oameni decat au trimis surse... Cati dintre cei care au submitat surse nu s-au inscris la runda? Nu cred ca e cineva care chiar priveste inscrierea la o runda ca o problema... Nu e ca la topcoder cand ai 2 ore sa te inregistrezi si se poate sa ratezi o runda daca de exemplu nu ajungi acasa la timp... ai saptamani timp in care sa te inregistrezi, nu ai cum sa ratezi o runda pentru ca nu te-ai inscris.

[•sigrid]

Acest IAP a fost respins in sedinta din 12 ianuarie 2009 (http://infoarena.ro/planificare/sedinta-20090112).