infoarena

infoarena - concursuri, probleme, evaluator, articole => Concursuri => Subiect creat de: Petru Trimbitas din Aprilie 09, 2013, 22:38:14



Titlul: ONI 2013
Scris de: Petru Trimbitas din Aprilie 09, 2013, 22:38:14
Cel mai important este sa spuneti ca sunteti sau nu de acord, poate reusim sa schimbam ceva si sa avem un oni organizat ca la carte :)
http://blogpetru.wordpress.com/2013/04/09/oni-2013-si-nu-numai/


Titlul: Răspuns: ONI 2013
Scris de: Paul-Dan Baltescu din Aprilie 09, 2013, 22:38:46
Comentariile mele la articolul initial:

  • Nu cred ca ar strica un sistem mai complex cu detailed feedback la OJI, ONI, baraj, lot, etc. Totusi, costul implementarii unui astfel de sistem si mai ales al instalarii lui este destul de mare pentru potentialul actual al organizatorilor olimpiadei si nu exista motivatie suficienta pentru ca unii oameni sa-si piarda luni intregi de munca pentru o mana de oameni neatenti.
  • E ok ideea cu punctajul maxim dintre toate submisiile, atat timp cat numarul de submisii e limitat (de exemplu 10-20). Altfel, deschidem usa la o noua clasa de bulaneli. Totusi, trebuie rezolvata intai problema precedenta.
  • Cel mai tare cred ca se poate face ceva impotriva singurei probe de la baraj. Toti suntem constienti ca e o problema si stim cauza principala: banii. Exista destul de multi fosti olimpici la informatica care castiga bine si care poate ar fi interesati sa dea o mana de ajutor la imbunatatirea conditiilor actuale de la olimpiada. Probabil ca o donatie acceptabila din partea a 10 oameni ar rezolva problema anual. Ma gandesc ca infoarena ar putea reprezenta un canal transparent prin care sa se rezolve problema asta.


Titlul: Răspuns: ONI 2013
Scris de: Murtaza Alexandru din Aprilie 09, 2013, 22:41:48
Din tot ceea ce sa zis in postul anterior propun si eu un sistem nou, care (cel putin personal) PARE mult mai bun.

Unii vor conditii ca la IOI, pentru CALIFICAREA la IOI, ceilalti vor sa aiba concursuri cat mai friendly pentru incepatori pentru a ii incuraja.

De ce sa nu se separe ONI de baraj/lot/calificare la competitiile internationale? Astfel ii multumim pe toti (sau cel putin o mare parte), pentru cei care incep informatica in clasa a 9-a ONI-ul este suficient pentru a ii forma mai departe (este foarte putin probabil sa se califice cineva la IOI in primul an de info). Iar cei care isi pun problema competitiilor internationale au suficienta experienta pentru un sistem ca si la IOI. Pe langa asta am rezolva problemele de tipul "am busit la OJI si din cauza asta nu ma duc la BOI/CEOI/IOI".


Titlul: Răspuns: ONI 2013
Scris de: Alex Velea din Aprilie 09, 2013, 22:46:29
Pe langa asta am rezolva problemele de tipul "am busit la OJI si din cauza asta nu ma duc la BOI/CEOI/IOI".

Asa ceva au iranienii, nu?
Doar ca ei au sarit peste partea cu Oni ...

Sau am putea pune wildcarduri pt baraj, cum a fost pana .. acum ceva timp.
Daca ai 2 sanse si tot gresesti, inseamna ca problema vine de la tine.


Titlul: Răspuns: ONI 2013
Scris de: Eugenie Daniel Posdarascu din Aprilie 09, 2013, 22:58:59
Din tot ceea ce sa zis in postul anterior propun si eu un sistem nou, care (cel putin personal) PARE mult mai bun.

Unii vor conditii ca la IOI, pentru CALIFICAREA la IOI, ceilalti vor sa aiba concursuri cat mai friendly pentru incepatori pentru a ii incuraja.

De ce sa nu se separe ONI de baraj/lot/calificare la competitiile internationale? Astfel ii multumim pe toti (sau cel putin o mare parte), pentru cei care incep informatica in clasa a 9-a ONI-ul este suficient pentru a ii forma mai departe (este foarte putin probabil sa se califice cineva la IOI in primul an de info). Iar cei care isi pun problema competitiilor internationale au suficienta experienta pentru un sistem ca si la IOI. Pe langa asta am rezolva problemele de tipul "am busit la OJI si din cauza asta nu ma duc la BOI/CEOI/IOI".

+1 :). Desi parerea mea ca sunt doar vise.


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 09, 2013, 23:02:16
Ce parere aveti de prezenta evaluator local instalat pe fiecare calculator care sa-ti spuna daca out-ul tau e corect ?


Titlul: Răspuns: ONI 2013
Scris de: Alex Velea din Aprilie 09, 2013, 23:05:45
Ce parere aveti de prezenta evaluator local instalat pe fiecare calculator care sa-ti spuna daca out-ul tau e corect ?

Personal cred ca intervin probleme de securitate.
De implementat, cred ca ar fi foarte usor daca ar fi legate totusi la retea.
Stiu stiu .. cablu .. bani.
Dar sa pui niste oameni sa copieze un evaluator pe fiecare calculator, mi se pare prea mult de lucru.


Titlul: Răspuns: ONI 2013
Scris de: Puscas Sergiu din Aprilie 09, 2013, 23:07:04
Citat
În multe județe locurile sunt distribuite neuniform. De exemplu in Bucuresti la clasa a 11-a au fost prea puține locuri în timp ce clasa a 9-a a avut 10 locuri.
Sunt de acord in legatura cu distributia locurilor pe clase, dar nu cred ca este implicata direct comisia care organizeaza ONI. In judetul meu, inspectoratul judetean a decis repartizarea celor 4 locuri, singurul criteriu de departajare fiind punctajul obtinut (s-au calificat la ONI primele 4 punctaje, indiferent de clasa). E de asteptat ca diferiti algoritmi de departajare sa fie de preferat in defavoarea altora, dar totul ramane la latitudinea inspectoratelor judetene.

Citat
De exemplu dacă anul trecut un județ a avut rezultate bune la a 10-a, anul următor clasa a 11-a va avea locuri in plus. La clasa a 9-a cred că ar trebui sa fie făcută o medie a rezultatelor județului din anii trecuți de la clasa a 9-a. Din câte știu eu în ultimii doi ani dintre cei care au fost in lot in anul precedent cel putin doi oameni nu au mai trecut de oji. De aici ne dăm seama că selecția pentru oni sau selecția loturilor (sau ambele  ) nu sunt făcute cum ar trebui.
Cred ca cel mai in regula (si simplu) ar fi sa se distribuie locurile in functie de punctajul obtinut indiferent de clasa. Daca exista 3 elevi buni la clasa a 12-a care au punctaje foarte mari, iar la restul claselor punctajele sunt mici, atunci cei 3 ar trebui sa se califice chiar daca sunt in aceeasi clasa. In cazul unor punctaje apropiate, ar fi de preferat calificarea unui elev din clasele 10-11-12, in defavoarea unuia de a 9-a (clasa la care se obtin punctaje mari cu un nivel mai scazut de cunostinte).

Citat
Din moment ce la olimpiadele și concursurile internaționale exista feedback parțial mi s-ar părea normal ca și la selecția pentru ele să existe feedback. Mi se pare o prostie sa iei 0 puncte pe o problemă pentru că ai MLE sau pentru că nu ai respectat cu strictețe formatul fișierului de ieșire. Totuși aici sunt subiectiv pentru că am fost în ambele situații.
Si in aceasta privinta sunt de acord. Cateva teste de feedback date de comisie, in formatul celor de la Algoritmiada, ar putea reduce numarul de esecuri datorate unor astfel de greseli. Chiar daca testele de feedback nu vor face parte din setul final pe care vor fi evaluate sursele, faptul ca participantii pot vedea cum se comporta evaluatorul comisiei cu sursele lor le asigura un anumit grad de siguranta.

Citat
Cred că problema asta s-ar putea rezolva destul de ușor la oji din moment ce toate calculatoarele dintr-o școală sunt conectate la o rețea. La oni ar exista două soluții: Evaluator local care ar cripta(hashui)  fișierul .out si verificator in caz că sunt mai multe răspunsuri posibile sau o rețea de calculatoare la oni. Rețeaua ar necesita o investiție dar pe urmă ar putea fi folosită la mai multe ediții.
In cazul in care testele de feedback nu fac parte din cele definitorii, nu ar fi nevoie de criptarea lor, usurand astfel munca comisiei.

Citat
O problemă destul de mare mi se pare că e selecția lotului. În ultimii doi ani după noua metodă de selecție în care se ține cont și de rezultatul de la oni mulți de clasa a 9-a sau a 10-a îi depășesc pe cei mai mari datorită coeficientului. Mi se pare nedrept să departajezi elevi după subiecte diferite și relativ față de ceilalți din generația lor. Cred că ar fi mult mai potrivită înlocuirea zilei de pauză cu o probă de baraj sau un set de probleme mai numeros.
Cred ca singurul motiv pentru care ar merita pastrat coeficientul de la ONI este pentru a usura calificarea in lot a unui elev bun, care s-a descurcat la cele doua probe, dar care se intampla sa aiba o zi proasta la proba de baraj.
Reintroducerea celei de-a 2-a probe de baraj ar rezolva de la sine atat problema pe care incearca sa o rezolve coeficientul, cat si problemele pe care acest sistem le atrage de la sine (calificarea in lot a prea multor elevi din clasele 9-10). In plus, un set de 6 probleme (in comparatie cu 3) permite un grad mult mai ridicat de variatie, motiv pentru care ar creste si nivelul de acuratete al departajarii.

Citat
Totuși chiar și cu 3 probleme s-ar putea face o departajare bună dacă comisia ar prezenta un set de probleme cu teste bine realizate și cu probleme bine calibrate ca și dificultate.
Din nou, introducerea a 2 probe de baraj ar rezolva aceasta problema.

Citat
În plus atât timp cât nu exista feedback nu sunt de acord cu problemele interactive deoarece nu prea ai cum să-ți dai seama că interacționezi corect cu programul comisiei. De exemplu anul ăsta au fost foarte multe punctaje de 0 (http://oni2013.info.tm/r_b.pdf) la o problemă la care era destul de simplu sa iei 40 puncte din cauză că uita să citească un 1 afișat de programul comisiei, iar exemplul de pe foaie nu era prea cuprinzător.
Si in acest caz, cred ca ar trebui introdus un mini-set de teste de feedback, sau chiar programul comisiei care ruleaza in paralel cu executabilele participantilor, pentru a putea simula interactiunea dintre cele 2.


In legatura cu evaluarea in formatul IOI, cred ca ar fi bine sa fie aplicata cel putin in cazul probei de baraj, daca nu chiar pentru toate probele de concurs.


Titlul: Răspuns: ONI 2013
Scris de: Paul-Dan Baltescu din Aprilie 09, 2013, 23:07:17
Ce parere aveti de prezenta evaluator local instalat pe fiecare calculator care sa-ti spuna daca out-ul tau e corect ?

Personal cred ca intervin probleme de securitate.
De implementat, cred ca ar fi foarte usor daca ar fi legate totusi la retea.
Stiu stiu .. cablu .. bani.
Dar sa pui niste oameni sa copieze un evaluator pe fiecare calculator, mi se pare prea mult de lucru.

Sistemele de operare nu sunt instalate de la zero pe calculatoarele de la ONI? Daca da, atunci nu vad o problema in a pune evaluatoarele local.


Titlul: Răspuns: ONI 2013
Scris de: Murtaza Alexandru din Aprilie 09, 2013, 23:09:13
Ce parere aveti de prezenta evaluator local instalat pe fiecare calculator care sa-ti spuna daca out-ul tau e corect ?

Personal mi se pare useless atata timp cat nu are si niste teste relevante, pentru ca daca ai timp sa iti generezi teste singur in concurs, atunci ai timp si de ceea ce ar face evalul (sa verifici afisarea, formatul, etc.). Totusi, la problemele interactive cred ca ar fi foarte folositor sa avem evaluatorul instalat, astfel s-ar micsora probabilitatea de a busi problema din cauza protocolului sursa-eval.


Titlul: Răspuns: ONI 2013
Scris de: Eugenie Daniel Posdarascu din Aprilie 09, 2013, 23:12:27
Ce parere aveti de prezenta evaluator local instalat pe fiecare calculator care sa-ti spuna daca out-ul tau e corect ?

Sincer suna bine. Ar fi frumos. Macar daca scapam de greselile clasice de: am uitat sa citesc un 1 sau am afisat prost nu stiu ce.


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 09, 2013, 23:15:12
Ce parere aveti de prezenta evaluator local instalat pe fiecare calculator care sa-ti spuna daca out-ul tau e corect ?

Personal mi se pare useless atata timp cat nu are si niste teste relevante, pentru ca daca ai timp sa iti generezi teste singur in concurs, atunci ai timp si de ceea ce ar face evalul (sa verifici afisarea, formatul, etc.). Totusi, la problemele interactive cred ca ar fi foarte folositor sa avem evaluatorul instalat, astfel s-ar micsora probabilitatea de a busi problema din cauza protocolului sursa-eval.

Totusi sunt unele probleme la care trebuie sa respecti cu strictete formatul fisierului de iesire. Acolo ar prinde bine


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 09, 2013, 23:19:12
Cred ca un evaluator local nu ar fi greu de facut. S-ar putea instala pe fiecare calculator o copie locala de infoarena sau o varianta mai simple a infoarenei si nu ar da niciun fel de bataie de cap celor care configureaza calculatoarele.


Titlul: Răspuns: ONI 2013
Scris de: Murtaza Alexandru din Aprilie 09, 2013, 23:23:41

Citat
De exemplu dacă anul trecut un județ a avut rezultate bune la a 10-a, anul următor clasa a 11-a va avea locuri in plus. La clasa a 9-a cred că ar trebui sa fie făcută o medie a rezultatelor județului din anii trecuți de la clasa a 9-a. Din câte știu eu în ultimii doi ani dintre cei care au fost in lot in anul precedent cel putin doi oameni nu au mai trecut de oji. De aici ne dăm seama că selecția pentru oni sau selecția loturilor (sau ambele  ) nu sunt făcute cum ar trebui.
Cred ca cel mai in regula (si simplu) ar fi sa se distribuie locurile in functie de punctajul obtinut indiferent de clasa. Daca exista 3 elevi buni la clasa a 12-a care au punctaje foarte mari, iar la restul claselor punctajele sunt mici, atunci cei 3 ar trebui sa se califice chiar daca sunt in aceeasi clasa. In cazul unor punctaje apropiate, ar fi de preferat calificarea unui elev din clasele 10-11-12, in defavoarea unuia de a 9-a (clasa la care se obtin punctaje mari cu un nivel mai scazut de cunostinte).


Nu e deloc corect sa compari punctajele pe toate clasele (generatii diferite, subiecte diferite, este foarte relativ). Tinand cont de ceea ce s-a zis si, cel mai bun sistem ar fi cel de la gimnaziu (X participanti la fiecare clasa, sistem care de altfel a fost dovedit de-a lungul anilor ca unul foarte bun). Bine inteles multi o sa zica ca nu e corect pentru cei de clasa 9-a, lucru adevarat dar care poate fi rezolvat prin distribuirea locurilor pe clase in mod neuniform. La clasa a 9-a cei mai multi, la clasa a 10-a mai putini iar la clasele 11-12 si mai putin Bineinteles, gasirea unor coeficienti buni este destul de dificil, dar asa pare cel mai ok.


Titlul: Răspuns: ONI 2013
Scris de: Alex Velea din Aprilie 09, 2013, 23:30:34
Ar mai fi o idee buna sa se ia primi 30-40 pe fiecare clasa si apoi fiecare judet sa selecteze in plus participanti :)
Asa macar nu o sa fie persoane care sunt pe locul 25 la general si nu prind oni-ul.

Eu am dat onibynet .. si am avut interfata.
Nu a luat mult sa generez un test random la o problema .. gfs.

La mine pe laptop folosesc VIM si am un procesor de 2.4
Nu stiu cum, dar la mine a luat cam 0.1 secunde si la ei pe site a luat TLE.
Limita era ori 0.5 ori 0.75 .. w/e
Ideea e ca nu sti exact timpii, si nu sti daca trebuie sa optimizezi sau nu, desi ai un test mare in fata.

O parsare nu e mult de scris .. but just sayin ..


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 09, 2013, 23:31:51
Ar mai fi o idee buna sa se ia primi 30-40 pe fiecare clasa si apoi fiecare judet sa selecteze in plus participanti :)
Asa macar nu o sa fie persoane care sunt pe locul 25 la general si nu prind oni-ul.

Eu am dat onibynet .. si am avut interfata.
Nu a luat mult sa generez un test random la o problema .. gfs.

La mine pe laptop folosesc VIM si am un procesor de 2.4
Nu stiu cum, dar la mine a luat cam 0.1 secunde si la ei pe site a luat TLE.
Limita era ori 0.5 ori 0.75 .. w/e
Ideea e ca nu sti exact timpii, si nu sti daca trebuie sa optimizezi sau nu, desi ai un test mare in fata.

O parsare nu e mult de scris .. but just sayin ..
Da, ar prinde bine o interfata care sa-ti permita sa rulezi teste si sa-ti spuna timpul si memoria. Stiu ca unele interfete folosite permit deja asta :)


Titlul: Răspuns: ONI 2013
Scris de: Puscas Sergiu din Aprilie 10, 2013, 00:13:10
Nu e deloc corect sa compari punctajele pe toate clasele (generatii diferite, subiecte diferite, este foarte relativ). Tinand cont de ceea ce s-a zis si, cel mai bun sistem ar fi cel de la gimnaziu (X participanti la fiecare clasa, sistem care de altfel a fost dovedit de-a lungul anilor ca unul foarte bun). Bine inteles multi o sa zica ca nu e corect pentru cei de clasa 9-a, lucru adevarat dar care poate fi rezolvat prin distribuirea locurilor pe clase in mod neuniform. La clasa a 9-a cei mai multi, la clasa a 10-a mai putini iar la clasele 11-12 si mai putin Bineinteles, gasirea unor coeficienti buni este destul de dificil, dar asa pare cel mai ok.

Ma refeream la situatia in care fiecare judet are un numar fix de locuri, iar distributia se face in cadrul judetului.

In cazul in care nu este impusa aceasta conditie, atunci mi se pare ok selectia primilor X participanti in clasamentul general la fiecare clasa, iar locurile libere din fiecare judet (in caz ca exista) sa fie ocupate prin decizia inspectoratului scolar.
In prezent, exista posibilitatea ca intr-un judet sa apara elevi care au lucrat mult in cursul anului si au crescut ca nivel, dar care sa nu poata participa toti la ONI datorita numarului redus de locuri ale judetului respectiv. Daca s-ar aplica sistemul recomandat de tine, ei ar avea posibilitatea sa fie clasati intre primii X in clasamentul general, aducand un surplus de locuri judetului din care fac parte (asa cum este si logic).

Sistemul curent de distribuire a locurilor / judete mi se pare cam ineficient, deoarece exista judete care au avut rezultate bune in trecut, au acumulat un numar mare de locuri, iar in prezent obtin in general rezultate slabe, si exista judete care au un numar mic de locuri, si elevi buni, dezavantajati de rezultatele generatiilor anterioare. Desigur, numarul de locuri se echilibreaza treptat, astfel incat sa reflecte rezultatele din trecutul apropiat, dar cred ca aceasta echilibrare are loc intr-un ritm prea lent.

Sistemul de selectie propus ar asocia fiecarui judet un numar fix de locuri, in functie de rezultatele anterioare, + un surplus care reflecta rezultatele obtinute la OJI in anul curent. In acest mod, chiar si un elev de clasa a 9-a poate aduce locuri in plus judetului din care face parte, fara sa fi participat in trecut la vreo nationala.


Titlul: Răspuns: ONI 2013
Scris de: Marius Gavrilescu din Aprilie 10, 2013, 00:21:16
Cred ca un evaluator local nu ar fi greu de facut.

De acord.

S-ar putea instala pe fiecare calculator o copie locala de infoarena sau o varianta mai simple a infoarenei.

Se poate mai simplu….

Eu sugerez un executabil caruia ii dai un fisier sursa, si apoi il compileaza si evalueaza si iti da rezultatul. De implementat e foarte simplu:

~/eval/Makefile
Cod:
%:%.c
gcc -lm -O2 -Wall -Wextra -pedantic -Wno-long-long -std=gnu99 -o $@ $< 2>&1

%:%.pas
fpc -O2 -veiwn -TLINUX -Xt -o$@ $< 2>&1
rm [email protected]

%:%.cxx
g++ -lm -O2 -Wall -Wextra -pedantic -Wno-long-long -fabi-version=0 -ftemplate-depth=100 -o $@ $< 2>&1

%:%.m
gcc -lm -O2 -Wall -Wextra -pedantic -o $@ $< 2>&1

clean:
rm -vf *.out sursa*

~/eval/eval
Cod:
#!/usr/bin/perl -w
use v5.14;
use File::Copy qw/cp/;

use constant TIME_LIMIT_SECONDS => 1;
use constant MEMORY_LIMIT_KBYTES => 100000;

sub error{
  system 'zenity', '--error', "--text=$_[0]";
  exit 1
}

##################################################

my $file=`zenity --file-selection` or error 'Nu ati ales fisierul';
my $extensie=`zenity --list --column x --column 'Limbaj' --hide-column=1 pas Pascal c C cxx C++ m Objective-C` or error 'Limbaj inexistent';
chomp $file;
chomp $extensie;
cp $file, "sursa.$extensie";

system ('make', 'sursa') == 0 or error "Compile error";
my @lines=`/usr/bin/time -v ./sursa 2>&1` or error "Non-zero exit status";
my ($memline) = grep /.*Maximum resident set size.*:/, @lines;
my $mem = ($memline =~ /: (.*)$/)[0];

my ($timeline) = grep /.*User time.*/, @lines;
my $time = ($timeline =~ /: (.*)$/)[0];

error 'Time limit exceeded' if $time > TIME_LIMIT_SECONDS;
error 'Memory limit exceeded' if $mem > MEMORY_LIMIT_KBYTES;

system ('./verificator') == 0 or error "Incorect!";

system 'zenity', '--info', "--text=Totul merge!\nTimp: $time secunde\nMemorie: $mem kbytes";

Pe langa astea doua fisiere, mai trebuie un fisier de input si un verificator, adica script/program care spune daca rezultatul e bun sau nu. Pentru programul aplusb, sugerez urmatoarele doua fisiere:

~/eval/aplusb.in
Cod:
1 2

~/eval/verificator
Cod:
#!/usr/bin/perl -w

use File::Slurp qw/read_file/;

exit !(int(scalar read_file 'aplusb.out') == 3)

Atentie: verificatorul nu trebuie sa fie inteligent, trebuie doar sa stie sa raspunda corect pe inputul de mai sus.

Dependencies: zenity si File::Slurp. Pe un sistem debian se pot instala prin comanda:
Cod:
aptitude install zenity libfile-slurp-perl

Desigur, este nevoie si de cateva din compilatoarele gcc (pentru C), g++ (pentru C++), fpc (pentru Pascal), gobjc (pentru Objective-C).

Pentru cei care nu au chef de copy-paste, puteti lua un tar cu cele patru fisiere de mai sus de la http://ieval.ro/~marius/eval.tar (http://ieval.ro/~marius/eval.tar). Rulati fisierul eval pentru a evalua o sursa la aplusb.

Edit: Am modificat evaluatorul sa poata evalua mai multe probleme, linkul de mai sus are varianta noua.

Evaluatorul de mai sus nu opreste programul daca este depasit timpul de executie sau memoria, ci doar raporteaza la sfarsit daca programul a depasit timpul/memoria. Fiind un evaluator local, este in interesul utilizatorului sa nu "evalueze" un infinite loop.

Implementarea acestui evaluator pe un sistem Windows este lasat ca un exercitiu pentru cititor.


Titlul: Răspuns: ONI 2013
Scris de: Adrian Budau din Aprilie 10, 2013, 08:47:56
V-ati gandit ca "evaluatorul"/"verificatorul" trebuie instalate inaintea fiecarei probe(pentru ca sunt alte probleme)? Asta e genul de munca care ocupa prea mult timp si pentru care sunt prea putini oameni.


Titlul: Răspuns: ONI 2013
Scris de: Marius Gavrilescu din Aprilie 10, 2013, 09:40:16
V-ati gandit ca "evaluatorul"/"verificatorul" trebuie instalate inaintea fiecarei probe(pentru ca sunt alte probleme)? Asta e genul de munca care ocupa prea mult timp si pentru care sunt prea putini oameni.

Se poate face la salvarea surselor: cei care salveaza sursele sa aiba pe stick un script care sa instaleze evaluatorul pentru proba urmatoare.

O alta varianta ar fi sa fie evaluatorul preloaded cu toate problemele de la toate probele. Participantul nu poate vedea testele, si sa trimita surse la o problema la care nu stie enunt/input/output nu il poate ajuta cu nimic.


Titlul: Răspuns: ONI 2013
Scris de: Bogdan-Cristian Tataroiu din Aprilie 10, 2013, 12:41:22
O sa postez o parere potential nepopulara in randul tuturor oamenilor care posteaza aici atat pentru a promova discutia ambelor parti cat si pentru a expune un alt punct de vedere.

Desi inteleg ca ar fi foarte frumos sa avem evaluator cu feedback, probabil mi-ar placea sa-l vad si acum la ONI si in urma cu cativa ani as fi fost la fel de pornit ca si voi pentru ca si eu am facut astfel de greseli, am ajuns sa realizez urmatorul fapt.

Atentia la detalii si capacitatea de a evita astfel de greseli stupide sunt caracteristici esentiale atat pentru un olimpic cat si pentru un inginer de inalta clasa (software or otherwise). Mi se pare ca evitarea greselilor respective tine mai mult de responsabilitatea fiecaruia de a duce ceva pana la capat decat de lipsa de atentie. Exista lume care considera ca rezolvarea problemei e tot ce conteaza pentru ca e singura parte din concursuri care e dificila si ca restul detaliilor sunt minore. Din pacate, in domenii practice, cum ar fi informatica sau ingineria, majoritatea esecurilor se intampla din cauza detaliilor minore care sunt ignorate sub pretextul 'sigur am facut bine asta, nu are rost sa verific'.

In viata reala nimeni nu o sa te tina de mana, sa faca teste pentru tine si sa se asigure ca respecti tot ce ti s-a cerut. Tu trebuie sa te asiguri ca munca pe care o faci e corespunzatoare si pare bine sa te obisnuiesti cu ideea asta mai devreme decat mai tarziu. Cu cat oamenii sunt tinuti mai mult de mana si din ce in ce mai multe tipuri de greseli devin imposibile, cu atat oamenii uita ca trebuie sa evite greselile de la inceput. In cazul asta, e o lista clara, restransa, de lucruri care trebuie verificate odata ce ai declarat o problema 'gata' si nu-ti ia mai mult de 5 minute per problema sa treci prin ea. De ce sa alegi sa nu faci o verificare care ia 5 minute pentru a evita o potentiala catastrofa care ori e ireparabila, ori iti ia ore/zile intregi sa o repari.


Titlul: Răspuns: ONI 2013
Scris de: Gavrila Vlad din Aprilie 10, 2013, 13:26:28
+1 pentru postul lui Bogdan.

Si eu am facut nenumarate greseli stupide in concursuri, care m-au costat puncte mai mult sau mai putin importante. Spre exemplu, am subdimensionat (grav) un vector la problema smart de la lotul din 2011, si asa am pierdut 100 de puncte; la CEOI 2011 am inversat indicii la o dinamica de tip "stramosi", iar asta e posibil sa ma fi costat 100 de puncte (nu sunt sigur ca restul programului era corect), diferenta de la bronz la aur. As fi descoperit cu usurinta aceste greseli daca aveam feedback pe un test mai mare.

Insa, in loc sa ma acuz sistemul de concurs, am acceptat faptul ca si buselile stupide fac parte din concurs si am incercat, pe cat posibil, sa le evit: verific numele problemelor, fisierele din care scriu / citesc, limitele vectorilor, calculez memoria. Nu dureaza mai mult de 5 minute pe problema, iar din cateva ore de concurs eu zic ca-ti poti rezerva 15 minute la final pentru a face aceste ultime verificari.

Rezultatul? La baraj la ONI 2013 nu am pierdut 80 de puncte pe "cntgcd", pentru ca am descoperit la timp ca o denumisem atat pe ea, cat si fisierele, "gcdcnt", iar pe interactiva am citit cu atentie enuntul si modul de interactiune si asa am observat ca trebuia sa citesc acel 1 de confirmare a raspunsului corect.

Mai mult, la concursurile la care am avut feedback (IOI-urile si CEOI 2013) am remarcat ca nu am mai depins atat de mult de el: verificand toate cele de mai sus si codand mai atent, pe multe din probleme am avut nevoie de maxim o submisie pentru a obtine punctajul dorit (fie el de 100 sau asociat unui brut).

In concluzie, consider ca mentinerea sistemului actual de la ONI / baraj este benefic concurentilor, care au ocazia sa invete din astfel de greseli cum sa evite bugurile stupide, astfel incat o investitie in sisteme de retea (care, apropo, ar putea duce la mai multe cazuri de fraudare a concursului) nu ar fi justificata.


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 10, 2013, 13:37:13
Eu nu vreau sa dau vina pe sistem pentru greselile mele, ci doar vreau sa se imbunatateasca ceva.
Sunt partial de acord cu voi. Totusi voi aveti 8-9 ani de experienta si ati avut timp sa invatati din greseli. Mie mi se pare timpul de concurs destul de scurt si nu imi permit sa-mi aloc 15-20 minute pentru fiecare problema, asta m-ar costa o ora.
In plus in lumea reala ai timp suficient, nu 4-5 ore pentru a rezolva bugurile.

Nu vreau sa par ironic, chiar sunt curios de ce la concursurile internationale si la acm ai feedback ?


Titlul: Răspuns: ONI 2013
Scris de: Gavrila Vlad din Aprilie 10, 2013, 14:08:24
Citat
In cazul asta, e o lista clara, restransa, de lucruri care trebuie verificate odata ce ai declarat o problema 'gata' si nu-ti ia mai mult de 5 minute per problema sa treci prin ea.

Citat
Nu dureaza mai mult de 5 minute pe problema, iar din cateva ore de concurs eu zic ca-ti poti rezerva 15 minute la final pentru a face aceste ultime verificari.

Nu e nicidecum vorba de o ora, dupa cum se vede in mesajele noastre.

De ce ai feedback la internationale si acm? Din doua motive diferite, cred eu:

1. Pentru Internationala: Scopul interului este si de a incuraja tarile sa-si dezvolte competitii interne / sa promoveze pe plan international informatica in randul elevilor de liceu. Astfel, interul isi cam rateaza obiectivul daca elevii din tarile emergente se intorc in mod repetat cu punctaje sub 20-30 de puncte. Sistemul de feedback a venit astfel spre a-i ajuta, corelat cu impartirea pe subtask-uri. Noi, in schimb, avem nenumarate alte moduri de a incuraja elevii sa invete serios informatica: concursurile de pe infoarena, fazele premergatoare olimpiadei nationale, concursurile inter-judetene.

2. Pentru ACM: Aici numarul de probleme este de trei ori mai mare decat cel de la o zi normala de concurs, iar timpul este acelasi (5 ore). Astfel, consider ca se opteaza pentru feedback total pentru ca participantii sa nu mai piarda timpul cu brut / eval pe fiecare problema. In schimb, tot se incurajeaza ca oamenii sa faca verificarile de care am spus, deoarece exista acea penalizare de timp destul de dureroasa pentru fiecare submisie gresita.


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 10, 2013, 14:25:18
Citat
Nu dureaza mai mult de 5 minute pe problema, iar din cateva ore de concurs eu zic ca-ti poti rezerva 15 minute la final pentru a face aceste ultime verificari.
Eu nu pot baga generator + brut + evaluator in 5 minute si sa fiu si atent la toate detaliile.


Titlul: Răspuns: ONI 2013
Scris de: Vlad Tarniceru din Aprilie 10, 2013, 14:32:10
Offtopic:

iar pe interactiva am citit cu atentie enuntul si modul de interactiune si asa am observat ca trebuia sa citesc acel 1 de confirmare a raspunsului corect.

Mersi mult, in sfarsit mi-am dat seama si eu de ce am luat 0 :))


Titlul: Răspuns: ONI 2013
Scris de: Mihai Calancea din Aprilie 10, 2013, 14:39:38
Citat
Nu dureaza mai mult de 5 minute pe problema, iar din cateva ore de concurs eu zic ca-ti poti rezerva 15 minute la final pentru a face aceste ultime verificari.
Eu nu pot baga generator + brut + evaluator in 5 minute si sa fiu si atent la toate detaliile.

Discutia era despre numele fisierelor si citire/scriere. Nu prea te ajuta sa ai generator + brut + evaluator daca nu citesti enuntul bine.

Cat despre ACM, e complet alt gen de concurs. Nu e "feedback" ce ai acolo, in sensul in care il doresti tu. Pentru fiecare submisie gresita primesti o penalizare care se propaga apoi pe toata durata concursului. De-asemenea, exista scoreboard live (cu exceptia ultimelor 30 de minute). La ACM, faptul ca stii permanent rezultatul submisiilor tale (si ale celorlalti) nu te face mai relaxat, ci dimpotriva.


Titlul: Răspuns: ONI 2013
Scris de: Heidelbacher Andrei din Aprilie 10, 2013, 14:40:50
Dupa parerea mea, ceea ce trebuie neaparat schimbat este modul de selectie a lotului. Consider ca sunt necesare doua zile de baraj (cel putin) pentru o selectie cat mai apropiata de adevar. De asemenea, trebuie sa se renunte la acel coeficient de la ONI, deoarece punctajele nu pot fi comparate la clase diferite. Spun acest lucru pentru ca dificultatea problemelor poate sa difere de la o clasa la alta, si in acelasi timp, poate sa difere si nivelul de pregatire al elevilor dintr-o anumita generatie.
Referitor la feedback, prefer sa accept parerea comisiei si a celor care au mai multa experienta, intrucat aici risc sa devin subiectiv. Am constatat de-a lungul timpului ca uneori m-ar fi avantajat feedback-ul, iar alteori absenta acestuia nu m-a afectat. In schimb, feedback-ul a favorizat uneori obtinerea punctajelor mari pe bulaneli (ceea ce pe mine cel putin m-a dezavantajat).


Titlul: Răspuns: ONI 2013
Scris de: Visan Radu din Aprilie 10, 2013, 15:10:23
Legat de feedback: parerea mea este ca ar trebui sa avem feedback, daca se poate chiar complet (pe toate testele). Aceasta este o parere subiectiva, bineinteles, deoarece am pierdut multe puncte anul acesta la ONI:
1. La problema amici am facut un brut pentru cazurile mici si alta rezolvare pt restul cazurilor, in speranta ca poate mai ciupesc cateva puncte, rezultatul fiind 0 cu MLE pe toate testele. Nu mi-ar fi trecut prin cap ca daca tin de 2 ori graful iau MLE pana si pe testele mici. Daca aveam feedback, scoteam cealalta rezolvare si mai luam cateva puncte pe brut.
2. La problema bemo am citit gresit enuntul, drumurile trebuiau sortate individual, apoi lexicografic, iar eu le-am sortat doar lexicografic, 0 puncte din nou. Daca aveam feedback, imi dadeam seama ca ceva nu e ok in rezolvarea mea si poate ma prindeam ca, de fapt, am rezolvat alta problema.
3. La problema spnzr, ca multi altii, am uitat sa citesc acel 1. Nu cred ca luam foarte multe puncte, dar cateva tot luam.

Legat de selectia lotului, dupa parerea mea e nevoie de 2 zile de baraj.


Titlul: Răspuns: ONI 2013
Scris de: Macarescu Sebastian din Aprilie 10, 2013, 15:12:30
+1 pentru postul lui Bogdan si Vlad Gavrila  :).
Stau de ceva timp pe topicul asta si m-am hotarat sa va impartasesc si experienta mea. Ma pot mandri cu faptul ca am ratat ONI-ul de anul asta din cauza ca am incurcat fisierele de input si output. E o greseala copilareasca dar foarte costisitoare. Aici nu pot acuza sistemul pentru lipsa mea de experienta.
Eu nu vreau sa dau vina pe sistem pentru greselile mele, ci doar vreau sa se imbunatateasca ceva.
Singurele imbunatatiri pe care le vad eu la sistemul actual sunt:
1) 2 zile de baraj pentru selectia cat mai buna a lotului
2) Un sistem care sa iti evalueze sursa pe exemplele din enunt. Asta numai la nivel de OJI deoarece ii poate ajuta pe incepatori si le da o sansa in plus sa se califice la ONI. Astfel greselile stupide aparute in urma lipsei de experienta pot fi diminuate. La nivel de ONI nu ii vad rostul. Daca ai pretentia sa fii printre primii pe tara in generatia ta si totusi ratezi o clasare buna din cauza greselilor de implementare atunci locul tau nu e acolo. Degeaba esti foarte bun 364 de zile din 365 daca in acea zi in care e nevoie de tine gresesti. ( Poate par prea extremist dar asa privesc eu lucrurile ).

3) Sa li se ofere primilor clasati la ONIbyNet de la fiecare clasa sansa sa participe la baraj ( pe banii lor sau finantati de minister ). Astfel cei care sunt foarte buni si au ratat ONI-ul din diverse motive mai au o sansa in plus. Din cate stiu, acum ceva timp era posibil asa ceva.

Totusi voi aveti 8-9 ani de experienta si ati avut timp sa invatati din greseli.
Aici Petru, iti dau dreptate. Este clar ca cei care au inceput informatica in gimnaziu au un avantaj urias. Singura posibilitate pe care o vad eu  de a recupera  este sa participi la cat mai multe concursuri onsite ( la cele online emotiile si stresul au un impact mult mai mic ). Din pacate sunt regiuni in care nu vezi decat 1-2 concursuri organizate anual ( in zona judeteului Suceava: Stefan Dartu din Vatra-Dornei si cel organizat de CN Piatra Neamt).


Titlul: Răspuns: ONI 2013
Scris de: Alex Velea din Aprilie 10, 2013, 15:22:47
Sunt regiuni in care nu vezi aproape de loc ca se organizeaza concursuri.
Pt Bucuresti de exemplu, inafara de urmasii lui Moisil de la Iasi eu nu cred ca mai este unu.
Si la Moisil participa 3 copii pe clasa .. ura.

Referitor la feedback - personal o sa spun pas. Cum s-a mai spus: daca esti bun si ai pretentii ar trebui sa nu gresesti la chestii mici  :oops:

Mai toata lumea se plange de problemele interactive. Ca sunt "busibile". Poate rezolvarea la asta s-ar putea gasi pe infoarena, odata cu implementarea lor :yahoo:. Personal si mie mi se pare un pic dubios faptul ca exista interactive doar la baraj si la interuri.


Titlul: Răspuns: ONI 2013
Scris de: Andrei Grigorean din Aprilie 10, 2013, 15:34:25
Deja vad ca discutia se intinde si incepe sa acopere tot mai multe capitole distincte. Eu va propun sa ne axam deocamdata pe lucrurile care pot fi schimbate in viitorul apropiat:

  • Proba de baraj care sa dureze 2 zile.
  • Posibilitatea participarii la baraj de la InfoOnline.
  • Calificarea primilor 4 de la clasele 9-10 in lot.

Toate aceste lucruri se intamplau in urma cu putini ani, si cred ca reintroducerea lor ar fi foarte benefica.


Titlul: Răspuns: ONI 2013
Scris de: Gavrila Vlad din Aprilie 10, 2013, 15:40:50
Legat de coeficientul ONI, m-am uitat la clasamentele de la baraj de la ONI 2013 si 2012 si am observat un lucru interesant: scoaterea acestuia ar fi rezultat in modificarea lotului de 20 prin maxim doi concurenti, iar asta inseamna ca acest coeficient nu este atat de devastator precum se spune.

Efectele pozitive pe care le-a avut au fost urmatoarele:

1. In 2012 a "salvat" pe Dani Posdarascu, care s-a calificat apoi la BOI si Yakutia unde a obtinut medalii de argint. - aici, coeficientul a indeplinit principalul scop pentru care a fost introdus: sa salveze de la eliminare elevii care au obtinut rezultat bun la ONI, dar care au avut o zi relativ proasta la baraj.

2. In 2013 a introdus in lot doi elevi de a 9-a si a 10-a cu pretul calificarii a doi elevi de clasa a 12-a. Consider acest lucru benefic intrucat experienta unui lot este deosebit de utila celor din clasele mici, care au ocazia sa participe atat la cursuri cat si la o serie de concursuri dificile. Astfel, cei mai mici se vor intoarce mai pregatiti anii urmatori si vor avea sansa sa faca parte din echipe mai puternice pentru competitiile internationale.

Desigur, cei care nu s-au calificat din cauza coeficientului se pot simti nedreptatiti (pe buna dreptate) de aceasta selectie, deoarece intr-adevar punctajele de la clase diferite nu pot fi comparate.

Insa, in situatia lipsei de fonduri pentru doua zile de baraj (modalitate de selectie a lotului pe care si eu o consider ideala), coeficientul ONI mi se pare cel mai bun compromis.

Daca se vor gasi fonduri pentru doua zile de baraj, introducerea unor wild-carduri pentru primii 4 de clasele 9-10 care nu au intrat in lot ar rezolva usor efectele negative cauzate de eliminarea coeficientului ONI.


Titlul: Răspuns: Răspuns: ONI 2013
Scris de: Mihai Calancea din Aprilie 10, 2013, 15:41:13
  • Calificarea primilor 4 de la clasele 9-10 in lot.

Vrei sa zici ca lotul sa fie primii 20 ca punctaj + primii 4 sub linie din clasele 9 - 10, right?


Titlul: Răspuns: Răspuns: ONI 2013
Scris de: Andrei Grigorean din Aprilie 10, 2013, 15:44:14
  • Calificarea primilor 4 de la clasele 9-10 in lot.

Vrei sa zici ca lotul sa fie primii 20 ca punctaj + primii 4 sub linie din clasele 9 - 10, right?

Da, exact asa cum era in anii trecuti. Mi se pare incredibil ca toate cele 3 propuneri enuntate mai sus au fost puse in aplicare, iar acum s-a renuntat la ele.


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 10, 2013, 15:46:36
Legat de 2 zile de baraj nu prea cred ca vom mai avea vreodata decat daca va fi taiata ziua de pauza. Eu am propus anul asta sa fie 4 probleme in loc de 3 dar nu s-a realizat nimic deci daca introducerea unei probleme in plus nu s-a realizat nu cred ca se va realiza introducerea unei noi zile.


Titlul: Răspuns: ONI 2013
Scris de: Alex Velea din Aprilie 10, 2013, 15:54:11
Personal, nu mi se pare prea ok 4 probleme in 5 ore.
Mai ales de baraj.

Nu prea vad cum te apuci sa iti scrii 4 surse si pe langa asta sa bagi si evaluatoare.
Evident, nimeni nu a spus ca trebuie sa bagam 4 surse ... dar totusi.


Pacat ca nu am avut initiativa asta acum 4-5 luni.
Poate reuseam sa schimbam ceva de la oni-ul asta.
Sa speram ca o sa se aleaga ceva de miscarea asta.


Titlul: Răspuns: ONI 2013
Scris de: Tudor Tiplea din Aprilie 10, 2013, 16:23:48
Am citit acest topic cu atentie, si am vazut multe idei si opinii demne de luat in seama. Insa (si poate sunt eu mai pesimist) nu cred ca multe dintre aceste idei vor prinde viata, deoarece se va ajunge la un moment dat cu aceste idei in fata organizatorilor, care vor recurge la clasicul raspuns "ne pare rau, nu avem bani".

In opinia mea, prima data ar trebui sa se gaseasca modalitati pentru a strange bani,adica sa se inceapa campanii si petitii pentru ca statul sa investeasca mai multi bani in aceste olimpiade (multe probabil vor esua :) ) si sa se caute sponsori mai seriosi, si mai darnici. Astfel, se va ajunge la un moment dat ca cineva sa spuna: "dispunem de fonduri in valoare de.., asteptam sugestii". In acel moment, ar trebui sa se caute cele mai importante modificari care trebuie aduse sistemului, si care se incadreaza in buget.

Ceea ce vreau eu sa spun e ca degeaba stam cu totii si ne chinuim sa gasim solutii, daca se va ajunge pana la urma la simplul raspuns "nu avem bani, o lasam tot asa". :)


Titlul: Răspuns: ONI 2013
Scris de: Duta Vlad din Aprilie 10, 2013, 16:41:29
Nu cred ca este o mare economie faptul ca se organizeaza o singura proba de baraj. Asta in conditiile in care cei care nu se califica nu mai pleaca acasa ci beneficiaza de cazare + masa pana la final.

Propunerea mea este sa se tina 2 probe de baraj la care sa se califice aproximativ 1/3 din participantii de la fiecare clasa (fata de 1/2 cum a fost pana acum). Sa fim seriosi, nu a ajuns nimeni de la jumatatea clasamentului la IOI in acelasi an, plus ca dezavantajul de coeficient e oricum aproape imposibil de recuperat. Si nu numai ca ar fi doua zile de baraj, dar ar costa chiar mai putin fata de solutia actuala cu o singura proba si ramanerea tuturor participantilor (si ar creste motivatia/mandria calificarii la baraj  :) ).


Titlul: Răspuns: ONI 2013
Scris de: Alex Velea din Aprilie 11, 2013, 22:18:25
Nu vreau sa dau nume, dar cativa oameni au punctat ceva foarte important.
Unele lucruri ne-ar ajuta pe termen lung daca nu ar exista (1) si ca ar trebui sa fim realisti referindu-ne la lucrurile pe care vrem sa le realizam (2)

Personal, nu am nimic cu coeficientul ONI -> Cum a spus si cartita .. a facut numai bine momentan.
Totusi, as prefera 2 zile de baraj. -> O solutie buna ar fi cea a lui Duta Vlad .. oricum nu pleaca nimeni acasa. Particila 1/3 la baraj si restu' pleaca acasa. Poate o sa fie probleme cu coordonarea loturilor judetele .. cu profesori indrumatori w/e. Pana acum a sa a fost si a fost perfect.

La fel si cu wildcardul pt byNet.
Si 4 locuri pt 9-10 in lot( asta face mult mai mult bine decat coeficientu ).

Legat de mega-evaluatoru ala .. poate sa imi spuna cineva ce ar trebui sa faca?
Iti ia sursa si o ruleaza si iti arata timpul si memoria?
Iti verifica out-ul?
Iti ruleaza pe exemple?


Titlul: Răspuns: ONI 2013
Scris de: Tudor Tiplea din Aprilie 11, 2013, 22:28:53
Legat de mega-evaluatoru ala .. poate sa imi spuna cineva ce ar trebui sa faca?
Iti ia sursa si o ruleaza si iti arata timpul si memoria?
Iti verifica out-ul?
Iti ruleaza pe exemple?

In principal, ideea acelui evaluator ar fi sa iti ruleze sursa si sa iti spuna timpul si memoria folosita pentru exemplu. Nu cred ca ar avea rost sa iti spuna daca sursa ta da raspuns corect pe exemplu, pentru ca sa verifici tu manual chestia asta nu ar fi mare chestie, insa ar fi foarte bine daca acel evaluator ti-ar spune timpul si memoria folosita pe orice test dat de tine.


Titlul: Răspuns: ONI 2013
Scris de: Marius Gavrilescu din Aprilie 12, 2013, 01:34:25
In principal, ideea acelui evaluator ar fi sa iti ruleze sursa si sa iti spuna timpul si memoria folosita pentru exemplu. Nu cred ca ar avea rost sa iti spuna daca sursa ta da raspuns corect pe exemplu, pentru ca sa verifici tu manual chestia asta nu ar fi mare chestie, insa ar fi foarte bine daca acel evaluator ti-ar spune timpul si memoria folosita pe orice test dat de tine.

Din blogpost-ul lui Petru:
Citat
Din moment ce la olimpiadele și concursurile internaționale exista feedback parțial mi s-ar părea normal ca și la selecția pentru ele să existe feedback. Mi se pare o prostie sa iei 0 puncte pe o problemă pentru că ai MLE sau pentru că nu ai respectat cu strictețe formatul fișierului de ieșire

E important sa iti spuna daca e bun raspunsul, pentru a nu lua 0 puncte cu presentation error. Un exemplu de evaluator care respecta cerintele lui Petru (spune timp, memorie, raspuns corect/gresit) se afla pe pagina 1.


Titlul: Răspuns: ONI 2013
Scris de: MciprianM din Aprilie 12, 2013, 10:40:56
Poftiti parerea mea legata de un evaluator:

La olimpiada, elevii primesc niste probleme si treaba lor e sa gaseasca solutia si sa o implementeze intr-un limbaj de programare acceptat de olimpiada (C/C++/Pascal din cate stiu). Tot ce ar face un evaluator ar fi sa aduca mai mult ajutor pentru a produce o implementare cat mai corecta. Daca e bine sau nu, nu stiu. Dar ganditi-va asa: putem pune pe un slider nivelul de ajutor oferit elevilor la implementare. In partea stanga ar fi ajutor, undeva pe la deloc(poate un editor banal de text - notepad pe windows sau vi pe linux, fara compilator, fara syntax highlighting, fara Intellisense sau alte chestii). In partea dreapta ar fi extrem de mult ajutor(cele mai bune ide-uri pt implementare si generatoare de teste si tot ce va mai puteti imagina). Decizia de a pune un eval sau nu pe calcurile elevilor e pur si simplu o decizie de mutare a sliderului mai inspre dreapta. Bineinteles ca are si avantaje si dezavantaje(cititi mai in posturile precedente?). Ca si orice alt loc de pe slider. Tot ce trebuie decis e cat de mult ne intereseaza ca elevii sa petreaca mult timp pe maruntisuri de implementare vs. pe idei de rezolvare a problemelor.

Ganditi-va la firmele bune din industrie. Stiu ca nu se compara complexitatea proiectelor de acolo cu complexitatea proiectelor de la olimpiada, dar in industrie se incearca ca sa se foloseasca unelete cat mai bune pentru ca developerii sa fie cat mai productivi. Si se inevstesc o tona de bani pentru asta.

Legat de faptul ca unii elevi buni rateaza cate un rezultat la olimpiada din cauza unor greseli - eu cred ca aceste rateuri pot fi evitate oferindu-le mai multe incercari(care sunt sansele ca un elev bun sa buseasca de multe ori fata de o singura data?). Vrem ca la IOI sa mearga cei mai buni din tara, nu? Atunci trebuie sa le oferim cat mai multe sanse sa se afirme. De aceea, si eu cred ca mai multe zile pt lot sunt bune. Si, intrucat, drumul pana la proba de baraj poate fi blocat de o buseala, trebuie oferita si o alternativa pentru a ajunge la baraj. ONIByNet ar trebui sa fie o alternativa buna.

Legat de lipsa banilor - poate ar trebui cautate mai insistent surse de finantare pt ONI. Bani sunt, la fel si sponsori. Ganditi-va ca avem destule concursuri sponsorizate in tara: FII Competition, Adobe Code Pandas, Algoritmiada, Infoarena Cup, Monthly etc. Sa nu fie bani si pentru ONI?


Titlul: Răspuns: ONI 2013
Scris de: Andrei Grigorean din Aprilie 12, 2013, 11:25:10
Simt nevoia sa ma repet:

Lucruri care NU vor fi schimbate in viitorul apropiat:

  • Modul de distribuire al locurilor pentru ONI
  • Sistem de submisie/evaluator local
  • Separarea lotului de olimpiada

In general este lipsit de sens sa vorbim despre orice fel de schimbari majore in modul de desfasurare a olimpiadei, cel putin acum.

Haideti sa ne concetram eforturile spre a schimba lucrurile care pot fi schimbate.

L.E.: @Petru: Una peste alta, ai facut praf... in trei zile de concurs. Nu intr-una, ci in trei.


Titlul: Răspuns: ONI 2013
Scris de: Petru Trimbitas din Aprilie 12, 2013, 11:46:46

L.E.: @Petru: Una peste alta, ai facut praf... in trei zile de concurs. Nu intr-una, ci in trei.

Nu prea vad de ce daca am facut praf la oni nu pot sa propun sa se schimbe ceva. Singura problema e ca putina lume se plange ca ceva nu merge bine. In plus in ultima zi n-am facut asa de praf.

Mi se pare mult mai realizabil un evaluator la oni atata timp cat poate fi facut de comunitate. Schimbarile propuse de tine nici macar nu depind de comisie sau de cei care citesc forumul infoarena, deci degeaba scriem aici cat de nasol e ca e o singura zi de baraj ca oricum nu citeste nimeni care are puterea sa schimbe ceva.


Titlul: Răspuns: ONI 2013
Scris de: Andrei Grigorean din Aprilie 12, 2013, 12:41:38
Mi se pare mult mai realizabil un evaluator la oni atata timp cat poate fi facut de comunitate. Schimbarile propuse de tine nici macar nu depind de comisie sau de cei care citesc forumul infoarena, deci degeaba scriem aici cat de nasol e ca e o singura zi de baraj ca oricum nu citeste nimeni care are puterea sa schimbe ceva.

In general comisia termina de pregatit problemele pe la miezul noptii. Cat timp nu exista o retea, ar insemna ca noi sa mergem pe la 300 de calculatoare sa setam evaluatoarele. Intelegi absurditatea situatiei?

Daca am avea toate calculatoarele legate la retea, ar fi cu totul alta poveste, si probabil ca ati beneficia de submisie online + feedback.


Titlul: Răspuns: ONI 2013
Scris de: Adrian Craciun din Aprilie 12, 2013, 13:23:17
Wef, petru o precizat la inceputul blogpostului ca nu il scrie din cauza rezultatului lui la olimpiada. Totusi daca facea mai bine poate ca nu era asa motivat sa faca aceasta miscare. Una peste alta e primul care a avut initiativa cu adevarat, si nu cred ca era cazul sa te legi de el.

Prin posibilitatea calificarii prin infoOnline se creeaza o anumita separare a olimpiadei de lot (daca vezi probele de la olimpiada ca un fel de etapa de calificare la baraj).
Eu vad cele mai mari probleme a olimpiadei ca fiind existenta unei singure zile de baraj si modul de distibuire a locurilor la OJI (din pacate nu se va schimba asta in viitorul apropiat). LE: Ma gandesc ca existenta a 3 probleme la OJI ar insemna o imbunatatire.

S-au adunat pe topic cateva idei bune care se pot implementa. Sper ca cineva sa incerce sa le puna in aplicare :)


Titlul: Răspuns: ONI 2013
Scris de: Petrut Andrei din Aprilie 12, 2013, 17:44:10
In general comisia termina de pregatit problemele pe la miezul noptii. Cat timp nu exista o retea, ar insemna ca noi sa mergem pe la 300 de calculatoare sa setam evaluatoarele. Intelegi absurditatea situatiei?
Daca am avea toate calculatoarele legate la retea, ar fi cu totul alta poveste, si probabil ca ati beneficia de submisie online + feedback.
Sunt copii aia voluntari care ajuta. 300 /10 = 30 .Sa presupunem ca ar dura 1 minut sa instalezi Verificator.exe (ceea ce e cam mult). Asta ar da 30 de minute! si daca actiunea de a veni cu stickul de la calc la calc s-ar desfasura paralel cu ONI nu as vedea o problema.


Titlul: Răspuns: ONI 2013
Scris de: Alex Velea din Aprilie 12, 2013, 19:03:43
Verificator.exe nu merge pe linux fara wine ( nu stiu cum se comporta exact daca e cu wine .. )

Si eu vreau sa lucrez pe linux ^^


Titlul: Răspuns: ONI 2013
Scris de: Marius Gavrilescu din Aprilie 12, 2013, 19:06:29
Verificator.exe nu merge pe linux fara wine ( nu stiu cum se comporta exact daca e cu wine .. )

Si eu vreau sa lucrez pe linux ^^

Verificator.exe nu e evaluatorul, ci un script/executabil care configureaza evaluatorul cu exemplele/limitele problemelor din ziua urmatoare. Evaluatorul efectiv e instalat odata cu instalarea calculatorului, si merge pe ambele.


Titlul: Răspuns: ONI 2013
Scris de: Verificator OJI din Aprilie 13, 2013, 08:17:18
Putem sa incercam Verificatorul, varianta pilot cu ocazia OJI 2014 ! Trebuie doar sa avem toate bazele legale pana atunci !  :D


Titlul: Răspuns: ONI 2013
Scris de: Gavrila Vlad din Aprilie 13, 2013, 12:03:10
Pentru cei care inca sustin introducerea evaluatorului local pe calculatoarele de la ONI, o sa va prezint in acest post inutilitatea acestui sistem.

Acest evaluator local ar trebui sa compileze sursele voastre cu comanda de compilare din regulament, si apoi sa ruleze programul pe testele din enunt si sa afiseze daca raspunsul este corect si afisat in fisierul corespunzator, timpul si memoria folosite. Dintre toate aceste functionalitati, nu vad niciuna pe care concurentul nu o poate face manual, de unul singur si depunand un efort minim.

1. Comanda de compilare oficiala. Aceasta se poate afla din regulament, ca apoi concurentul sa o seteze, inainte de concurs, din meniul de compilator al Codeblocks sau in fisierul de configurare al editorului VIM (cele mai populare doua editoare disponibile la ONI).

2. Corectitudinea raspunsului. Cred ca oricine ajunge la ONI poate compara 2 numere, poate verifica daca doua numere apar pe aceeasi linie sau pe linii diferite, poate verifica daca un output mic respecta o anumita regula.

3. Denumirea fisierelor de input/output si a sursei. Acestea se pot verifica litera cu litera, comparand cu enuntul.

4. Timpul de rulare. Este afisat atat de Codeblocks, cat si de VIM la finalul executarii programului, cu tot cu confirmarea executarii fara probleme a programului sau atentionarea asupra diferitelor erori de executie (KBS 11, etc).

5. Memoria. Aici fiecare isi poate calcula memoria alocata static, stiind dimensiunile fiecarui tip de date declarat (int = 4 bytes, long long = 8 bytes s.a.m.d.). Cat despre memoria alocata dinamic, fiecare ar trebui sa poata estima cata memorie foloseste programul lui. In plus, cu exceptia problemelor in care se urmareste chiar folosirea unei cantitati limitate de memorie (iar concurentul trebuie sa calculeze cu strictete cata foloseste), aceasta limita este foarte larga (de minim 2-3 ori mai mare decat este necesar cu adevarat).

Comparati acum efortul vostru de a parcurge acesti 5 pasi cu efortul unei comisii care trebuie sa instaleze un evaluator local pe 300 de calculatoare.

Aceste greseli stupide (sub/supradimensionarea vectorilor, denumirea gresita a fisierelor, compilare cu comanda diferita de cea oficiala) pe care vreti sa le evitati prin introducerea evaluatorului nu sunt intamplatoare, ci marci ale neatentiei, superficialitatii si comoditatii - care nu sunt calitati ale unui bun programator.


Titlul: Răspuns: ONI 2013
Scris de: Verificator OJI din Aprilie 13, 2013, 15:22:56
@Gavrila Vlad :
Sunt foarte multe cazuri in care acest sistem este vital. Desigur nu la toate problemele s-ar putea justifica 100% dar in toate cazurile e folositor

Pentru cei care inca sustin introducerea evaluatorului local pe calculatoarele de la ONI, o sa va prezint in acest post inutilitatea acestui sistem.
2. Corectitudinea raspunsului. Cred ca oricine ajunge la ONI poate compara 2 numere, poate verifica daca doua numere apar pe aceeasi linie sau pe linii diferite, poate verifica daca un output mic respecta o anumita regula.
Am sa iti fac o lista de probleme(chiar clase de probleme) in care acest sistem este vital !
Clasa problemelor cu output lung :

  http://infoarena.ro/problema/paginatie  In aceasta problema este foarte nasol de verificat output-ul.
Problema aia a lui  Puni de la Grigore Moisil de acu 1 an in care trebuia sa scrii in litere un numar gen  :
100     -------- o suta ! Acolo au fost foarte multe scandaluri caci formatul nu era clar specificat in enunt.
Aceste probleme le-am rezolva.
 
Clasa problemelor cu floaturi (double , numere cu virgula) multe:

  Mosia din 2004 de exemplu unde nu era specificat clar in enunt sau si daca era specificat era specificat prea mic undeva, ca se rotunjeste in sus. Acesta regula de a rotunji floaturile poate cauza probleme foarte mari.Unde daca programul scris de comisie rotunjea in sus si al tau in jos luai 0 puncte.


Aceste greseli stupide (sub/supradimensionarea vectorilor, denumirea gresita a fisierelor, compilare cu comanda diferita de cea oficiala) pe care vreti sa le evitati prin introducerea evaluatorului nu sunt intamplatoare, ci marci ale neatentiei, superficialitatii si comoditatii - care nu sunt calitati ale unui bun programator.
Vorba lui Marginean Ciprian Ninu, la fel de bine am putea scrie codurile in notepad si compila doar odata la sfarsit.Atunci am testa cu adevarat la maxim atentia candidatilor. Asa daca ai mediu cu highlighting si cu compiler errors parca e prea usor.
Un programator foarte bun ar trebui sa scrie codul din prima chiar si legat la ochi, si cu mana stanga.

Daca tot e inutil, de ce sa nu incercam varianta pilot la OJI si vedem ce iese? Sau la ceva concurs gen Grigore Moisil ? 
Daca nu are nici o functionalitate nu poate dauna !


Titlul: Răspuns: ONI 2013
Scris de: Gavrila Vlad din Aprilie 13, 2013, 16:01:14
@Verificator

Sunt foarte multe cazuri in care acest sistem este vital. Desigur nu la toate problemele s-ar putea justifica 100% dar in toate cazurile e folositor

Sunt atat de multe cazuri, incat ai gasit doar doua.

Situatiile pe care le-ai enumerat se reduc la o singura caracteristica: ambiguitate in descrierea unui output corect, cauzata de insuficiente precizari in enunt (asa cum ai spus si tu: fie formatul output-ului nu e formulat clar, fie nu se specifica cum sa fie afisat un numar real).

Si aceste situatii isi gasesc solutii mult mai usoare decat introducerea evaluatorului:

1. Comisia face suficiente precizari incat sa nu fie loc de interpretare. Mai mult, la problemele cu double-uri, nu am intalnit nicio problema de foarte multa vreme incoace in care sa nu se precizeze formatul raspunsului si situatiile in care raspunsul se considera corect (de obicei sa varieze prin maxim 10^(-x) de raspunsul comisiei).

2. Daca totusi ramane ceva interpretabil, concurentii au avut mereu optiunea de a pune intrebari. La paginatie, de exemplu, in timpul concursului s-au pus o pagina de forum de intrebari, iar comisia a raspuns mereu. La fel si la OJI / ONI, de fiecare data cand s-a pus o intrebare care viza ceva ambiguu in enunturi, comisia a venit in fiecare sala si a facut clarificarile necesare.

Daca tot e inutil, de ce sa nu incercam varianta pilot la OJI si vedem ce iese? Sau la ceva concurs gen Grigore Moisil ? 
Daca nu are nici o functionalitate nu poate dauna !

De ce sa nu incercam sa facem ceva inutil? Pai nu stiu... orice actiune trebuie sa aiba un argument solid in spate. Asta nu prea are.

Si as ruga un admin sa aiba grija de conturile fantoma / oamenii cu personalitati multiple ce se manifesta prin conturi multiple.


Titlul: Răspuns: ONI 2013
Scris de: Petcu Ioan Vlad din Aprilie 13, 2013, 17:26:50
@Vlad Gavrila

Sunt de acord cu unele din argumentele tale aduse impotriva evaluatorului local, dar care ar fi problema cu un evaluator cu interfata, asemanator celui de la Uramsii lui Moisil?


Titlul: Răspuns: ONI 2013
Scris de: Andrei Grigorean din Aprilie 13, 2013, 17:35:06
Sorin, ai mare noroc ca ti-a raspuns Vlad :).

Legat de verificator, singura solutie acceptabila din punctul meu de vedere este sistemul de submisie online. Orice altceva presupune un efort nejustificabil. Intr-adevar e foarte bine sa existe un verificator, dar la OJI/ONI problemele de logistica sunt prea mari. La lot, unde concursurile se desfasoara in acelasi loc si sunt doar 20 de concurenti, exista interfata de submisie.

Si de unde pana unde a ajuns verificatorul marea problema a olimpiadelor?


Titlul: Răspuns: ONI 2013
Scris de: Sorin Rita din Aprilie 28, 2013, 05:04:16
Eu am participat doar la 2 ONI-uri deci clar nu am experienta celor de dinainte. Dar poate ca tocmai asta imi ofera o perspectiva mai buna asupra lucrurilor.

In primul rand, chestia cu evaluatorul e o prostie. Din motivele expuse de Vlad Gavrila + ca s-ar duce tot farmecul. Una e sa iesi din concurs si sa astepti apoi cu sufletul la gura, sa discuti cu ceilalti cum au facut si alta ar fi sa iesi stiind ca iei x puncte. Nu poti sa compari OJI cu IOI. Normal ca acolo treaba e serioasa si sunt alte conditii.

Apoi chestia cu selectia pentru ONI e foarte proasta. Stiu ca e foarte improbabil sa se schimbe ceva dar totusi e cam nasol acum si trebuie inceput de undeva. E aiurea sa iei in functie de clasamentul pe tara pentru ca o sa te trezesti cu judete nereprezentate. Eu nu inteleg de ce nu se ia primul, de la fiecare clasa, de la fiecare judet, si apoi in functie de clasamentul pe tara. Asa esti sigur ca ai fiecare judet reprezentat si iti raman destule locuri si pentru cei buni, dezavantajati de sistemul actual, chiar daca, in unele judete, si cei de pe primul loc au punctaje mici. Daca nu esti cel mai bun nici din judet, nici la nivel national nu prea ai ce sa cauti la ONI, locul unde se intalnesc cei mai buni din tara. E mai motivant sa te lupti sa ajungi printre cei mai buni decat sa stii ca esti intr-un judet in care si daca iei 20 de puncte o sa te califici.

O sa fiu foarte nepopular pentru ce zic acum dar nu inteleg de ce trebuie mereu sa ii plangem de mila comisiei. Mereu comisia se victimizeaza ca o virgina pangarita. Ok, am inteles, este munca voluntara, timpul e scurt, de facut sunt multe. Tot respectul meu pentru voi. Dar majoritatea sunteti studenti si fosti olimpici, deci ati beneficiat si voi de voluntariatul si munca altor oameni, mai ales cei care ati fost tari. Stiti de la bun inceput conditiile asa ca e penibil sa va lamentati apoi. Asa cum munciti voi se pregatesc si altii un an intreg pentru o mana de probleme. Nu va cere nimeni un set perfect echilibrat sau mai stiu eu cum. Dar macar se poate acorda o mai mare atentie redactarii problemelor si eventual testelor. La unele probleme testele pur si simplu si-au batut joc de munca participantilor. Imi aduc aminte pe clasa a 9a ca aveam o problema unde trebuia sa simplifici niste fractii sau ceva de genu. Enuntul a fost gresit si am fost anuntati foarte tarziu ca e nevoie de numere mari. Ori mie ca elev incepator de clasa a 9a mi-ai schimbat total problema. Nu ma incalzeste cu nimic ca a fost gresita pentru toti deoarece daca ai avut proasta inspiratie sa incepi cu problema aia e aiurea pentru ca intervine sansa si nu e normal. E aiurea si sa ai un enunt de o pagina jumate in care informatiile inutile sa fie in mai mare cantitate decat cele utile. E frumos sa ai si o poveste in spatele problemei dar uneori se exagereaza. Eu sunt sigur ca niste enunturi clar redactate, cu limite precizate calumea ar mai reduce din erori. In ultima vreme s-a imbunatatit calitatea lor in privinta asta, dar totusi mai mereu se nimereste o problema la care e gresit enuntul. E drept ca vine comisia apoi cu precizari dar pana trimit ei o tipa din aia pe tocuri sa se plimbe prin toate clasele se duce dracu tot timpu(asta la OJI)


Singur chestie utila si realizabila mi se pare sa maresti durata la OJI la 4 ore. Marea majoritate a participantilor sunt incepatori, e greu sa le ceri sa scrie cod bun si rapid. Stiu ca sunt si astea calitati necesare si importante dar orice ati zice e frustrant sa ai o idee calumea si sa nu ai timp sa o implementezi bine si iei mai putin decat aia care fac back.


Titlul: Răspuns: ONI 2013
Scris de: Alex Ovidiu Nitu din Aprilie 29, 2013, 15:03:57
Sunt de acord cu Sorin. Un evaluator nu este o idee foarte buna, deoarece ar compromite complet farmecul unui concurs. Asa cum a spus si Bogdan, mi se pare fundamental ca programator bun sa acorde o atentie sporita detaliilor.

In legatura cu selectia pentru ONI, fiecare judet ar trebui sa-si construiasca un lot cat mai bun. Personal cred ca ar trebui sa se tina cont si de rezultatele anterioare obtinute la ONI, alte concursuri etc... Daca o clasa (sa zicem a 9-a) a obtinut X medalii la ONI atunci anul urmator (clasa a 10-a) va avea X+1 locuri pentru nationala. In caz ca raman locuri, aceste locuri ar trebui distribuite in functie de clasamentul pe tara. De asemenea consider ca elevii din clasele superioare (11-12) ar trebui sa beneficieze de mai multe locuri pentru ca au mai multa experienta si implicit au sanse mai mari de a avea un rezultat mai bun la ONI, comparativ cu cineva care este pe clasa a 9-a si care a inceput sa faca informatica din acel an.
Citat
Singur chestie utila si realizabila mi se pare sa maresti durata la OJI la 4 ore.
3 ore mi se pare suficient pentru OJI, dar nu m-as supara daca timpul ar fi marit la 4 ore. In plus, cred ca toti am fi multumiti daca OJI ar avea 2 zile de concurs. Astfel daca ai busit in prima zi poti sa te revansezi in a doua zi, nu in urmatorul an.


Titlul: Răspuns: ONI 2013
Scris de: FMI Ciprian Olariu din Aprilie 29, 2013, 16:44:57
3 ore mi se pare suficient pentru OJI, dar nu m-as supara daca timpul ar fi marit la 4 ore. In plus, cred ca toti am fi multumiti daca OJI ar avea 2 zile de concurs. Astfel daca ai busit in prima zi poti sa te revansezi in a doua zi, nu in urmatorul an.

Cred ca o varianta cel putin la fel de buna si mai posibil de a putea fi aplicata decat ideea cu 2 zile de proba ar fi ca la OJI sa avem 3 probleme si 4 ore (parca auzisem ca se discuta candva asta pe la minister). In felul asta ar scadea riscul sa busesti complet (poti busi una si inca sa ai punctaj bun,daca faci din celalalte doua) si ar scadea sansele ca cineva care face bruturi sa ia un loc mai bun decat cineva bun care a busit la o problema.


Titlul: Răspuns: ONI 2013
Scris de: Pricuci Vasile din Iunie 16, 2013, 00:11:06

Atentia la detalii si capacitatea de a evita astfel de greseli stupide sunt caracteristici esentiale atat pentru un olimpic cat si pentru un inginer de inalta clasa (software or otherwise). Mi se pare ca evitarea greselilor respective tine mai mult de responsabilitatea fiecaruia de a duce ceva pana la capat decat de lipsa de atentie. Exista lume care considera ca rezolvarea problemei e tot ce conteaza pentru ca e singura parte din concursuri care e dificila si ca restul detaliilor sunt minore. Din pacate, in domenii practice, cum ar fi informatica sau ingineria, majoritatea esecurilor se intampla din cauza detaliilor minore care sunt ignorate sub pretextul 'sigur am facut bine asta, nu are rost sa verific'.
In viata reala nimeni nu o sa te tina de mana, sa faca teste pentru tine si sa se asigure ca respecti tot ce ti s-a cerut. Tu trebuie sa te asiguri ca munca pe care o faci e corespunzatoare si pare bine sa te obisnuiesti cu ideea asta mai devreme decat mai tarziu. Cu cat oamenii sunt tinuti mai mult de mana si din ce in ce mai multe tipuri de greseli devin imposibile, cu atat oamenii uita ca trebuie sa evite greselile de la inceput. In cazul asta, e o lista clara, restransa, de lucruri care trebuie verificate odata ce ai declarat o problema 'gata' si nu-ti ia mai mult de 5 minute per problema sa treci prin ea. De ce sa alegi sa nu faci o verificare care ia 5 minute pentru a evita o potentiala catastrofa care ori e ireparabila, ori iti ia ore/zile intregi sa o repari.

Atunci cum se face ca subiectele si unele teste pot contine greseli ? Adica acei studenti cu medalii la concursuri internationale ce ajung sa lucreze la firme de top sa nu fie chiar
olimpic cat si pentru un inginer de inalta clasa
?



Titlul: Răspuns: ONI 2013
Scris de: Paul Diac din Octombrie 20, 2013, 07:11:03
Stie cineva cum pot gasi rezultatele de la ONI 2013 Liceu? In arhiva infoarena la downloads sunt doar problemele si testele; iar site-ul ONI nu mai merge. (http://oni2013.info.tm/ -> http://olimpiada.info/ ). Multumesc


Titlul: Răspuns: ONI 2013
Scris de: FMI Ciprian Olariu din Octombrie 20, 2013, 15:24:48
Uite aici rezultatele http://www.fileshare.ro/e29935536 (http://www.fileshare.ro/e29935536)


Titlul: Răspuns: ONI 2013
Scris de: Paul Diac din Octombrie 20, 2013, 17:10:35
Super, multumesc!