Cu o experiență profesională în analiza de date, strategie și management de proiect, Agnes este specialistul nostru pe măsurarea impactului și zilele acestea ne-a povestit care este rolul departamentului de Impact din organizație și cât de ancorată este activitatea ei în Teoria Problemei și Teoria Schimbării, un instrument folosit de organizațiile din rețeaua Teach for All.
Îmbunătățirea competențelor de literație în citire și dezvoltarea unui set de abilități socio-emoționale relevante pentru învățare și integrarea în societate sunt direcțiile de impact pe care le vizăm la elevi. Premisa noastră este că progresul pe aceste două direcții, împreună cu crearea unei relații profesor-elev pozitive și a unui mediu de învățare sigur și încurajator, vor crește incluziunea și vor reduce absenteismul, abandonul școlar și comportamentele de bullying.
Agnes a povestit cum pandemia a schimbat modul de măsurare a impactului la elevi, dar și cum a reușit, datorită partenerului nostru strategic – UiPath Foundation, să colaboreze cu experți UiPath care au creat o soluție de automatizare pentru gestionarea mai eficientă a datelor colectate în cadrul evaluărilor de impact.
Descrie-ne puțin care este rolul tău în cadrul organizației și ce presupune acesta.
Rolul meu este de a mă asigura că alegem și folosim cele mai potrivite metode și instrumente de evaluare a impactului pe care îl generăm, atât prin programul nostru de formare și susținere a profesorilor timp de 2 ani la clasă, cât și prin susținerea comunității noastre de alumni.
Cum lucrezi pe zona asta? Și care e scopul acesteia?
Activitatea mea este puternic ancorată în Teoria Problemei și Teoria Schimbării, instrument pe care l-am folosit pentru definirea strategiei de impact. Acest instrument este recomandat și frecvent folosit în organizațiile din rețeaua Teach for All. Mai exact, am făcut o analiză amplă a inechității în educație, folosindu-ne atât de ultimele statistici disponibile, cât și de o cercetare calitativă proprie, în urma căreia am identificat și documentat care sunt acele cauze care perpetuează inechitatea educațională, cu precădere în mediile vulnerabile. După ce am stabilit care ar fi viziunea noastră conform căreia vrem să oferim Opțiuni de viață prin educație de calitate pentru fiecare copil din România, am început să definim care sunt acele acțiuni, rezultate și schimbări care trebuie să aibă loc pentru a ajunge de la problemă la schimbare – la viziune. Scopul ariei de impact este atât să verifice că aceste rezultate și schimbări pe care ni le-am propus într-adevăr au loc, dar și să le descrie și cuantifice.
Direcțiile de impact pe care le vizăm la elevi sunt îmbunătățirea competențelor de literație în citire și dezvoltarea unui set de abilități socio-emoționale relevante pentru învățare și pentru integrarea în societate mai târziu ca adulți. Mai exact, formarea a ceea ce numim frecvent astăzi „abilități de viață”. Premisa noastră este că progresul pe aceste două direcții, împreună cu crearea unei relații profesor-elev pozitive și a unui mediu de învățare sigur și încurajator, vor crește incluziunea și vor reduce absenteismul, abandonul școlar și comportamentele de bullying.
Pentru a ajunge la aceste rezultate la elevi, trebuie să ne asigurăm și că profesorii noștri au nivelul de competențe, motivația și mindsetul potrivit pentru a genera aceste schimbări, atât în timpul programului, cât și în calitate de alumni.
Primul pas în evaluarea acestor direcții este crearea unui cadru de monitorizare și evaluare și stabilirea celor mai potrivite metode, instrumente, momente și grupuri țintă pentru fiecare dintre ele.
Care au fost rezultatele pe care le-ai putea împărtăși în acest moment?
O să mă concentrez pe două rezultate pe partea de abilități socio-emoționale, unul ce privește metodologia iar celălalt ce privește evaluarea propriu-zisă.
A durat aproape doi ani de zile pentru a avea un proces bine conturat pentru evaluarea abilităților socio-emoționale și, chiar și în ziua de azi, încă mai este loc de stabilizare și rafinare. După multă explorare și testare, am înțeles cât de importantă este contextualizarea metodelor și instrumentelor pe care le folosim. Acest lucru nu este deloc ușor de realizat în România, unde nu există multe sau deloc instrumente dezvoltate local pentru astfel de abilități și competențe care să fie folosite în contextul intervențiilor educaționale.
După o analiză internă a observațiilor comportamentale făcute de profesorii și alumnii noștri la clasă și pe baza unei revizuiri a literaturii științifice de actualitate, am reușit să selectăm un set de abilități socio-emoționale care îi pot ajuta pe elevii din mediile vulnerabile atât în procesul educațional, cât și mai târziu, pentru a se integra cu succes în societate. Acest set cuprinde abilități precum: determinarea, autoreglarea, conștientizarea socială și autoeficacitatea. Iar instrumentul care s-a pliat cel mai bine pe nevoile de evaluare identificate a fost cel de la Panorama Education, o platformă care ajută școlile să își ancoreze activitatea în date de calitate obținute prin instrumente bazate pe cercetare riguroasă, în cazul acesta pe modelel CASEL și CORE.
Dar identificarea instrumentului potrivit a fost doar un prim pas, pentru că nu am considerat simpla traducere suficientă. Am demarat un proces de adaptare la contextul comunităților în care activăm, în cadrul căruia am revizuit instrumentul în grupuri de lucru cu profesori și alumni, prin interviuri cu elevi și consultări cu psihologi educaționali și cu experți în cercetare. Au rezultat o fișă de observare la primar și o scală de autoraportare la gimnaziu, care se aplică la începutul și la finalul programului de 2 ani. Mai departe, acestea au trecut prin două etape de pilotare, întâi într-un grup restrâns de aproximativ 80 elevi și, apoi, într-un grup extins de aproximativ 500 de elevi. Analiza statistică din cadrul celor două faze de pilotare au confirmat validitatea instrumentului.
Astfel, încă de la începutul anului școlar 2019-2020, instrumentul a fost gata să ne ajute să confirmăm progresul elevilor în ceea ce privește acest set de abilități socio-emoționale, însă pandemia ne-a obligat să amânăm acest demers.
Pentru a nu pierde totuși un an școlar în care să nu învățăm ceva nou despre impactul programului, ne-am reorientat spre realizarea a trei focus grupuri cu învățători, diriginți și profesori non-diriginți, iar în acest sens am contractat serviciile agenției de cercetare Cult Research. Principalele concluzii care au reieșit din acest demers au fost precum urmează:
Determinarea: participanții în program au observat cum elevi care inițial aveau niveluri autonomie și motivație reduse și nevoie de control extern, la finalul anului reușeau să ducă la bun sfârșit anumite sarcini fără ajutor și să adreseze punctual întrebări.
Autoreglarea: deși la începutul anului în clasă era un nivel ridicat de zgomot, iar majoritatea elevilor nu reușeau să își păstreze concentrarea pe o activitate și deturnau frecvent orele, la final de an participanții în program au raportat schimbări precum reducerea nivelului de zgomot, exprimarea emoțiilor în forme mai sănătoase, reducerea impulsivității.
Conștientizarea socială: la clase preponderent lipsite de coeziune și în care bullyingul și învinovățirea celorlalți erau frecvente, participanții în program au observat creșterea abilităților de lucru în echipă și cooperare, creșterea empatiei, a abilităților de interacțiune cu persoane din afara grupului, a abilităților de leadership, toate acestea rezultând în creșterea coeziunii și în reducerea diferențelor dintre categorii sociale (pe bază de etnie, condiții materiale, etc.).
Autoeficacitate: participanții în program au observat cum elevi care inițial nu aveau încredere în ei sau ceilalți, care erau timorați și aveau dificultăți în a-și exprima opiniile și în a le susține, la finalul anului au reușit să își exprime și să-și susțină mai des punctul de vedere, au fost mai puțin timorați în fața figurilor de autoritate și au arătat o capacitate crescută de a prelua inițiativa.
Comportamente agresive: în ceea ce privește agresivitatea fizică, verbală și emoțională, participanții în program au observat o reducere a acestor episoadelor la elevi împreună nu creșterea capacității de a-și controla furia și de a colabora cu elevi cu care obișnuiau să intre în conflict.
Următorul pas important va fi să cuantificăm evoluția folosind instrumentele descrise și să verificăm cât din această evoluție surprinsă prin evaluare calitativă este parte din dezvoltarea normală a copilului și cât se datorează influenței intervenției Teach for Romania.
Cum lucrezi cu Uipath Foundation și care sunt pașii următori?
Dezvoltarea proceselor de evaluare de impact și obținerea rezultatelor menționate nu ar fi fost posibile fără susținerea din partea UiPath Foundation din martie 2019 până în prezent, care a arătat încă de la început deschidere și dorință în a sprijini o astfel de activitate ale cărei rezultate se văd mai greu, dar care este crucială pentru asigurarea unei intervenții educaționale sustenabile, menită să producă un impact semnificativ acolo unde este cea mai mare nevoie. Pe lângă sprijinul primit pentru susținerea activităților, am avut și prilejul de a colabora cu experți UiPath în automatizare de procese, care au creat pentru noi o soluție robotică de gestionare mai eficientă a datelor colectate în cadrul evaluărilor de impact.
În ceea ce privește pașii următori, evaluarea competențelor de literație în citire este un proces care ia naștere chiar în această perioadă. Ne-am dat seama că nu avem resursele și cunoștințele necesare pentru a aborda singuri această temă complexă și, după multă explorare, am avut prilejul să formăm o echipă de lucru cu experți din alte 6 organizații din sfera educației: platforma de testare Brio, Asociația OvidiuRo, Asociaţia Lectura şi Scrierea pentru Dezvoltarea Gândirii Critice România, Fundația Noi Orizonturi, Asociația InfinitEdu și Asociația pentru Valori în Educație. Am definit împreună un ghid de construire de teste standardizate de literație în citire ancorat în cadrul de evaluare PISA și am coagulat o echipă de profesori voluntari, pe care i-am pregătit și susținut în generarea testelor pe baza ghidului. Eforturile au rezultat într-o bancă de aproximativ 2000 de itemi de literație în citire pentru clasele I-VIII, care măsoară capacitatea de înțelegere a textului citit, mai specific de localizare a unor informații în text, de stăpânire a sensului unor cuvinte sau expresii din text, precum și de realizare a unor conexiuni între ideile expuse.
La momentul actual instrumentul se află în stadiul de analiză și calibrare, ca urmare a pilotării. Instrumentul final este estimat să fie gata în ianuarie și va fi deschis pe platforma Brio pentru orice școală din România. Pentru evaluarea programului nostru, acesta este folosit la începutul și finalul fiecărui an școlar în vederea evaluării progresului elevilor.
Alte planuri: anul acesta școlar ne-am propus să verificăm și să cuantificăm progresul în ceea ce privește abilitățile socio-emoționale și competențele de literație, folosind instrumentele pe care le-am descris. În paralel, facem eforturi pentru digitalizarea și automatizarea continuă a acestor procese, arie în care expertiza comunității din jurul UiPath Foundation ne este de extrem de mult ajutor. Un alt demers important este pregătirea unui studiu cvasiexperimental cu grup de control, pe care sperăm să îl demarăm anul următor. Între timp, continuăm și evaluarea punctuală sau recurentă a altor rezultate pe care ni le-am propus în cadrul Teoriei Schimbării, precum evaluarea mediului de învățare și a relației profesor-elev, monitorizarea fenomenului de absenteism și abandon școlar, evaluarea dezvoltării de competențe la profesori și monitorizarea implicării și a impactului alumnilor în educație.
Abonează-te la newsletterul nostru aici pentru a afla ce mai facem în Teach for Romania.
