Dezvoltarea competențelor în IA la scară largă

Anca Brădișteanu
Senior Engineering Manager @ Betfair Romania Development



Adrian Maciuc
Automation Engineer @ Betfair Romania Development

Poți folosi Inteligența Artificială pentru a învăța despre aproape orice, dar folosirea IA pentru a învăța despre IA devine un pic mai complicată. Dacă ar fi să luăm în considerare factori precum: halucinațiile, prompturile de sistem, fine-tunningul, prejudecățile antrenate în model, cutofful de cunoaștere și metodele de raționament, am ajunge repede la concluzia că o întrebare către model despre cum funcționează acel model nu va genera un răspuns obiectiv. Din acest motiv, ar trebui ca omul să fie în centrul proceselor de utilizare IA. Primul proces în care ar trebui pus accent pe human-in-the-loop este chiar în faza de învățare despre Inteligența Artificială. Fiecare utilizator de IA ar trebui să știe ce se întâmplă "sub capota" oricărui sistem pentru a putea obține rezultate mai bune. Este foarte ușor să crezi în acest miraj în care IA face absolut orice și poți foarte rapid să devii un vibe-coder, doar că totul se spulberă când aplicația pe care o dezvolți devine mai complexă. Iar atunci, pentru a continua cu succes, este nevoie să înțelegi cum să folosești IA mai mult decât un simplu utilizator care a descoperit-o prin ultimele materiale promoționale ale unor companii ca OpenAI sau Anthropic.

Acesta este motivul pentru care am creat un program de învățare despre inteligența artificială, sub forma unor sesiuni de training ținute de oameni pentru oameni. Programul a durat 14 săptămâni, a avut ca țintă 19 departamente, iar la sesiuni au participat aproximativ 1000 de angajați. Totul s-a desfășurat intern, fără costuri externe, și a fost livrat cu o echipă de 30 de persoane.

În cele ce urmează, puteți vedea câteva detalii din spatele cortinei despre conceptele care au stat la baza dezvoltării unui program atât de complex prin care să fie acoperite nevoile unor persoane din diferite departamente: de la developeri, QA, Data engineers până la finanțe, HR, operations și multe altele.

Ca de obicei, totul pornește de la o idee, multe discuții și chiar mai multe întrebări. Mai jos sunt câteva dintre aceste întrebări și răspunsurile lor.

Pornind de la premisa că aceste sesiuni se vor desfășura în cadrul companiei, fără a apela la specialiști externi, cum ajungem la specialiștii interni? Cum îi găsim și cum îi alegem?

Adrian: Cu câțiva ani în urmă, am încercat să învăț programare și, fiind la început de drum, am întrebat alte persoane de unde ar trebui să încep. Și așa am ajuns la un canal de YouTube. După câteva zile în care m-am chinuit să înțeleg despre ce e vorba, am renunțat. Am trecut apoi la alt canal și am încercat altceva, același proces, același rezultat: am renunțat. M-am resemnat cu ideea că nu voi ști niciodată să scriu cod. Ceva timp mai târziu, purtam o conversație cu fratele meu care m-a întrebat: "De ce crezi că nu ai reușit să înveți programare atunci?" Am răspuns pur și simplu: "Probabil nu sunt eu făcut pentru așa ceva". Completarea lui a fost una pe care nu o voi uita niciodată: "Sau, probabil, nu ai găsit tu profesorul care să explice pe înțelesul tău". Astfel, unul dintre principiile de bază în prezentarea materialelor didactice ar trebui să fie găsirea oamenilor potriviți. Oameni care să predea un material pe care îl stăpânesc bine, într-un mod natural. Nu oameni care au citit documentația și au creat conținut online pentru câteva like-uri și subscribe-uri. Probabil ați auzit și voi sintagma "Those who can, do, those who can't, teach". De fapt, e nevoie ca oamenii care "pot" să fie cei care predau.

Anca: Perechea material-profesor trebuie să fie una foarte bună. Cred că fiecare dintre noi a avut, la școală sau la facultate, un profesor pe care, pur și simplu, era o plăcere să îl asculți. Astfel, partea de recrutare ar trebui să înceapă cu discuții în companie despre cine stăpânește bine domeniul în care se află și are deja o curiozitate pentru utilizarea inteligenței artificiale.

Adrian: Dacă un profesor nu stăpânește bine materia, studentul își va da seama. Se pierde credibilitatea programului, iar participantul va renunța. Iar dacă mai apar și întrebări din partea publicului, evident că lucrurile nu vor fi în regulă.

Recrutarea, mai grea în practică decât în teorie.

Anca: O altă premisă de la care trebuie pornit este aceea că există oameni care sunt foarte buni din punct de vedere tehnic, dar nu se pricep bine la prezentări și, în același timp, există oameni care nu sunt atât de buni tehnic, dar se pricep foarte bine să predea. În unele cazuri rare, există și acești unicorni, care știu să predea bine și au și cunoștințe tehnice foarte avansate. Sunt greu de găsit, dar acești oameni există. Iar odată găsiți, li se poate oferi șansa să strălucească.

Adrian: În același timp, nici cei din celelalte două categorii nu ar trebui ignorați, pentru că acei oameni puși în postura de a vorbi în fața a zeci, poate sute de alte persoane, vor fi foarte motivați să dea ce este mai bun din ei. Pot exista tot felul de surprize plăcute atunci când unor oameni care nu mai făcuseră așa ceva niciodată li se oferă șansa de a fi profesori.

Cum se evaluează candidații pentru a stabili dacă sunt potriviți pentru a fi profesori în cadrul programului?

Adrian: Ca punct de pornire, este recomandarea colegilor că persoana respectivă stăpânește bine domeniul din care face parte. Urmează o discuție tehnică prin care stabilim nivelul de utilizator de IA al potențialului profesor. Evaluarea se face pe baza unor principii dezvoltate intern. În urma răspunsurilor la un set de întrebări, candidatul este încadrat într-unul dintre aceste niveluri: utilizator de ocazie, utilizator structurat, creator sau coordonator. Fiecare nivel este asociat cu un set de cunoștințe. Un utilizator de ocazie este o persoană care știe despre IA, a folosit IA pentru a genera conținut, inclusiv cod, dar nu are nicio cunoștință despre ce înseamnă prompt engineering sau context engineering. Un utilizator structurat folosește IA având cunoștințe despre prompt și context engineering. Iar fiecare interacțiune cu orice tool, fie că este într-un chat, IDE sau CLI, este făcută într-un mod asumat, bazat pe o utilizare eficientă și structurată de IA. Un creator nu doar utilizează structurat IA, ci creează instrucțiuni, skilluri etc., le testează și observă ce merge bine și ce nu. Partea de creație presupune bineînțeles crearea, dar și întreținerea acestor colecții și, mai mult decât atât, utilizatorul poate face deosebirea între un material bun și unul slab și poate revizui eficient un material nou. În schimb, coordonatorul este deja la nivelul la care ia în considerare eficiența, costurile, optimizările, integrările, procesele reutilizabile și cerințele unei companii ca parte a unei strategii de utilizare a IA.

Anca: Pe lângă expertiza tehnică, un alt aspect foarte important este deschiderea profesorului de a împărtăși din cunoștințele sale. O atitudine pozitivă, deschisă, va avea un impact pozitiv asupra atmosferei din timpul trainingului și asupra calității acestuia, în general.

Vor avea toți profesorii cel mai înalt nivel de cunoștințe în IA?

Anca: Nu, clar că nu. Programul e conceput să aibă următoarele niveluri: Entry, Practitioner, Advanced și Master. Spre exemplu, la nivelul entry, profesorul poate fi creator, dar și utilizator structurat.

Adrian: Există acest concept numit "curse of knowledge" care înseamnă că o persoană care știe foarte bine ceva ajunge, la un moment dat, să aibă impresia că toată lumea din jurul său înțelege foarte ușor conceptele care lui i se par simple. Astfel, în timpul recrutării se poate ajunge în punctul în care un potențial profesor să zică: "Eu nu pot fi profesor, nu am destule cunoștințe încât să predau ceva mai mult decât ce știe deja toată lumea". Paradoxal persoana respectivă creează lucruri complexe, precum agenți în pipeline-uri, iar noi îi cerem să explice ce este un LLM la nivelul entry în program, ceea ce este un lucru de bază.

Anca: Este ușor să cazi în capcana de a-ți dori să creezi o echipă din "the best of the best", dar calibrarea așteptărilor este un atu în livrarea cu succes a unui asemenea proiect.

Cum poți face ca profesorii care fac voluntariat să fie, totuși, motivați să contribuie?

Adrian: Principiul după care mă ghidez de multe ori în viața profesională este acela de a conduce un grup prin exemplul personal. De-a lungul timpului, am înființat și întreținut diferite comunități și, dacă există un lucru pe care l-am învățat, acela este că oamenii te vor urma dacă ești un bun exemplu. Primele sesiuni le-am ținut eu. Orele de train-the-trainers le-am ținut într-un format informal. Oamenii vor să contribuie și să facă lucruri mărețe, dar nu toată lumea vrea să facă primul pas. Fii tu acel lider în echipa ta, fă tu primul pas, fă-l bine și o să vezi că oamenii te vor urma. Totodată, la baza oricărui proiect de o asemenea anvergură stă o viziune, stă încrederea că vom reuși, că toată lumea luptă pentru un țel comun.

Anca: Cei care contribuie ca profesori au oportunitatea de a avea un impact major la nivel de companie. Mulți dintre ei au acum ocazia să își bifeze un obiectiv anual de dezvoltare, atât personal, cât și în beneficiul companiei. Nu este ușor să găsești oportunități de dezvoltare în zona de public speaking, cu atât mai mult în fața unui public numeros. La pachet cu titulatura de profesor vine și un anumit statut social în companie, lucru care aduce profesorului și un boost moral. Acești profesori devin recunoscuți printre colegii lor ca fiind experți în domeniu. De asemenea, odată cu acest program desfășurat în cadrul companiei, se formează în mod organic o elită a angajaților pasionați de IA, unde pasiunea și talentul sunt centralizate și dezvoltate în același timp. Acești oameni se susțin, se motivează și învață unul de la celălalt, formând bazele unei dezvoltări continue. Ce companie nu își dorește să aibă un grup de experți într-un singur loc, care să lucreze împreună și să aducă inovație în domeniul IA?

Care sunt costurile?

Anca: Timpul este singurul și cel mai de preț cost. Ceea ce este important de înțeles atunci când folosești resurse interne și oameni care fac asta voluntar, este că timpul lor este foarte prețios, mai ales când ei au de livrat și în echipa din care fac parte. Una dintre cele mai dificile părți ale acestui program este rosterul profesorilor. Oamenii au concedii, apar urgențe, situații neprevăzute, iar soluția pentru evitarea acestor situații este ca numărul final de profesori să depășească estimarea inițială.

Adrian: Profesorii ar trebui să aibă flexibilitatea să țină un curs de două ore o dată la două sau trei săptămâni. Având un număr mai mare de profesori decât necesar, aceștia au posibilitatea să își aleagă singuri la ce nivel de dificultate vor să predea și, mai important, când să predea. Iar un alt factor important este faptul că, pentru absolut fiecare sesiune, este nevoie de un trainer principal și un trainer de backup.

Cum alegem materialul de predare?

Adrian: Materialul predat trebuie să rezoneze cu participanții la curs. Ceea ce, în practică, înseamnă că sesiunile pornesc în unanimitate de la o structură comună, fie că vorbim de entry level sau master level. La aceasta se adaugă particularitățile specifice fiecărui departament. Spre exemplu, o sesiune entry pentru developeri poate conține un subiect numit "hallucinations in code", pe când, într-o sesiune tot de entry, însă dedicată oamenilor de product, subiectul se numește "hallucinations in text and reports". În ambele cazuri vorbim despre halucinații, dar în contexte diferite, relevante pentru fiecare departament. De asemenea, exemplele oferite trebuie să fie pliate pe specificul tehnic al departamentului. Cum ar fi, pentru departamentul Data, folosirea unor exemple oferite de Data Engineers, clare și în concordanță cu domeniul. Atunci când atât profesorul, cât și participantul la sesiune vorbesc aceeași limbă, folosesc aceleași acronime și aceleași glume, oferă exemple reale din experiența personală, legătura dintre ei se creează instant, iar programul devine mult mai eficient.

Anca: Materialul trebuie să fie coerent pe parcursul sesiunilor și să urmeze un fir logic. Teoretic, având atât de mulți profesori, am fi putut cădea în capcana de a construi un material care să respecte același stil rigid, de la o sesiune la alta. Însă noi ne-am dorit să le permitem profesorilor să adauge o notă personală și creativă atât conținutului, cât și modului de predare. Rezultatul a fost un conținut personalizat, viu, diferit de un conținut monoton pe care l-am fi putut găsi pe internet.

Cum convingem angajații să participe cu plăcere la acest program?

Anca: Poți avea cel mai bun produs, dar, dacă nu știi să faci marketing, vei face cunoștință cu eșecul. Pe lângă profesori, este nevoie de o echipă de organizatori, printre care să existe și persoane care știu foarte bine să facă marketing. Ei se vor ocupa de engagement, vor atrage participanții și vor transmite mesajele potrivite, respectând, totodată, standardele companiei.

Adrian: Pentru a evita ca informările legate de program să fie privite ca "yet another corporate mandatory training", este nevoie și aici de o analiză atentă și de alegerea mijloacelor de comunicare potrivite. Cât de des se trimit mesajele? Prin ce mijloace de comunicare se poate ajunge la angajați? Sunt emailurile de-ajuns? Postere fizice prin birouri? Meetinguri de promovare? Răspunsul la toate aceste întrebări este unul aproape de superlativ.

Ce alte concepte de bază trebuie acoperite în program?

Anca: Există oameni care nu folosesc IA pentru că o refuză ca tehnologie și există oameni care generează conținut fără măcar să îl citească. Unul dintre principiile de la care trebuie să pornim desemnează IA un punct de plecare, nu unul de sosire. Pentru ca munca generată cu ajutorul IA să fie una de calitate, este nevoie de inteligență umană care să evalueze și să ajusteze în mod constant outputul. De aceea, omul rămâne tot timpul în centrul IA-ului.

Cum ar trebui să fie experiența unui participant?

Anca: Participanții ar trebui să aibă opțiunea de a se înscrie la oricare nivel de dificultate doresc. Pot alege între entry, practitioner, advanced și master. Există un roster pe o pagină web, cu data, ora, locația sesiunii, linkul de Zoom/Teams, numele sesiunii și subiectele acoperite. Astfel, un participant, în funcție de cunoștințele pe care le are, poate evalua lista de subiecte și își poate da seama imediat dacă acea sesiune este potrivită pentru el sau nu.

Adrian: Este nerealist să credem că o persoană fără niciun fel de cunoștință în IA, va parcurge programul de la nivel entry la nivel master și va primi statutul de coordonator. Programul este gândit astfel încât participanții să primească un ajutor real în procesul de învățare a ceea ce înseamnă utilizarea de IA. Programul oferă informații valoroase pentru toate nivelurile de cunoștințe, dar nu este sursa absolută de informație care să îl transforme pe participant într-un coordonator în utilizarea de IA.

Ce poate motiva o echipă de organizatori să ducă un astfel de program către succes?

Anca: Pentru noi, programul acesta nu a fost un simplu task. Ne-a oferit ocazia de a cunoaște colegi noi, de a încerca să îi motivăm, de a-i aduce împreună și de a-i coordona pentru a atinge un scop comun. Energia pozitivă cu care am început programul a fost amplificată pe parcurs de colegii care nu doar că au rezonat cu ideile noastre, ci s-au implicat mai mult decât ne-am fi așteptat, au acceptat provocarea cu multă deschidere și au revenit, pentru a susține încă un training, și încă unul, de fiecare dată cu mai multă încredere și cu un conținut de calitate.

Adrian: Echipa de organizatori a început cu doi oameni, eu și Anca. Numărul membrilor a crescut încet. De fiecare dată când găseam oameni pasionați de subiect și motivați să promoveze utilizarea de IA, îi invitam în echipă. Nu am reușit să convingem pe toată lumea dar cei care au venit s-au adaptat foarte repede la stilul nostru de "make things happen", fără prea multă birocrație, trăgând toți cot la cot. Din experiența noastră, acest spirit dinamic, specific start-upurilor, poate fi aplicat cu succes și în inițiative din cadrul corporațiilor.

Concluzie

Un program de învățare a IA, bine structurat, creat de oameni, cu oameni atent aleși ca profesori poate aduce un beneficiu enorm atât angajaților, cât și companiei. În urma rulării unui astfel de program avem un set de artefacte și rezultate benefice: rămânem cu materialul predat, ce poate fi înregistrat și refolosit, și cu participanți instruiți, care au un nivel de cunoștințe ridicat, relevant în contextul cerințelor actuale. Pe lângă acestea, se formează un grup de specialiști care poate să contribuie în continuare la dezvoltare și cercetare pe subiectul IA. Astfel, profesorii devin mai buni din punct de vedere tehnic, participanții beneficiază de training special conceput pentru ei, iar compania ține pasul cu trendurile și cerințele pieței. Dar cel mai important, la baza acestui proces nu se află inteligența artificială, ci, din nou… omul.