Ascensiunea AI-ului ne provoacă să descoperim noi paradigme de folosire și de aplicare a acestuia în proiectele noastre. Alături de noi au fost prezenți la panel:
Costin Bădici - AI/ML Architect @ GlobalLogic,
Cornel Ștefanache - CTO @ AscentCore,
Răzvan Florian - President @ RIST,
Costin Bădici: Mă numesc Costin Bădici. Lucrez în IT de peste 11 ani. Am lucrat în Industria IoT, ML și cloud. Am lucrat în IoT combinat cu AI în domeniul mentenanței predictive și al detecției erorilor.
Cornel Ștefanache: Mă numesc Cornel. Lucrez în domeniu de 20 de ani. Fac cercetare pe AI din 2009 în cadrul UTCN și MIT Media Lab. Momentan, mă ocup atât de cercetare, cât și de dezvoltare de produse ce au la bază AI.
Răzvan Florian: Am lucrat în cercetare pe AI cu mult timp înainte să se audă atât de multe despre ea. În prezent, fac mai mult consultanță pe AI aplicat.
Alin Turcu: Mă ocup de Data & AI Engineering la Cognizant. Lucrez în domeniu de 14 ani.
Ovidiu Mățan În ce proiecte sunteți implicați?
Costin Bădici: La lucru, am momentan un client din zona Media & Entertainment. Am un proiect în care construim componenta de recomandări. Fac un motor de recomandări pentru o aplicație de muzică, de tipul Spotify. Este vorba de un algoritm de recomandări pe baza datelor istorice.
Cornel Ștefanache: Lucrăm pentru clienții AI-based. Suntem pe punctul de a lansa un nou produs care este destinat automatizării proceselor interne ale celui care le adoptă. Ne axăm pe companiile ce dezvoltă software, din enterprise. Pe plan personal, lucrez la un articol în care explic optimizarea prompturilor pentru optimizarea de tokeni despre care știm că sunt scumpi. Ideea e foarte simplă. Scapi de niște prepoziții, de plural.
Răzvan Florian: În ceea ce privește cercetarea, lucrez la simplificarea unui anumit model numit AI Universal care este cel mai avansat agent non-computabil care nu poate fi pus în practică. Lucrez la o chestie care să îl simplifice destul de mult, fără a-l face computabil. Cât privește partea aplicativă, am colaborat cu un start-up din Paris, unde am folosit AI pentru a detecta tranzacții frauduloase în instituții financiare non-bancare.
Alin Turcu: Lucrăm foarte mult pe modalități de a corela date folosind GenAI. Modelele PowerBI, Tableau sunt foarte bune, dar sunt bazate pe statistici. Cu GenAI poți interpreta date (ne)structurate sau grafice ad-hoc, poți corela date, iar asta se poate aplica în orice industrie. Lucrăm și pe industrii din lanțul de producție, pe manufacturare sau pe pharma unde putem lucra cu intelligent dashboards sau interactive dashboarding în timp real. Totul este privat pentru client. Folosim DataBricks. Facem ca outputul să poată consta atât în date structurate, cât și în date nestructurate.
Răzvan, când ar trebui să fie pus în practică modelul la care lucrezi?
Răzvan Florian: Targetul este superinteligența. Implică o infinitate de calcule. Este ca și cum ai folosi o putere de calcul mai mare decât ce avem disponibil. Exemplele care implementează modelul sunt modele de jucărie, irelevante din punct de vedere aplicativ, însă doresc să simplific modelul foarte mult, astfel încât aceste aproximări să devină mai relevante aplicativ.
Aproape toate modelele au fost îmbunătățite în ultimele luni. Cum vezi evoluția aceasta?
Răzvan Florian: Evoluția a fost rapidă, iar, dacă extrapolăm această rată de evoluție, avem impresia că lucrurile se vor schimba foarte mult în următorii cinci ani. Pe de altă parte, tehnologia actuală de modele lingvistice mari ajunge la o anumită plafonare dată de faptul că toate datele de antrenament au fost deja folosite (evident, se continuă creșterea calității modelelor prin alte mijloace). Capacitatea de învățare depinde de cât de mult feedback primești. Serviciile de modele lingvistice online capturează un anumit feedback al utilizatorului. Uneori ți se oferă două variante pe care le poți evalua cu un thumbs up. Uneori se plătesc oameni care evaluează răspunsurile sau care le corectează. Acesta este un mod de a aduce informație care îmbunătățește calitatea răspunsului acestor modele. Rămâne de văzut în ce măsură aceste cantități de date sunt folosite. Pe măsură ce utilizatorii realizează că datele lor sunt folosite în antrenare, utilizatorii pot opta ca datele lor să nu poată fi folosite, ceea ce înseamnă că datele lor sunt mai puține.
Știu că ai pasiunea de a crea platforme care se auto-generează? Ce ne poți spune despre ultimele tale platforme?
Cornel Ștefanache: În trecut, am construit un sistem de operare folosind doar limbaj natural. Am pus pe pauză acest proiect, deoarece nu am mai avut timp. Vom vedea un consum și o adopție mai mare a LLM. Doresc și eu să aduc completări la răspunsul legat de calitatea modelelor. Am ajuns la un apogeu și la o convergență prematură. Calitatea a crescut, dar acum șase luni, LLM-ul era mult mai creativ, chiar dacă halucina. Tindem spre un single point of truth al răspunsurilor generate de LLM față de care orice alt răspuns nu are aceeași greutate.
Cum validezi codul generat de AI?
Alin Turcu: Prezentarea mea pe Amazon Bedrock a avut rolul de a arăta că este mai ușor să creezi aplicații GenAI. E vorba de arhitectura unui chatbot foarte simplu care nu se conectează la foarte multe surse de date, fiind mai mult un prototip. În AWS putem automatiza multe și nu e necesar să scriem cod, dar, pe partea de infrastructură, este bine să folosim Infrastructure as Code. Putem genera codul, fișierele YAML, folosind un agent, un asistent, un LLM. Puteți instala Amazon Q în IDE-ul vostru, iar apoi puteți genera fișiere YAML pe care apoi trebuie să le verificați. Legat de înlocuirea programatorilor cu AI, putem folosi agenții pentru a scrie cod și pentru a ne ușura munca repetitivă. Cu siguranță, munca unui programator nu poate fi redusă la scrierea de cod repetitiv. Timeline-ul conform căruia programatorii vor fi înlocuiți în 6-9 ani este unul extrem de agresiv și nerealist.
Cornel Ștefanache: Se zice că orice generator de cod este mai bun decât un programator junior. Prin urmare, noi, seniorii am fi cumva avantajați. Sunt de acord cu ce a spus colegul meu. ChatGPT poate fi considerat mai bun decât oricare dintre noi, la nivel de cunoștințe, dar, per global, ca umanitate, eșuează. Toate LLM-urile sunt limitate la cunoștințele generate tot de noi.
Răzvan Florian : Estimarea este exagerată și nu cred că se bazează pe ceea ce avem acum ca tehnologie. Tehnologia modelelor lingvistice ajunge la o anumită plafonare. De exemplu, nu putem rezolva interacțiunea proceselor multi-thread, deoarece LLM-ul procesează tokeni doar din cod sursă. A fost un hype cu sistemul de agenți Devin, cărora trebuia doar să le dai specificațiile ca ei să producă codul și testele. Nu a funcționat la un nivel care să genereze aplicații relevante. Sigur că, dacă generează cod pentru login o va face bine, deoarece sunt multe exemple pe net. Cu cât ceea ce faci este mai specific, cu atât îi va fi mai greu unui LLM să implementeze, deoarece, în esență, el face completare de tokeni cu următorul token cel mai probabil, bazat pe setul său de date. În măsura în care există analogii și asemănări între aceste exemple, poate învăța și genera. Va fi greu să producă ceva, dacă nu a avut ceva similar în baza de date.
Alin Turcu: Argumentele colegilor mei sunt valide. Studiile de specialitate spun că se va ajunge la o profitabilitate mai mare, nu înlocuindu-se oamenii din companii, ci făcându-i mai productivi. GenAI se bazează pe recunoaștere de patternuri, nu pe creativitate. Să ne gândim și la limitările fizice. Pentru a antrena un LLM, este nevoie de milioane de GPU-uri. Pentru a atinge superinteligența ar trebui ca toate națiunile să își pună resursele la comun.
Se va putea reglementa așa ceva?
Alin Turcu: Este foarte greu. Europa este vârf de lance în domeniul legislației. În SUA, totul este descentralizat, la nivel de stat federal. China are mai mult control guvernamental. Centralizarea și competitivitatea geopolitică fac foarte dificil un acord global.
Răzvan Florian: Chiar dacă modelele lingvistice se plafonează din punctul de vedere al capacității, pot apărea noi tehnologii AI. Metoda de auto-învățare supervizată este promițătoare. Sunt grupuri mici care lucrează la alternative și care pot produce ceva la fel de spectaculos precum ChatGPT. Regulamentul AI al UE este mult prea stufos, mult prea acoperitor, ceea ce face să încetinească viteza start-upurilor din UE față de UK care nu este supusă acestor reglementări. Cred că trebuie reglementate aplicațiile AI. Dacă faci X, iar X este dăunător pentru societate, acel X trebuie interzis. Regulamentul AI spune că, dacă faci X cu AI, atunci interzicem acest lucru, dar nu interzic X. Legea a fost adoptată dintr-un sentiment de frică față de AI, nu neapărat dintr-un motiv rațional.
Cornel, cât de ușor este să îți instalezi un model și să treci peste limitări?
Cornel Ștefanache: Inclusiv Docker are un llama.cpp în spate. Îți aduce modelele. Totul a devenit atât de simplu. Conceptul AI este atât de larg, încât am putea combate orice punct din legislație. Problema încă rămâne la procesare. Poți rula DeepSeek acasă, dar, dacă vrei să livrezi competitiv soluții, ai nevoie și de UX foarte bun. Totul devine o problemă de usability, nu de resurse, pentru că acestea sunt limitate. Părerea mea este că arhitectura curentă nu este cea mai bună. Sunt convins că va veni o arhitectură mai light, mai bună, mai distribuită.
Ar putea exista reglementări în funcție de ceea ce îți instalezi?
Costin Bădici: Nu cred. Trebuie să ținem cont de cerințele de securitate ale aplicației. Legat de ceea ce am prezentat eu pe Amazon Bedrock și cum sunt procesate datele noastre, menționez că datele noastre nu părăsesc regiunea. Dacă modelul este pe o mașină custom, nu putem opri utilizatorul să facă ceva. AWS, precum ceilalți furnizori de cloud, operează cu shared security. Dacă folosim o instanță EC2, AWS este responsabil pe partea de securitate de infrastructură. Legat de ce aplicații punem pe instanța EC2, nu avem nicio limitare. Putem folosi principiile de securitate pentru orice model pe care îl importăm în AWS și pe care îl folosim cu versiunea fine-tuned a Bedrock.
Doru Șupeală (din public): În ce privește productivitatea, primesc multe mesaje din companii de la oameni care spun că sunt obosiți, că se simt folosiți, că există presiune de la clienți să fie mult mai productivi, având în vedere că acum există AI. Aveți astfel de semnale și voi? Cei care au intrat mai de mult timp în industrie au o siguranță mai mare decât cei noi. Ce soluții vedeți voi pentru cei tineri?
Alin Turcu: Unele industrii, de exemplu Automotive, au avut o scădere când a apărut GenAI. A fost o coincidență. Este un cumul de factori. Datorită globalizării, țări mai puțin dezvoltate decât a noastră vor avea acces la informație și vor putea livra același software la preț mai mic. Avem o problemă de competitivitate la nivelul pieței muncii. Cum putem performa în contextul competitivității globale? Presiunea este de a livra la timp, mai competitiv.
Cornel Ștefanache: Mediul hibrid ne-a afectat. Până la pandemie, Clujul era plin de evenimente și hackatons. Unde sunt acestea acum? Uite câți suntem acum. Lumea nu mai e atât de interesată. Aceste lucruri afectează și programatorii juniori. Am încercat să formez o comunitate de AI clasic, de algoritmică. Erau mulți în listă, dar nimeni nu a participat la evenimente.
Alin Turcu: În ceea ce îi privește pe juniori, dacă ei vor doar să genereze cod repede, nu mai au cum să învețe. AI-ul poate fi folosit pentru a învăța, nu pentru a copia.
(întrebare din public): Cum vedeți rolul AI în robotică?
Răzvan Florian: AI generalizat are nevoie de interacțiunea cu exteriorul. E foarte important reîntoarcerea spre roboți, spre AI fizic. Era o temă frecventă în trecut. Acum reinventăm apa caldă. E drept că LLM-urile au avut o performanță deosebit de bună. A fost o mare surpriză și pentru Google. Viitorul este al inteligenței artificiale corporalizate, a roboților.
(întrebare din public): Ce probleme din societate s-ar putea rezolva cu AI, dincolo de partea tehnică?
Cornel Ștefanache: Unii specialiști spuneau că în doi ani vom avea o soluție pentru toate bolile. Umanitatea are nevoie de AI fizic, dar AI nu are nevoie de oameni. Noi am găsit o modalitate de a comunica cu calculatorul, pentru că noi aveam nevoie de asta, nu invers.
Costin Bădici: Ceea ce observ pe partea de GenAI este că poate contribui cu succes în Customer Service. Putem îmbunătăți experiența clienților și interacțiunea cu aceștia.
Ar trebui predat ceva specific la școală?
Costin Bădici: Pentru tineri văd a fi esențiale nu abilitățile tehnice sau de programare, ci partea de comunicare, soft skills, inteligență emoțională.