20GB RAM pe Android, cerință minimă pentru a folosi pe deplin capabilitățile AI de tip on-device

În timp ce Qualcomm, Samsung și MediaTek nu contenesc cu promisiuni la superlativ despre capabilitățile AI susținute cu procesare on-device de viitoarele telefoane cu Android, experții în tehnologii de inteligență artificială atrag atenția că pentru a funcționa la întregul potențial, modelele generative AI vor avea nevoie de foarte multă memorie RAM.

Problema este cunoscută încă de la debutul ChatGPT, însă a fost foarte bine ascunsă consumatorilor de rând, OpenAI, Google și restul companiilor care oferă astfel de servicii delegând efortul de procesare unor uriașe centre de procesare cloud, dotate cu sute/mii de acceleratoare dedicate. Așa se face că poți folosi ChatGPT pe orice PC, tabletă sau telefon, fără să te lovești de obstacole insurmontabile cum ar fi efortul de procesare uriaș, sau cerințele pe partea de memorie RAM.

Însă datele problemei se schimbă radical odată ce muți procesarea AI pe dispozitivul tău. Chiar și într-o formulă mult simplificată, modelele generative AI lucrează cu seturi foarte mari de date, pe care nu le poți păstra în memoria statică a dispozitivului.

Macquarie has issued a report on the required RAM capacity to run on-device AI on smartphones, and it’s intriguing.

1) The typical current smartphone is equipped with around 8GB of RAM.
2) On-device AI devices with image generation capabilities require approximately 12GB of RAM.… pic.twitter.com/gzsuQroyPc

— Revegnus (@Tech_Reve) November 13, 2023

Potrivit experților în domeniu, un model AI cu capabilități de generare a imaginilor are nevoie de aproximativ 12GB memorie RAM, pentru a funcționa corespunzător. Spre comparație, echiparea standard a unui smartphone din generația actuală prevede doar 8GB memorie RAM, iar asta pentru întreg sistemul de operare (Android + aplicații active). Pornind de la această deducere simplă, rezultă că viitoarele telefoane cu Android vor avea nevoie de cel puțin 20GB memorie RAM pentru a funcționa corespunzător. Preferabil, mai mult.

În timp ce afirmațiile de mai sus sunt probabil adevărate, asta nu înseamnă că nu vei putea avea procesare AI on-device pe telefoanele cu 12GB sau 16GB memorie RAM. Ci doar că, probabil, generația de telefoane de anul viitor va avea capabilități on-device limitate, adevăratul potențial urmând să fie descoperit abia în anii ce vor urma. Odată ce telefoane cu 32GB sau chiar 64GB RAM vor deveni ceva normal. Nu trebuie uitat nici „costul” efortului de procesare, utilizatorii care folosesc în mod intensiv capabilitățile AI ale telefonului descoperind probabil și impactul asupra consumului bateriei.

Între timp, probabil că va trebui să ne obișnuim să cedăm tot mai mult din intimitatea noastră companiilor care administrează centrele cloud în care vor fi procesate majoritatea funcțiilor AI promovate pe noile generație de gadgeturi inteligente.