Umelá inteligencia vo firme a jej skryté nároky na sieť

Nástroje umelej inteligencie a modely od Claude, Google Gemini, Microsoft Copilot či ChatGPT dokážu dramaticky zvýšiť produktivitu zamestnancov aj celých oddelení. 

Ich využívanie však dokáže firmu výrazne zaťažiť. Okamžite viditeľné sú priame finančné náklady za predplatné. Tie sa v rozšírenejších verziách, ktoré používateľov po pár správach v chatovacom okne neobmedzia na ďalších niekoľko hodín, pohybujú v desiatkach eur mesačne. Pri desiatkach či stovkách zamestnancov táto suma rýchlo narastie do tisícov eur. 

Ešte väčším prekvapením bývajú tokenové poplatky pri prístupe priamo cez API, ktoré je nevyhnutné pre automatizované činnosti, zabudovanie AI do interných CRM systémov alebo vlastné aplikácie poháňané AI. Mnohé firmy tak po niekoľkých niekoľkých mesiacoch zistia, že AI ich stojí výrazne viac, než pôvodne plánovali.

Využívanie AI však môže výrazne zaťažiť aj celú dátovú sieť a výrazne spomaliť bežný prístup k internetu cez Wi-Fi či ethernet.
 

Stovky megabajtov tam a späť

Samozrejme, bežné otázky v ChatGPT alebo požiadavka na úpravu a gramatickú korektúru e-mailu “spotrebuje” len pár desiatok či stoviek bajtov. Situácia sa však dramaticky mení, ak namiesto prostého jazykového LLM modelu potrebujete analyzovať interné dokumenty alebo iné dáta (RAG). 

Drtivá väčšina firiem využíva bežne dostupné komerčné nástroje, kde celá analýza prebieha na vzdialených serveroch s dostatočným výkonom a špeciálnym hardvérom šitým na mieru neurónových sietí. 

Problém nastáva v prípade, že potrebujete analyzovať niekoľko dokumentov naraz – fotokópie faktúr, 20 alebo 100 MB powerpointovú prezentáciu s nekomprimovanými obrázkami, všetky e-maily za posledných 6 mesiacov alebo desiatky či stovky dokumentov v rámci jedného projektu počas jedného requestu.

Dáta môžu exponenciálne narásť aj pri posielaní opačným smerom. Stačí, aby si marketingové oddelenie nechalo vygenerovať niekoľko verzií informačných letákov alebo kampaní v plnom tlačovom rozlíšení alebo dokonca celé videá upravené umelou inteligenciou. V jednom momente tak môžeme hovoriť aj o stovkách megabajtov na jednu úlohu zadanú AI.
 

Problémom je aj latencia. Zvoľte si pripojenie, ktoré AI zvládne

Pri výbere internetového pripojenia väčšina z nás sleduje najmä rýchlosť sťahovania, prípadne odosielania dát. Lenže agenti umelej inteligencie pri svojich úlohách spúšťajú aj 10 až 50 rozličných požiadaviek medzi jednotlivými modelmi.

Automatizácia zas zahŕňa logovanie, presun požiadavky na server, kde sa úloha vykoná a odoslanie požiadavky naspäť. Pri internete s pomalšou odozvou (latenciou) sa každá táto úloha, respektíve každá komunikácia medzi vaším hardvérom a servermi AI, omešká aj o 100 až 200 ms. Väčším problémom než objem dát tak môžu byť zúfalo pomalé reakcie a odpovede. 

Problém samozrejme dramaticky narastá s vyšším počtom používateľov, ktorí s AI pracujú súbežne. Ak 30 alebo 100 ľudí naraz generuje reporty a analyzuje dáta, AI môže začať pôsobiť pomaly a ľudia ju radšej úplne prestanú používať. 

Riešením je kvalitné a rýchle optické internetové pripojenie do firmy od SWANu. Business Internet dokáže ponúknuť symetrické pripojenie s rýchlosťou sťahovania / odosielania až do 100 Gbps, čo je až stonásobne viac než bežne dostupné pripojenia pre fyzické osoby. Bonusom je neustále dostupná proaktívna podpora 24/7, ktorá rieši problémy skôr, než vzniknú.