Google, Red Hat i IBM objavili llm-d 1.0 za distribuirano pokretanje AI modela

Nova verzija otvorenog sistema

Google je saopštio da llm-d 1.0 stiže u trenutku kada AI agenti menjaju prirodu inferencije, odnosno način na koji se već obučeni modeli koriste za obradu novih zahteva.

Kompanija navodi da je pre godinu dana najveći deo saobraćaja inferencije ličio na klasičan razgovor: jedan upit ulazi u sistem, a jedan odgovor izlazi iz njega.

U demonstraciji tokom uvodnog izlaganja na PyTorch konferenciji, 1.000 izolovanih agenata na Agent Substrate okruženju u GKE-u koristilo je jednu llm-d pristupnu tačku preko vLLM-a, SGLang-a i kombinovane flote Google Cloud TPU i GPU akceleratora.

Šira zajednica iza projekta

llm-d su zajedno pokrenuli Google, Red Hat, IBM i drugi partneri, a na projektu u CNCF Sandbox programu radilo je više od 500 saradnika iz 25 organizacija. Projekat povezuje PyTorch ekosistem, u kome vLLM i SGLang poslužuju modele, sa Kubernetes okruženjem za pokretanje i skaliranje distribuiranih sistema.