AI21 smanjio čekanje na pokretanje AI poslova sa 72 na 12 sati
AI21 navodi da je uz Google Cloud AI Hypercomputer skratio čekanje za prioritetne AI poslove za 83 odsto i uklonio ručne intervencije pri raspoređivanju.
Šta je postignuto
AI21 navodi da je prelaskom na Google Cloud AI Hypercomputer skratio vreme čekanja za prioritetne poslove sa 72 sata na 12 sati.
Kompanija takođe navodi da je broj ručnih intervencija pri raspoređivanju pao sa 20 nedeljno na nulu.
Kako izgleda infrastruktura
Trening modela radi na zajedničkim Google Kubernetes Engine klasterima koji objedinjuju hiljade Google Cloud A3 i A3 Ultra instanci sa NVIDIA H100 i H200 GPU akceleratorima.
AI21 je izabrao Google Cloud AI Hypercomputer kako bi radna opterećenja mogao da podrži u velikom obimu.
Šta je bio problem pre promene
Pre korišćenja GKE-a za orkestraciju, kapacitet se ručno dogovarao preko Slacka, što je otežavalo raspoređivanje na veoma opterećenim klasterima.
Isti klaster koristi se i za druge modele i poslove optimizacije agenata izvan Jamba porodice.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.
Komentari
Komentari se objavljuju nakon moderacije.
Još nema objavljenih komentara.