Kompanija Tenstorrent za čipove predvođena Jimom Kellerom objavila je svoju novu generaciju Wormhole procesora za radna opterećenja umjetne inteligencije, za koje očekuje da će ponuditi dobre performanse po pristupačnoj cijeni.Kompanija trenutno nudi dvije dodatne PCIe kartice koje mogu smjestiti jedan ili dva Wormhole procesora, kao i TT-LoudBox i TT-QuietBox radne stanice za programere softvera. Sve današnje najave su usmjerene na programere, a ne na one koji koriste Wormhole ploče za komercijalna radna opterećenja.
“Uvijek je zadovoljstvo dobiti više naših proizvoda u ruke programera. Izdavanje razvojnih sistema pomoću naših Wormhole™ kartica može pomoći programerima da skaliraju i razviju softver za umjetnu inteligenciju s više čipova,” rekao je Jim Keller, izvršni direktor Tenstorrenta.Pored ovog lansiranja, uzbuđeni smo što vidimo napredak koji postižemo s izvlačenjem trake i pokretanjem naše druge generacije proizvoda, Blackhole.”
Svaki Wormhole procesor sadrži 72 Tensix jezgra (od kojih pet podržava RISC-V jezgra u različitim formatima podataka) i 108 MB SRAM-a, isporučujući 262 FP8 TFLOPS na 1 GHz sa toplotnom dizajniranom snagom od 160 W. Jednočipna Wormhole n150 kartica je opremljena sa 12 GB GDDR6 video memorije i ima propusni opseg od 288 GB/s.
Wormhole procesori pružaju fleksibilnu skalabilnost kako bi zadovoljili različite potrebe radnih opterećenja. U standardnoj radnoj stanici sa četiri Wormhole n300 kartice, procesori se mogu kombinovati u jednu jedinicu koja se pojavljuje u softveru kao objedinjena, široka Tensix mreža jezgra. Ova konfiguracija omogućava akceleratoru da se nosi s istim radnim opterećenjem, podijeli između četiri programera ili istovremeno pokrene do osam različitih AI modela. Ključna karakteristika ove skalabilnosti je da može raditi lokalno bez potrebe za virtuelizacijom. U okruženju data centra, procesori crvotočine će koristiti PCIe za proširenje unutar mašine ili Ethernet za eksterno proširenje.
Što se tiče performansi, Tenstorrentova jednočipna Wormhole n150 kartica (72 Tensix jezgra, 1 GHz frekvencija, 108 MB SRAM, 12 GB GDDR6, 288 GB/s propusnost) je postigla 262 FP8 TFLOPS pri 160 W, dok je W3 ili dual-board0 chip (128 Tensix jezgara, frekvencija 1 GHz, 192 MB SRAM, agregirano 24 GB GDDR6, 576 GB/s propusnog opsega) isporučuje do 466 FP8 TFLOPS pri 300 W.
Da bismo 300W od 466 FP8 TFLOPS stavili u kontekst, uporedićemo to sa onim što lider na tržištu veštačke inteligencije nudi Nvidia sa ovom snagom toplotnog dizajna. Nvidijin A100 ne podržava FP8, ali podržava INT8, sa maksimalnim performansama od 624 TOPS (1,248 TOPS kada je rijetka). Za poređenje, Nvidijin H100 podržava FP8 i dostiže vrhunske performanse od 1,670 TFLOPS pri 300W (3,341 TFLOPS na rijetkim), što se značajno razlikuje od Tenstorrent-ovog Wormhole n300.
Međutim, postoji jedan veliki problem. Tenstorrentov Wormhole n150 se prodaje za 999 dolara, dok se n300 prodaje za 1,399 dolara. Poređenja radi, jedna Nvidia H100 grafička kartica košta 30.000 dolara, ovisno o količini. Naravno, ne znamo da li četiri ili osam Wormhole procesora zaista mogu pružiti performanse jednog H300, ali njihovi TDP-i su 600W odnosno 1200W.
Pored kartica, Tenstorrent nudi unapred izgrađene radne stanice za programere, uključujući 4 n300 kartice u pristupačnijem Xeon-baziranom TT-LoudBox-u sa aktivnim hlađenjem i naprednom TT-QuietBox-u sa EPYC-baziranom Xiaolong) funkcijom tekućeg hlađenja).
Vrijeme objave: Jul-29-2024