Kompanija za čipove Tenstorrent, koju vodi Jim Keller, izdala je svoj procesor Wormhole sljedeće generacije za AI opterećenja, za koji očekuje da će ponuditi dobre performanse po pristupačnoj cijeni.Kompanija trenutno nudi dvije dodatne PCIe kartice koje mogu primiti jedan ili dva Wormhole procesora, kao i TT-LoudBox i TT-QuietBox radne stanice za softverske developere. Sve današnje najave su namijenjene developerima, a ne onima koji koriste Wormhole ploče za komercijalna opterećenja.
„Uvijek je zadovoljavajuće kada više naših proizvoda dođe u ruke programera. Sistemi za razvoj izdanja koji koriste naše Wormhole™ kartice mogu pomoći programerima da skaliraju i razvijaju softver za umjetnu inteligenciju s više čipova“, rekao je Jim Keller, izvršni direktor Tenstorrenta.Pored ovog lansiranja, uzbuđeni smo što vidimo napredak koji postižemo s izvlačenjem trake i puštanjem u rad našeg proizvoda druge generacije, Blackhole.
Svaki Wormhole procesor sadrži 72 Tensix jezgre (od kojih pet podržava RISC-V jezgre u različitim formatima podataka) i 108 MB SRAM-a, isporučujući 262 FP8 TFLOPS-a na 1 GHz sa termalnom snagom od 160W. Jednočipna Wormhole n150 kartica opremljena je sa 12 GB GDDR6 video memorije i ima propusni opseg od 288 GB/s.
Wormhole procesori pružaju fleksibilnu skalabilnost kako bi zadovoljili različite potrebe radnih opterećenja. U standardnoj postavci radne stanice s četiri Wormhole n300 kartice, procesori se mogu kombinirati u jednu jedinicu koja se u softveru pojavljuje kao ujedinjena, široka Tensix jezgrena mreža. Ova konfiguracija omogućava akceleratoru da obrađuje isto radno opterećenje, podijeli ga između četiri programera ili istovremeno pokrene do osam različitih AI modela. Ključna karakteristika ove skalabilnosti je da se može pokretati lokalno bez potrebe za virtualizacijom. U okruženju podatkovnog centra, Wormhole procesori će koristiti PCIe za proširenje unutar mašine ili Ethernet za vanjsko proširenje.
Što se tiče performansi, Tenstorrent-ova jednočipna Wormhole n150 kartica (72 Tensix jezgre, frekvencija 1 GHz, 108 MB SRAM-a, 12 GB GDDR6, propusni opseg od 288 GB/s) postigla je 262 FP8 TFLOPS-a pri 160W, dok dvočipna Wormhole n300 ploča (128 Tensix jezgara, frekvencija 1 GHz, 192 MB SRAM-a, agregirano 24 GB GDDR6, propusni opseg od 576 GB/s) isporučuje do 466 FP8 TFLOPS-a pri 300W.
Da bismo stavili 300W od 466 FP8 TFLOPS-a u kontekst, uporedit ćemo to s onim što Nvidia, lider na tržištu umjetne inteligencije, nudi s ovom termalnom snagom. Nvidia A100 ne podržava FP8, ali podržava INT8, s vršnim performansama od 624 TOPS (1.248 TOPS pri rijetkom korištenju). Poređenja radi, Nvidia H100 podržava FP8 i postiže vršne performanse od 1.670 TFLOPS-a pri 300W (3.341 TFLOPS pri rijetkom korištenju), što se značajno razlikuje od Tenstorrentovog Wormhole n300.
Međutim, postoji jedan veliki problem. Tenstorrentov Wormhole n150 se prodaje po cijeni od 999 dolara, dok se n300 prodaje za 1.399 dolara. Poređenja radi, jedna Nvidia H100 grafička kartica se prodaje po cijeni od 30.000 dolara, ovisno o količini. Naravno, ne znamo da li četiri ili osam Wormhole procesora zapravo mogu pružiti performanse jednog H300, ali njihovi TDP-ovi su 600W i 1200W respektivno.
Pored kartica, Tenstorrent nudi i unaprijed izgrađene radne stanice za programere, uključujući 4 n300 kartice u pristupačnijem TT-LoudBoxu baziranom na Xeonu s aktivnim hlađenjem i naprednom TT-QuietBoxu s funkcijom tekućeg hlađenja (Xiaolong) baziranom na EPYC-u.
Vrijeme objave: 29. jula 2024.