Công ty chip Tenstorrent do Jim Keller dẫn đầu đã phát hành bộ xử lý Wormhole thế hệ tiếp theo dành cho khối lượng công việc AI, công ty hy vọng sẽ mang lại hiệu suất tốt với mức giá phải chăng.Công ty hiện cung cấp thêm hai thẻ PCIe bổ sung có thể chứa một hoặc hai bộ xử lý Wormhole, cũng như các máy trạm TT-LoudBox và TT-QuietBox dành cho các nhà phát triển phần mềm. Tất cả thông báo ngày hôm nay đều nhằm vào các nhà phát triển, không phải những người sử dụng bảng Wormhole cho khối lượng công việc thương mại.
“Thật vui khi có thêm nhiều sản phẩm của chúng tôi đến tay các nhà phát triển. Jim Keller, Giám đốc điều hành của Tenstorrent cho biết, phát hành các hệ thống phát triển sử dụng thẻ Wormhole™ của chúng tôi có thể giúp các nhà phát triển mở rộng quy mô và phát triển phần mềm AI đa chip.Ngoài lần ra mắt này, chúng tôi rất vui mừng khi thấy những tiến bộ mà chúng tôi đang đạt được với việc tháo băng và tăng sức mạnh cho sản phẩm thế hệ thứ hai của chúng tôi, Blackhole.”
Mỗi bộ xử lý Wormhole chứa 72 lõi Tensix (năm trong số đó hỗ trợ lõi RISC-V ở nhiều định dạng dữ liệu khác nhau) và 108 MB SRAM, cung cấp 262 FP8 TFLOPS ở tốc độ 1 GHz với công suất thiết kế nhiệt là 160W. Thẻ Wormhole n150 chip đơn được trang bị bộ nhớ video 12 GB GDDR6 và có băng thông 288 GB/s.
Bộ xử lý Wormhole cung cấp khả năng mở rộng linh hoạt để đáp ứng nhu cầu đa dạng của khối lượng công việc. Trong thiết lập máy trạm tiêu chuẩn với bốn thẻ Wormhole n300, các bộ xử lý có thể được kết hợp thành một đơn vị duy nhất xuất hiện trong phần mềm dưới dạng mạng lõi Tensix rộng, thống nhất. Cấu hình này cho phép bộ tăng tốc xử lý cùng một khối lượng công việc, phân chia giữa bốn nhà phát triển hoặc chạy đồng thời tối đa tám mô hình AI khác nhau. Tính năng chính của khả năng mở rộng này là nó có thể chạy cục bộ mà không cần ảo hóa. Trong môi trường trung tâm dữ liệu, bộ xử lý Wormhole sẽ sử dụng PCIe để mở rộng bên trong máy hoặc Ethernet để mở rộng bên ngoài.
Về hiệu năng, card Wormhole n150 chip đơn của Tenstorrent (72 lõi Tensix, tần số 1 GHz, SRAM 108 MB, 12 GB GDDR6, băng thông 288 GB/s) đạt 262 FP8 TFLOPS ở 160W, trong khi bo mạch Wormhole n300 chip kép (128 lõi Tensix, tần số 1 GHz, SRAM 192 MB, tổng hợp 24 GB GDDR6, băng thông 576 GB/s) cung cấp tới 466 FP8 TFLOPS ở công suất 300W.
Để đưa 300W của 466 FP8 TFLOPS vào bối cảnh, chúng ta sẽ so sánh nó với những gì Nvidia dẫn đầu thị trường AI đang cung cấp ở sức mạnh thiết kế nhiệt này. A100 của Nvidia không hỗ trợ FP8, nhưng nó hỗ trợ INT8, với hiệu suất cao nhất là 624 TOPS (1.248 TOPS khi thưa thớt). Để so sánh, H100 của Nvidia hỗ trợ FP8 và đạt hiệu suất cao nhất là 1.670 TFLOPS ở 300W (3.341 TFLOPS ở mức thưa thớt), khác biệt đáng kể so với Wormhole n300 của Tenstorrent.
Tuy nhiên, có một vấn đề lớn. Tenstorrent's Wormhole n150 có giá bán lẻ là 999 USD, trong khi n300 được bán với giá 1.399 USD. Để so sánh, một card đồ họa Nvidia H100 có giá bán lẻ là 30.000 USD, tùy thuộc vào số lượng. Tất nhiên, chúng tôi không biết liệu bốn hay tám bộ xử lý Wormhole có thực sự mang lại hiệu suất của một chiếc H300 hay không, nhưng TDP của chúng lần lượt là 600W và 1200W.
Ngoài thẻ, Tenstorrent còn cung cấp các máy trạm dựng sẵn cho nhà phát triển, bao gồm 4 thẻ n300 trong TT-LoudBox dựa trên Xeon giá cả phải chăng hơn với tính năng làm mát chủ động và TT-QuietBox tiên tiến với chức năng làm mát bằng chất lỏng dựa trên EPYC).
Thời gian đăng: 29-07-2024