Công ty sản xuất chip Tenstorrent do Jim Keller đứng đầu đã cho ra mắt bộ xử lý Wormhole thế hệ tiếp theo dành cho các tác vụ trí tuệ nhân tạo, dự kiến sẽ mang lại hiệu năng tốt với mức giá phải chăng.Hiện tại, công ty cung cấp thêm hai card PCIe có thể chứa một hoặc hai bộ xử lý Wormhole, cũng như các máy trạm TT-LoudBox và TT-QuietBox dành cho các nhà phát triển phần mềm. Tất cả các thông báo ngày hôm nay đều hướng đến các nhà phát triển, chứ không phải những người sử dụng bo mạch Wormhole cho các tác vụ thương mại.
“Việc đưa được nhiều sản phẩm hơn đến tay các nhà phát triển luôn là điều đáng mừng. Hệ thống phát triển phần mềm sử dụng thẻ Wormhole™ của chúng tôi có thể giúp các nhà phát triển mở rộng quy mô và phát triển phần mềm AI đa chip,” Jim Keller, Giám đốc điều hành của Tenstorrent cho biết.Bên cạnh sự kiện ra mắt này, chúng tôi rất vui mừng khi thấy những tiến bộ đạt được trong quá trình hoàn thiện và vận hành thử nghiệm sản phẩm thế hệ thứ hai của chúng tôi, Blackhole.”
Mỗi bộ xử lý Wormhole chứa 72 lõi Tensix (trong đó năm lõi hỗ trợ kiến trúc RISC-V với nhiều định dạng dữ liệu khác nhau) và 108 MB SRAM, cung cấp hiệu năng 262 FP8 TFLOPS ở tốc độ 1 GHz với công suất thiết kế nhiệt là 160W. Card Wormhole n150 đơn chip được trang bị bộ nhớ video GDDR6 12 GB và có băng thông 288 GB/s.
Bộ xử lý Wormhole cung cấp khả năng mở rộng linh hoạt để đáp ứng nhu cầu đa dạng của các khối lượng công việc. Trong thiết lập máy trạm tiêu chuẩn với bốn card Wormhole n300, các bộ xử lý có thể được kết hợp thành một đơn vị duy nhất, xuất hiện trong phần mềm như một mạng lõi Tensix thống nhất, rộng lớn. Cấu hình này cho phép bộ tăng tốc xử lý cùng một khối lượng công việc, được chia cho bốn nhà phát triển hoặc chạy đồng thời tối đa tám mô hình AI khác nhau. Một tính năng quan trọng của khả năng mở rộng này là nó có thể chạy cục bộ mà không cần ảo hóa. Trong môi trường trung tâm dữ liệu, bộ xử lý Wormhole sẽ sử dụng PCIe để mở rộng bên trong máy hoặc Ethernet để mở rộng bên ngoài.
Về hiệu năng, card Wormhole n150 đơn chip của Tenstorrent (72 lõi Tensix, tần số 1 GHz, 108 MB SRAM, 12 GB GDDR6, băng thông 288 GB/s) đạt 262 FP8 TFLOPS ở công suất 160W, trong khi bo mạch Wormhole n300 hai chip (128 lõi Tensix, tần số 1 GHz, 192 MB SRAM, tổng cộng 24 GB GDDR6, băng thông 576 GB/s) cung cấp tới 466 FP8 TFLOPS ở công suất 300W.
Để so sánh hiệu năng 466 TFLOPS FP8 ở công suất 300W, chúng ta sẽ đối chiếu với những gì mà Nvidia, nhà dẫn đầu thị trường AI, đang cung cấp ở mức công suất thiết kế nhiệt này. Nvidia A100 không hỗ trợ FP8, nhưng hỗ trợ INT8, với hiệu năng tối đa 624 TOPS (1.248 TOPS khi sử dụng chế độ sparse). Trong khi đó, Nvidia H100 hỗ trợ FP8 và đạt hiệu năng tối đa 1.670 TFLOPS ở công suất 300W (3.341 TFLOPS khi sử dụng chế độ sparse), khác biệt đáng kể so với Wormhole n300 của Tenstorrent.
Tuy nhiên, có một vấn đề lớn. Bộ xử lý Wormhole n150 của Tenstorrent có giá bán lẻ là 999 đô la, trong khi n300 có giá 1.399 đô la. Để so sánh, một card đồ họa Nvidia H100 có giá bán lẻ lên đến 30.000 đô la, tùy thuộc vào số lượng. Tất nhiên, chúng ta không biết liệu bốn hay tám bộ xử lý Wormhole có thực sự mang lại hiệu năng tương đương với một card H300 hay không, nhưng công suất tiêu thụ (TDP) của chúng lần lượt là 600W và 1200W.
Ngoài các card đồ họa, Tenstorrent còn cung cấp các máy trạm dựng sẵn dành cho nhà phát triển, bao gồm 4 card n300 trong dòng TT-LoudBox giá cả phải chăng hơn dựa trên bộ xử lý Xeon với hệ thống làm mát chủ động, và dòng TT-QuietBox cao cấp hơn với chức năng làm mát bằng chất lỏng (Xiaolong) dựa trên bộ xử lý EPYC.
Thời gian đăng bài: 29/7/2024