Công cụ điện toán AI thế hệ tiếp theo của Nvidia DGX GH200 ra mắt, không chỉ tăng băng thông bộ nhớ lên hơn 100 lần mà còn vượt qua hiệu suất của các siêu máy tính top 1 thế giới và vượt qua rào cản Exaflop

Nvidia đã phát hành hệ thống siêu máy tính AI mới DGX GH200, đóng vai trò là công cụ điện toán tăng tốc cho thế hệ AI tổng quát mới. Cụm điện toán DGX GH200 bao gồm 32 nhóm có thể cung cấp hiệu suất điện toán AI lên tới 1 Exaflop và không gian bộ nhớ lớn hơn 100 TB.

Gần đây, giá cổ phiếu của Nvidia, một nhà sản xuất GPU lớn, đã tăng vọt và đạt mức cao mới, yếu tố then chốt là làn sóng AI tổng hợp do ChatGPT mang lại, khiến các doanh nghiệp lớn và trung tâm dữ liệu đám mây ngày càng có nhu cầu về điện toán AI tổng hợp cao hơn. , từ đó thúc đẩy nhu cầu về một làn sóng siêu máy tính mới.

Vào một ngày trước khi triển lãm Computex được tổ chức vào ngày 30, Giám đốc điều hành Nvidia Jensen Huang đã có bài phát biểu quan trọng, trong bài phát biểu dài gần 2 giờ của mình, ông không chỉ nói về việc điện toán tăng tốc và AI sáng tạo có thể thay đổi ngành công nghiệp máy tính như thế nào mà còn chứng minh cách thức sử dụng công nghệ AI tổng hợp để Ngoài ra, DGX GH200, siêu máy tính AI tổng hợp thế hệ mới được xây dựng với thẻ điện toán tăng tốc Grace Hopper, cũng là sản phẩm siêu máy tính DGX cấp Exaflop đầu tiên của Nvidia.

Tuy nhiên, DGX GH200 là một hệ thống siêu máy tính thương mại dự kiến ​​sẽ ra mắt vào cuối năm nay, mặc dù giá cả vẫn chưa được công bố.

"Không còn nghi ngờ gì nữa, chúng ta đang ở trong một kỷ nguyên mới của máy tính." Huang Renxun cho biết trong cuộc họp rằng kỷ nguyên máy tính mới này có ba đặc điểm. và Nó đã có tác động sâu sắc đến mọi ngành công nghiệp; thứ hai, sự xuất hiện của các mô hình ngôn ngữ quy mô lớn đã cho phép máy tính hiểu ngôn ngữ của người dùng và thực hiện các hướng dẫn tương ứng, do đó hạ thấp ngưỡng lập trình. Cuối cùng, loại máy tính này cũng có thể cách mạng hóa các ứng dụng hiện có, khiến chúng trở nên tốt hơn nhờ sự can thiệp của AI.

Ông cũng tiết lộ rằng họ đã hợp tác với 1.600 công ty khởi nghiệp AI thế hệ mới để áp dụng công nghệ AI tổng thể trong các lĩnh vực khác nhau, bao gồm xử lý ngôn ngữ, tạo phương tiện nghe nhìn và khoa học sinh học. Các công ty từ những công ty đầu tiên áp dụng cho đến các công ty trong danh sách Fortune 500 đã tận dụng khả năng tự động hóa và đồng sáng tạo của AI tổng quát để tạo ra các ứng dụng mới. Ông nhấn mạnh: "Ngày nay, AI sáng tạo chắc chắn là nền tảng điện toán quan trọng nhất của thời đại chúng ta."

Kể từ năm 2016, Nvidia đã ra mắt một thế hệ sản phẩm DGX siêu máy tính AI mới hai năm một lần, từ DGX-1 và DGX-2 ban đầu áp dụng kiến ​​trúc Pascal, đến DGX A100 sử dụng kiến ​​trúc Ampere và năm ngoái đã ra mắt một sản phẩm mới. Siêu máy tính AI dựa trên Hopper.DGX H100 và cụm máy tính quy mô lớn DGX SuperPod được xây dựng với H100.

Cốt lõi của công nghệ AI tổng quát là mô hình ngôn ngữ lớn (LLM). thế hệ trí tuệ nhân tạo (generative AI) Động cơ điện toán, hệ thống sử dụng 256 thẻ điện toán tăng tốc Grace Hopper để xây dựng. Trong mỗi thẻ máy tính Grace Hopper, thiết kế tích hợp của CPU Grace dựa trên kiến ​​trúc Arm và GPU của kiến ​​trúc Hopper được áp dụng đồng thời để đạt được tốc độ truy vấn và truyền dữ liệu nhanh gấp 7 lần so với PCIe thế hệ thứ 5 hiện có .

Mỗi thẻ điện toán tăng tốc Grace Hopper có 200 tỷ bóng bán dẫn, có thể cung cấp hiệu suất điện toán 4 PetaFLOPS và có thể hỗ trợ hiệu quả các hoạt động điện toán cao như đào tạo mô hình ML. Lấy đào tạo mô hình xử lý ngôn ngữ tự nhiên làm ví dụ, so với việc sử dụng CPU kiến ​​trúc x86 với Máy chủ của GPU Hopper, sử dụng máy chủ của Grace Hopper có thể tăng tốc độ đào tạo mô hình NLP lên gấp 4 lần.ó thể sử dụng kết nối NVLink giữa mỗi thẻ điện toán Grace Hopper và cứ 8 Grace Hopper được kết nối để tạo thành một cụm máy tính nhóm, có thể hỗ trợ tới 256 Grace Hopper để xây dựng 32 nhóm để tạo thành một hệ thống DGX GH200 hoàn chỉnh, tương đương với siêu máy tính top 1 toàn cầu ngày nay The Frontier cũng không thua kém, nó có thể cung cấp hiệu năng tính toán AI lên tới 1 Exaflops và không gian bộ nhớ GPU lớn 144TB.

Hệ thống DGX GH200 bao gồm 32 cụm điện toán nhóm có thể cung cấp hiệu suất điện toán AI lên tới 1 Exaflop

Không chỉ vậy, mỗi thẻ điện toán Grace Hopper có thể được kết nối với nhau bằng NVLink và cứ 8 Grace Hopper được kết nối để tạo thành một cụm máy tính nhóm, có thể hỗ trợ tới 256 Grace Hopper để tạo 32 nhóm tạo thành một hệ thống DGX GH200 hoàn chỉnh. , nó có thể cung cấp hiệu năng điện toán AI lên tới 1 Exaflop với độ chính xác của FP8. Loại sức mạnh tính toán này không thua kém gì Frontier, siêu máy tính top 1 thế giới gần đây .

DGX GH200 không chỉ cung cấp hiệu năng tính toán ở cấp độ Exaflop mà còn mở rộng đáng kể dung lượng bộ nhớ. So với DGX A100 cách đây vài năm, dung lượng bộ nhớ GPU của DGX GH200 đã tăng gần 500 lần, thậm chí cao hơn nhiều so với dung lượng bộ nhớ 640GB của DGX H100, đạt dung lượng bộ nhớ chia sẻ đáng kinh ngạc 144 TB. vì AI tổng hợp với dung lượng bộ nhớ lớn sẽ rất hữu ích.

Theo các thử nghiệm nội bộ của Nvidia, hệ thống DGX GH200 đã cho thấy hiệu suất tốt hơn so với DGX H100 khi xử lý khối lượng công việc AI đòi hỏi dung lượng bộ nhớ lớn, cho dù đó là đào tạo mô hình GPT3, mô hình đề xuất học sâu, xử lý mạng thần kinh đồ họa và vẽ phân tích Về mặt hiệu suất, có thể đạt được mức cải thiện hiệu suất trung bình từ 2 đến 6 lần. Tín dụng hình ảnh: Nvidia

Theo các thử nghiệm nội bộ, hệ thống DGX GH200 vượt trội so với DGX H100 trong việc xử lý khối lượng công việc AI đòi hỏi dung lượng bộ nhớ lớn, với mức cải thiện hiệu suất trung bình từ 2 đến 6 lần, chẳng hạn như khi sử dụng dung lượng bộ nhớ 1TB cho GPT3 DGX GH200 nhanh gấp đôi so với DGX H100 khi đào tạo mô hình hoặc nhanh hơn tới 4 lần khi xử lý các mô hình đề xuất học sâu (DLRM) với bộ nhớ 40TB, ngay cả trên mạng thần kinh đồ thị, tốc độ xử lý còn nhanh hơn nhiều, gấp 5 lần.

Hiện tại, một số công ty công nghệ hoặc đám mây lớn đã quyết định áp dụng DGX GH200, bao gồm Google Cloud, Meta và Microsoft.

Hiện tại Nvidia chưa tiết lộ giá của DGX GH200, nhưng nếu lấy DGX H100 xuất xưởng năm ngoái làm tham chiếu thì một tủ máy chủ GPU chiều cao 8U được trang bị 8 bộ GPU H100 có giá khoảng 200.000 Đô la Mỹ (tương đương Đài tệ). 61 triệu USD) ), do DGX GH200 có tối đa 256 Grace Hoppers nên giá của nó có thể cao hơn phạm vi này, nhưng giá cụ thể vẫn cần được công bố chính thức.

Ngoài ra, Huang Renxun cũng tiết lộ rằng trong tương lai, ông sẽ xem xét tung ra các dịch vụ đám mây sử dụng hệ thống GH200 để các công ty thiếu tài nguyên và ngân sách có thể dễ dàng sử dụng công nghệ này để phát triển và triển khai ứng dụng AI tổng thể trong tương lai để tăng tốc. trí tuệ nhân tạo và điện toán tăng tốc. sự phát triển của.

Đồng thời, Nvidia đã công bố quan hệ đối tác với SoftBank để sử dụng Grace Hopper nhằm xây dựng giải pháp kiến ​​trúc xếp chồng 5G và AI tổng quát được xác định bằng phần mềm trong mạng 5G của mình.

Ngoài việc ra mắt nền tảng phần cứng chuyên dụng dành cho trí tuệ nhân tạo AI, Nvidia cũng công bố Spectrum X, một nền tảng Ethernet phù hợp với mạng trung tâm dữ liệu, kết hợp bộ chuyển mạch Ethernet Spectrum-4 và bộ xử lý dữ liệu DPU BlueField-3 để cung cấp băng thông lớn hơn và độ trễ thấp hơn. So với các mạng Ethernet truyền thống, Nvidia nhấn mạnh rằng Spectrum X có hiệu suất và tiết kiệm năng lượng được cải thiện gấp 1,7 lần, có thể được sử dụng để đẩy nhanh quá trình phát triển và triển khai các mô hình AI tổng quát.

Xem xét rằng các doanh nghiệp có quy mô khác nhau có các yêu cầu khác nhau đối với điện toán trung tâm dữ liệu, Nvidia cũng đã ra mắt Nvidia MGX, một kiến ​​trúc tham chiếu mô-đun cho các máy chủ được tăng tốc, để các nhà khai thác hệ thống máy chủ có thể phát triển các sản phẩm máy chủ với các cấu hình khác nhau dựa trên kiến ​​trúc tham chiếu này. , để đáp ứng nhu cầu của các ứng dụng điện toán AI, HPC và mô phỏng khác nhau.

Yunda và Super Micro sẽ là những nhà sản xuất đầu tiên áp dụng MGX để tạo ra thế hệ máy chủ điện toán tăng tốc tiếp theo.Yongqing Electronics, ASUS, Gigabyte và Pegatron sẽ theo dõi và phát triển các sản phẩm tương ứng.

Về các sản phẩm hình đại diện kỹ thuật số Omniverse, Nvidia cũng đang hợp tác với ngành quảng cáo, sẽ hợp tác với tập đoàn quảng cáo lớn nhất thế giới WPP để áp dụng công nghệ AI tổng hợp vào quảng cáo kỹ thuật số, phát triển và hỗ trợ tạo nội dung quảng cáo, kết hợp công nghệ hình đại diện tương tự Omniverse. để cải thiện chất lượng quảng cáo và trải nghiệm người dùng.