Vượt mặt hàng loạt "anh cả", DeepSeek tối ưu AI theo cách khó ngờ
DeepSeek bỏ qua chuẩn lập trình chung của toàn ngành, áp dụng 'bí kíp' mang tên PTX từ Nvidia.
Tuệ Minh (theo Sky News)
DeepSeekđã gây ấn tượng mạnh trong ngành công nghiệp AI khi huấn luyện mô hình ngôn ngữ Mixture-of-Experts (MoE) với 671 tỷ tham số, sử dụng một cụm máy tính với 2.048 GPU Nvidia H800 trong khoảng thời gian chỉ hai tháng.
Điều đặc biệt là hiệu suất của họ đạt gấp 10 lần so với những gã khổng lồ AI như Meta. Thành công này có được nhờ vào việc áp dụng hàng loạt tối ưu hóa chi tiết và việc sử dụng chương trình PTX (Parallel Thread Execution) của Nvidia thay vì chuẩn CUDA thông dụng, theo một phân tích từ Mirae Asset Securities Korea được trích dẫn bởi @Jukanlosreve.
PTX - Công nghệ bí mật của DeepSeek
Bộ chỉ thị trung gian được thiết kế bởi Nvidia cho các GPU tối ưu hóa cho việc tính toán song song dữ liệu. Ảnh: Tech Crouch
PTX là một kiến trúc bộ chỉ thị trung gian được thiết kế bởi Nvidia cho các GPU của mình. PTX hoạt động như một cầu nối giữa các ngôn ngữ lập trình GPU cấp cao (như CUDA C/C++ hoặc các ngôn ngữ khác) và mã máy cấp thấp (streaming assembly, hay SASS).
PTX được tối ưu hóa cho việc tính toán song song dữ liệu, cho phép thực hiện các tối ưu hóa chi tiết như phân bổ thanh ghi và điều chỉnh mức thread/warp – những thứ mà CUDA (nền tảng và giao diện lập trình ứng dụng tiêu chuẩn của Nvidia, được sử dụng để lập trình các GPU, giúp tăng tốc các tác vụ tính toán nặng) và các ngôn ngữ khác không thể làm được. Khi PTX được chuyển sang SASS, nó được tối ưu hóa cho một thế hệ GPU cụ thể của Nvidia.
Ví dụ, trong quá trình huấn luyện mô hình V3, DeepSeek đã tái cấu hình các GPU H800 của Nvidia: trong số 132 multiprocessors của dòng H800, họ đã dành 20 cho giao tiếp giữa các server, có thể để nén và giải nén dữ liệu nhằm vượt qua các giới hạn về kết nối của bộ xử lý và tăng tốc các giao dịch. Để tối đa hóa hiệu suất, DeepSeek cũng áp dụng các thuật toán pipeline tiên tiến, có thể bằng cách thực hiện những điều chỉnh chi tiết ở cấp độ thread/warp.
DeepSeek đã tạo ra một bước đột phá khiến cho các mô hình AI ngôn ngữ lớn như ChatGPT hay Gemini đối mặt với khủng hoảng. Ảnh: Sky News
Thay đổi vượt trội
Các thay đổi này vượt xa mức độ phát triển chuẩn của CUDA, nhưng chúng cực kỳ khó duy trì. Do đó, việc thực hiện mức độ tối ưu hóa này phản ánh kỹ năng xuất sắc của các kỹ sư tại DeepSeek. Cuộc khủng hoảng thiếu GPU toàn cầu, cộng với các hạn chế xuất khẩu từ Mỹ, đã buộc các công ty như DeepSeek phải tìm kiếm những giải pháp sáng tạo, và họ đã đạt được một bước đột phá lớn. Tuy nhiên, vẫn chưa rõ DeepSeek đã phải đầu tư bao nhiêu tiền để có được kết quả này.
Sự đột phá này đã tạo ra xáo trộn lớn trong thị trường, khi một số nhà đầu tư tin rằng nhu cầu về phần cứng hiệu suất cao cho các mô hình AI mới sẽ giảm xuống, điều này có thể ảnh hưởng đến doanh thu của các công ty như Nvidia.
Những chuyên gia kỳ cựu trong ngành, như Pat Gelsinger – cựu CEO của Intel, cho rằng các ứng dụng AI có thể tận dụng hết mọi sức mạnh tính toán mà chúng có thể tiếp cận. Đối với bước đột phá của DeepSeek, Gelsinger nhìn nhận đây là một cách để AI có thể được tích hợp vào nhiều thiết bị giá rẻ trong thị trường đại chúng.
Mời quý độc giả xem video: Phát cuồng trend trang điểm “thung lũng kỳ lạ” giống robot kinh dị. Video do Báo Tri thức & Cuộc sống sản xuất.
"Bố già” AI Bengio: "Không nên thiết kế AI có cảm xúc như người"
GS Bengio đã nhiều lần nhấn mạnh tầm quan trọng của việc phát triển AI một cách an toàn, cảnh báo nguy hiểm của việc thiết kế AI có bản năng sinh tồn như người.
Năm 2024, Tạp chí TIME đã đưa GS Yoshua Bengio vào danh sách thường niên 100 người có ảnh hưởng nhất toàn cầu. Cũng trong năm này, ông đã được trao Giải thưởng VinFuture 2024. Giải thưởng này nhằm tôn vinh những đóng góp đột phá trong mạng nơ-ron nhân tạo và thuật toán học sâu, góp phần quan trọng vào sự phát triển của AI hiện đại.
Giáo sư Yoshua Bengio (ngoài cùng bên trái) nhận giải thưởng VinFuture 2024. Ảnh: VGP Nhật Bắc.
Ca phẫu thuật tim mạch đầu tiên tại Bệnh viện Nhi Hà Nội thành công nhờ phối hợp liên chuyên khoa, mở thêm cơ hội điều trị cho trẻ sơ sinh nguy cơ cao.
Mang nỗi đau “khó nói” kéo dài hàng chục năm, nhiều bệnh nhân trĩ nặng đã tìm lại được chất lượng cuộc sống nhờ phương pháp phẫu thuật laser hiện đại, ít đau.
Tần suất chớp mắt giảm, mắt phải điều tiết liên tục khi nhìn gần khiến nhiều người khô rát, nhức mỏi mắt. 5 thói quen giúp bảo vệ thị giác trong thời đại số.
Xoắn buồng trứng trong thai kỳ có thể gây hoại tử nếu chậm xử trí. Một ca cấp cứu ở sản phụ mang thai 30 tuần là lời cảnh báo về những cơn đau bụng bất thường.
Tiểu máu sau tai nạn giao thông có thể là dấu hiệu chấn thương thận hoặc tổn thương nội tạng. Phát hiện sớm giúp đánh giá mức độ nguy hiểm và điều trị phù hợp.
Dây rốn một động mạch có thể xuất hiện đơn độc hoặc đi kèm bất thường thai nhi. Phát hiện sớm giúp bác sĩ đánh giá nguy cơ, xây dựng kế hoạch theo dõi thai kỳ.
Những thay đổi nhỏ trong sinh hoạt hằng ngày như vận động, ăn uống lành mạnh, ngủ đủ giấc và duy trì kết nối xã hội có thể góp phần bảo vệ sức khỏe lâu dài.
Hơn 30 trung tâm phẫu thuật tim mạch, thực hiện 12.000–14.000 ca mỗi năm, Việt Nam đang từng bước khẳng định năng lực làm chủ kỹ thuật phẫu thuật chuyên sâu.
Một tổn thương sụn chêm dễ bị bỏ sót có thể khiến khớp gối thoái hóa nhanh chóng, đánh mất cơ hội bảo tồn khớp tự nhiên nếu không được điều trị kịp thời.
Những thay đổi nhỏ trong sinh hoạt hằng ngày như vận động, ăn uống lành mạnh, ngủ đủ giấc và duy trì kết nối xã hội có thể góp phần bảo vệ sức khỏe lâu dài.
Dây rốn một động mạch có thể xuất hiện đơn độc hoặc đi kèm bất thường thai nhi. Phát hiện sớm giúp bác sĩ đánh giá nguy cơ, xây dựng kế hoạch theo dõi thai kỳ.
Một chai nước ngọt cũ được dùng để đựng hóa chất đã khiến trẻ nhỏ gặp tai nạn nguy hiểm. Bác sĩ cảnh báo những sai lầm trong bảo quản hóa chất tại gia đình.
Tiểu máu sau tai nạn giao thông có thể là dấu hiệu chấn thương thận hoặc tổn thương nội tạng. Phát hiện sớm giúp đánh giá mức độ nguy hiểm và điều trị phù hợp.
Keo 502 có khả năng kết dính rất nhanh khi tiếp xúc với độ ẩm. Nếu dính vào mắt, việc cố banh mi hoặc tự bóc keo có thể khiến tổn thương nghiêm trọng hơn.
Mỗi năm, Việt Nam có hơn 100.000 trẻ sinh non. Nhiều trẻ cân nặng dưới 500g đã được cứu sống, nhưng hành trình phát triển vẫn cần chăm sóc và theo dõi liên tục.
Mang nỗi đau “khó nói” kéo dài hàng chục năm, nhiều bệnh nhân trĩ nặng đã tìm lại được chất lượng cuộc sống nhờ phương pháp phẫu thuật laser hiện đại, ít đau.
Từ chuẩn hóa cách đo huyết áp đến cá thể hóa điều trị và ứng dụng công nghệ số, hướng dẫn ISH 2026 đưa ra nhiều thay đổi đáng chú ý trong thực hành lâm sàng.