Ổ Cứng NVME Và Tương Lai Của Bộ Lưu Trữ AI

Ổ Cứng NVME Và Tương Lai Của Bộ Lưu Trữ AI

Tìm hiểu cách Seagate đang phát triển công nghệ NVMe cho ổ cứng dung lượng cao, tối ưu hóa đường truyền dữ liệu AI với hiệu suất, khả năng mở rộng và giảm thiểu tình trạng tắc nghẽn được cải thiện.

Một thách thức ngày càng tăng trong việc lưu trữ dữ liệu AI.

Trí tuệ nhân tạo (AI) đang thúc đẩy những đột phá trong nhiều ngành công nghiệp, cách mạng hóa mọi thứ, từ chẩn đoán chăm sóc sức khỏe và mô hình tài chính đến xe tự hành và tự động hóa quy mô lớn. Tuy nhiên, khi các hệ thống AI ngày càng tinh vi, nhu cầu lưu trữ dữ liệu cũng tăng theo cấp số nhân, tạo ra những thách thức về khả năng mở rộng, hiệu quả và chi phí.

Các tập dữ liệu học máy hiện nay yêu cầu dung lượng lưu trữ lên đến petabyte, với một số doanh nghiệp quản lý các tập dữ liệu quy mô exabyte để theo kịp các mô hình AI đang phát triển. Những tập dữ liệu khổng lồ này phải được lưu trữ, truy xuất và xử lý hiệu quả để hỗ trợ huấn luyện và suy luận mô hình. Cơ sở hạ tầng lưu trữ đằng sau AI không còn chỉ là mối quan tâm của CNTT nữa—nó đã trở thành một yếu tố cốt lõi cho sự đổi mới AI.

Bất chấp những tiến bộ trong điện toán AI, các kiến trúc lưu trữ truyền thống đã trở nên phức tạp và tốn kém ở quy mô cần thiết để cung cấp dữ liệu cho các GPU ngốn dữ liệu, dẫn đến những hạn chế làm chậm quá trình áp dụng AI. Có ba lý do cho điều này:

Thứ nhất, mặc dù kiến trúc dựa trên SSD mang lại hiệu suất tốc độ cao, nhưng chi phí đầu tư cao khiến chúng không thực tế đối với nhu cầu lưu trữ quy mô lớn của khối lượng công việc đào tạo AI. Việc lưu trữ các tập dữ liệu lớn chỉ trên SSD là không bền vững về mặt tài chính đối với hầu hết các doanh nghiệp.

Thứ hai, trong khi hệ thống ổ cứng SAS/SATA tiếp tục cung cấp khả năng lưu trữ đáng tin cậy và tiết kiệm chi phí cho nhiều ứng dụng doanh nghiệp, khối lượng công việc AI đặt ra những yêu cầu riêng biệt về cơ sở hạ tầng lưu trữ. Giao diện SAS/SATA dựa trên silicon độc quyền, bộ điều hợp bus máy chủ (HBA) và kiến trúc bộ điều khiển vốn ban đầu không được thiết kế cho nhu cầu thông lượng cao, độ trễ thấp của khối lượng công việc AI. Khi việc áp dụng AI mở rộng, những yếu tố này có thể làm tăng thêm độ phức tạp và độ trễ, khiến các mô hình AI khó truy cập nhanh vào các tập dữ liệu khổng lồ.

Cuối cùng, khối lượng công việc AI phụ thuộc vào lưu trữ đám mây thường gặp phải chi phí truyền dữ liệu WAN cao, độ trễ tăng đột biến và thời gian truy xuất không thể đoán trước. Những thiếu sót này hạn chế khả năng phản hồi của các mô hình AI và làm tăng chi phí vận hành trong khi phần cứng xử lý phải chờ dữ liệu từ xa.

Do đó, khi AI tiếp tục mở rộng quy mô, cần có một phương pháp tiếp cận mới - phương pháp bổ sung cho các kiến trúc lưu trữ hiện có đồng thời cân bằng dung lượng, chi phí và tốc độ để hỗ trợ đào tạo và suy luận AI mà không ảnh hưởng đến hiệu suất.

Một cách tiếp cận mới: Ổ cứng NVMe dành cho khối lượng công việc AI.

Seagate đang tiên phong trong một giải pháp mang tính đột phá bằng cách đưa công nghệ NVMe vào ổ cứng dung lượng cao. Bằng cách phát triển NVMe thành giao thức chuẩn tương lai cho kết nối ổ cứng, Seagate cung cấp một giải pháp thay thế được thiết kế để tối ưu hóa đường truyền dữ liệu AI, giảm thiểu tình trạng tắc nghẽn lưu trữ trong khi vẫn duy trì lợi thế về giá cả phải chăng và mật độ của ổ cứng.

Không giống như ổ cứng dựa trên SAS/SATA, ổ cứng NVMe loại bỏ nhu cầu về HBA, cầu nối giao thức và cơ sở hạ tầng SAS bổ sung, giúp lưu trữ AI trở nên hợp lý hơn. Các ổ đĩa này cho phép khối lượng công việc AI mở rộng liền mạch bằng cách tích hợp lưu trữ ổ cứng mật độ cao với bộ nhớ đệm SSD tốc độ cao trong một kiến trúc NVMe thống nhất.

Sự thay đổi này sẽ mang lại những lợi thế đáng kể. Thứ nhất, bằng cách loại bỏ bộ điều hợp phần cứng để giao tiếp với bộ xử lý, ổ cứng NVMe giúp đơn giản hóa việc triển khai lưu trữ AI, cho phép các tổ chức xây dựng môi trường lưu trữ AI quy mô lớn mà không cần bộ điều khiển chuyên dụng. Thứ hai, với một trình điều khiển NVMe và ngăn xếp hệ điều hành duy nhất, các ổ đĩa này đảm bảo ổ cứng và SSD hoạt động hiệu quả cùng nhau, loại bỏ nhu cầu về các lớp phần mềm riêng biệt.

Một trong những lợi ích quan trọng nhất là khả năng truy cập dữ liệu trực tiếp từ GPU đến bộ nhớ thông qua DPU, giúp loại bỏ tình trạng tắc nghẽn CPU. Kiến trúc lưu trữ truyền thống định tuyến dữ liệu qua các đường ống do CPU điều khiển, gây ra các vấn đề về độ trễ. Ổ cứng NVMe có thể loại bỏ tình trạng kém hiệu quả này, cho phép các mô hình AI tiếp nhận và xử lý các tập dữ liệu khổng lồ với độ trễ được giảm đáng kể.

Ngoài ra, NVMe over Fabrics (NVMe-oF) cho phép ổ cứng NVMe tích hợp vào kiến trúc lưu trữ AI phân tán, đảm bảo khả năng mở rộng liền mạch trong các mạng trung tâm dữ liệu hiệu suất cao. Tính năng này đặc biệt hữu ích cho các doanh nghiệp cần giải pháp lưu trữ linh hoạt, có thể cấu hình cho quy trình làm việc AI.

Bằng cách sử dụng ổ cứng NVMe cùng với SSD, các tổ chức sẽ có thể tối ưu hóa chi phí trong khi vẫn duy trì hiệu suất, dành SSD cho các tập dữ liệu đang hoạt động và sử dụng ổ cứng để lưu trữ dữ liệu đào tạo AI dài hạn.

Chứng minh tương lai: Bằng chứng về khái niệm ổ cứng NVMe của Seagate.

Để chứng minh tác động tiềm tàng của ổ cứng NVMe trong thế giới thực, Seagate đã tiến hành thử nghiệm chứng minh khái niệm (POC) tích hợp ổ cứng NVMe, SSD NVMe, NVIDIA BlueField DPU và phần mềm AIStore, giới thiệu hệ sinh thái lưu trữ AI hiệu suất cao.

POC này nêu bật những lợi thế chính của ổ cứng NVMe trong quy trình làm việc AI, cung cấp bằng chứng cho thấy chúng có thể có tác động đáng kể trong môi trường lưu trữ AI quy mô lớn:

• Các kỹ sư đã chứng minh rằng giao tiếp trực tiếp từ GPU đến bộ lưu trữ thông qua ổ cứng NVMe và DPU giúp giảm độ trễ liên quan đến bộ lưu trữ trong quy trình xử lý dữ liệu AI.
• Chi phí cho SAS/SATA cũ đã được loại bỏ, giúp đơn giản hóa kiến trúc hệ thống và cải thiện hiệu quả lưu trữ.
• AIStore tối ưu hóa bộ nhớ đệm và phân tầng một cách linh hoạt, nâng cao hiệu suất đào tạo mô hình đồng thời đơn giản hóa việc tổng hợp lưu trữ và khả năng mở rộng lên cấp exabyte.
• Tích hợp NVMe-oF cho phép mở rộng quy mô liền mạch, chứng minh khả năng kết hợp của các cụm lưu trữ AI đa giá đỡ.

Thông qua POC này, Seagate đang chứng minh ổ cứng NVMe có thể hỗ trợ khối lượng công việc AI khắt khe nhất thế giới mà không cần đến kiến trúc toàn bộ là flash.

Tác động thực tế: Lưu trữ AI đang hoạt động.

Seagate đang tận dụng kinh nghiệm triển khai mô hình AI trong nhiều thập kỷ tại các nhà máy thông minh của mình để xác thực ổ cứng NVMe trong khối lượng công việc AI thực tế.

Tại các cơ sở sản xuất ăng-ten lượng tử của Seagate, việc phát hiện lỗi nhờ AI dựa trên việc thu thập hình ảnh tốc độ cao và truy xuất nhanh chóng để huấn luyện mô hình và cải tiến liên tục. Bằng cách áp dụng những hiểu biết sâu sắc từ môi trường sản xuất được hỗ trợ bởi AI của riêng mình, Seagate đang khám phá cách ổ cứng NVMe có thể hỗ trợ quy trình này bằng cách cung cấp bộ nhớ có khả năng mở rộng, tiết kiệm chi phí, hỗ trợ cả xử lý theo thời gian thực và lưu trữ lâu dài:

• Dung lượng lớn để lưu trữ hình ảnh có độ nét cao mà không bị nén dữ liệu mất mát.
• Lưu trữ hiệu quả các tập dữ liệu đào tạo AI trong thời gian dài.
• Truy cập liền mạch để đào tạo lại mô hình AI và cải tiến liên tục.

Bằng cách khám phá việc tích hợp ổ cứng NVMe vào kiến trúc lưu trữ, Seagate cho thấy công nghệ mới này sẽ giúp giảm chi phí lưu trữ AI, đồng thời đảm bảo khả năng phản hồi theo thời gian thực để phát hiện lỗi AI. Hiệu quả đạt được bao gồm phân tích AI nhanh hơn, độ chính xác được cải thiện và chi phí cơ sở hạ tầng thấp hơn.

Ngoài sản xuất, ổ cứng NVMe còn được ứng dụng trong xe tự hành, hình ảnh chăm sóc sức khỏe, phân tích tài chính và nền tảng AI đám mây siêu quy mô.

Tính bền vững và tiết kiệm chi phí: Ưu điểm của ổ cứng NVMe.

Cơ sở hạ tầng AI tiêu thụ lượng điện năng khổng lồ, khiến tính bền vững trở thành mối quan tâm ngày càng tăng. Nghiên cứu của Seagate với ổ cứng NVMe khám phá một giải pháp thay thế tiết kiệm chi phí và năng lượng hơn cho kiến trúc ổ SSD nặng nề.

So với ổ SSD, ổ cứng NVMe sẽ cung cấp:

• Hiệu suất sử dụng carbon tích hợp cao hơn 10 lần trên mỗi terabyte, giúp giảm đáng kể tác động đến môi trường.
• Tiêu thụ điện năng hoạt động hiệu quả hơn 4 lần trên mỗi terabyte, giúp giảm chi phí năng lượng cho trung tâm dữ liệu AI.
• Chi phí cho mỗi terabyte thấp hơn đáng kể, giúp giảm TCO lưu trữ AI ở quy mô lớn.

Khi cơ sở hạ tầng AI mở rộng, lưu trữ bền vững sẽ trở thành một yếu tố quan trọng trong việc giảm chi phí và tác động đến môi trường. Lộ trình phát triển của Seagate bao gồm những cải tiến liên tục về hiệu suất ổ cứng NVMe, với mục tiêu giúp các tổ chức mở rộng quy mô lưu trữ AI đồng thời đạt được các mục tiêu phát triển bền vững dài hạn.

Lộ trình cho tương lai của lưu trữ AI.

Seagate đang phát triển những cải tiến giúp tạo ra cơ sở hạ tầng lưu trữ hỗ trợ AI thế hệ tiếp theo, phù hợp với xu hướng của ngành và nhu cầu của môi trường đám mây và siêu quy mô.

Lộ trình bao gồm:

• Mở rộng nền tảng Mozaic (hiện đang cung cấp ổ đĩa 36TB) để phát triển ổ cứng NVMe có dung lượng cao hơn.
• Hỗ trợ NVMe-oF tiên tiến, cho phép khối lượng công việc AI mở rộng liền mạch trên các môi trường kết hợp.
• Tạo kiến trúc tham chiếu, đảm bảo các nhà phát triển AI có thể triển khai các giải pháp lưu trữ được tối ưu hóa một cách dễ dàng.

Seagate đang hợp tác với khách hàng và đối tác để tìm hiểu cách ổ cứng NVMe có thể phù hợp với các giải pháp lưu trữ AI thế hệ tiếp theo, đảm bảo các doanh nghiệp có thể đáp ứng nhu cầu lưu trữ AI một cách hiệu quả và phải chăng.

Cam kết của Seagate đối với tương lai của lưu trữ AI.

AI đang chuyển đổi các ngành công nghiệp, nhưng nhiều tổ chức đang phải vật lộn với sự phức tạp của việc quản lý dữ liệu và chi phí lưu trữ ngày càng tăng. Lưu trữ hiệu quả và có khả năng mở rộng là yếu tố thiết yếu để duy trì sự phát triển của AI.

Công trình nghiên cứu ổ cứng NVMe của Seagate đang chứng minh kết nối NVMe có thể giảm độ phức tạp khi triển khai lưu trữ trong khi vẫn duy trì lợi thế về chi phí và mật độ của ổ cứng.

Bằng cách cho phép tích hợp AIStore, khả năng mở rộng NVMe-oF và các đường dẫn lưu trữ được tối ưu hóa cho GPU trong POC, Seagate đang dẫn đầu làn sóng đổi mới cơ sở hạ tầng AI tiếp theo.

Khi AI định hình lại các ngành công nghiệp, Seagate đang định nghĩa lại cách cơ sở hạ tầng lưu trữ AI mở rộng để đáp ứng nhu cầu lưu trữ dữ liệu ngày càng tăng.

---