Nhu Cầu Lưu Trữ Đang Phát Triển Cho Cơ Sở Hạ Tầng AI

Khi trí tuệ nhân tạo (AI) tiếp tục phát triển, cơ sở hạ tầng hỗ trợ nó phải phát triển để xử lý nhu cầu ngày càng tăng về lưu trữ và xử lý dữ liệu. Lưu trữ dữ liệu đóng một vai trò quan trọng trong vòng đời cơ sở hạ tầng AI và các giải pháp phải có khả năng chịu được những thách thức AI hiện tại và tương lai.

Lượng dữ liệu được tạo ra hàng ngày là rất lớn. Theo báo cáo của Kaleido Intelligence ¹ , từ các thành phố thông minh tạo ra 143 petabyte dữ liệu mỗi ngày, cho đến các phương tiện tự hành tạo ra terabyte (TB) dữ liệu, nhu cầu về các giải pháp lưu trữ dữ liệu hiệu quả đang cấp bách hơn bao giờ hết. Các công ty ô tô tự hành tải một lượng lớn dữ liệu lên các nhà cung cấp dịch vụ đám mây, nơi dữ liệu được xử lý và sử dụng để cải thiện các mô hình AI. Luồng dữ liệu liên tục này đòi hỏi các giải pháp lưu trữ mạnh mẽ có thể xử lý cả khối lượng và tốc độ cần thiết cho các ứng dụng AI.

Hiệu suất so với công suất

Mặc dù tập trung vào các công nghệ tiên tiến như bộ xử lý đồ họa (GPU), ổ cứng vẫn là một thành phần quan trọng của cơ sở hạ tầng AI. Chúng cung cấp dung lượng lưu trữ cần thiết cho các tập dữ liệu khổng lồ được sử dụng trong đào tạo và suy luận AI. Trong khi GPU xử lý phần lớn dữ liệu, ổ cứng lưu trữ dữ liệu cung cấp cho các quy trình này. Mối quan hệ cộng sinh này đảm bảo các hệ thống AI có thể hoạt động hiệu quả mà không bị giới hạn bởi lưu trữ.

Một trong những thách thức lớn nhất trong cơ sở hạ tầng AI là cân bằng hiệu suất với mức tiêu thụ điện năng. Khi các cụm GPU phát triển, công suất cần thiết để vận hành chúng cũng tăng lên đáng kể. Ví dụ, các triển khai quy mô lớn như tại các công ty AI hàng đầu liên quan đến hàng nghìn GPU, mỗi GPU tiêu thụ một lượng điện năng đáng kể. Điều này tạo ra nhu cầu về các giải pháp lưu trữ không chỉ mang lại hiệu suất cao mà còn hoạt động hiệu quả về mặt sử dụng điện năng. Để dễ hình dung, một GPU đơn lẻ có thể tiêu thụ tới 700 watt, và các triển khai quy mô lớn có thể liên quan đến tới 100.000 GPU, dẫn đến nhu cầu điện năng là 70 megawatt. Thành phần này tương đương với tổng công suất phân bổ của một trung tâm dữ liệu lớn. Do đó, các giải pháp lưu trữ phải được thiết kế để giảm thiểu mức tiêu thụ điện năng đồng thời tối đa hóa hiệu suất nếu muốn phù hợp với giải pháp cùng với GPU.

Tầm quan trọng của các trạm kiểm soát

Trong đào tạo AI, các điểm kiểm tra rất quan trọng để ngăn ngừa mất tiến trình trong trường hợp hệ thống gặp sự cố. Các điểm kiểm tra này lưu trạng thái của mô hình AI theo các khoảng thời gian đều đặn (ví dụ, vài phút một lần), cho phép quá trình đào tạo tiếp tục từ trạng thái đã lưu cuối cùng thay vì bắt đầu lại. Điều này đặc biệt quan trọng đối với các phiên đào tạo dài hạn có thể kéo dài hàng tuần hoặc thậm chí hàng tháng. Việc tạo điểm kiểm tra hiệu quả đòi hỏi các giải pháp lưu trữ nhanh có thể nhanh chóng lưu và truy xuất lượng lớn dữ liệu.

Ví dụ: một số nền tảng đào tạo lớn thực hiện các điểm kiểm tra mỗi phút trong quá trình đào tạo, lưu dữ liệu vào ổ đĩa thể rắn (SSD) rồi chuyển sang ổ cứng. Quá trình này đảm bảo rằng ngay cả khi xảy ra sự cố, quá trình đào tạo vẫn có thể tiếp tục với mức mất dữ liệu tối thiểu. Kích thước của các điểm kiểm tra này có thể rất lớn, với một số mô hình yêu cầu tới 12TB dung lượng lưu trữ cho mỗi điểm kiểm tra.

Ổ cứng rất cần thiết cho việc kiểm tra AI vì khả năng mở rộng, hiệu quả về chi phí, hiệu quả về năng lượng và tính bền vững, cũng như tuổi thọ cao.

Xu hướng và đổi mới trong tương lai

Nhìn về tương lai, nhu cầu lưu trữ AI dự kiến ​​sẽ tăng trưởng theo cấp số nhân. Theo dữ liệu từ Bloomberg Intelligence, IDC, eMarketer và Statista ² , đến năm 2032, thị trường lưu trữ AI dự kiến ​​sẽ đạt 92 tỷ đô la. Sự tăng trưởng này sẽ được thúc đẩy bởi sự phức tạp ngày càng tăng của các mô hình AI và việc sử dụng AI ngày càng mở rộng trong nhiều ngành công nghiệp. Để đáp ứng những nhu cầu này, các giải pháp lưu trữ sẽ cần phải trở nên tinh vi hơn, cung cấp dung lượng cao hơn, tốc độ nhanh hơn và hiệu quả năng lượng tốt hơn.

Một số cải tiến kỹ thuật đang được khám phá để đáp ứng nhu cầu lưu trữ của cơ sở hạ tầng AI:

• Tăng mật độ diện tích. Sự phát triển liên tục của ổ cứng nhờ cải tiến đầu đọc và phương tiện lưu trữ cho phép mở rộng dung lượng lưu trữ trong cùng một kích thước. Ổ cứng Seagate Mozaic là giải pháp lưu trữ hiệu quả nhất thế giới, giúp giảm chi phí đầu tư và vận hành, đồng thời tăng năng suất. Với ổ cứng Mozaic có mật độ diện tích được tăng cường, khách hàng có thể lưu trữ nhiều dữ liệu hơn mà không làm tăng mức tiêu thụ không gian, điện năng hay tài nguyên thiên nhiên. Mozaic 3+ giúp khách hàng đạt được các mục tiêu phát triển bền vững - ưu tiên hàng đầu cho các trung tâm dữ liệu quy mô lớn - bằng cách giảm 55% lượng carbon tích hợp trên mỗi terabyte (TB ⁾ .
• Bộ truyền động kép. Các bộ truyền động này mang lại hiệu suất cao hơn bằng cách sử dụng hai bộ truyền động để đọc và ghi dữ liệu đồng thời. Điều này có thể cải thiện đáng kể thông lượng dữ liệu, giúp xử lý khối lượng dữ liệu lớn do các ứng dụng AI tạo ra dễ dàng hơn.
• Ổ cứng NVMe. Công nghệ NVMe (bộ nhớ không bay hơi) cho phép truy cập dữ liệu nhanh hơn so với giao diện SATA (giao diện công nghệ tiên tiến nối tiếp) hoặc SAS (giao diện hệ thống máy tính nhỏ gắn nối tiếp). Bằng cách áp dụng ổ cứng NVMe, các trung tâm dữ liệu có thể đạt hiệu suất cao hơn và độ trễ thấp hơn, điều này rất quan trọng đối với khối lượng công việc AI.
• Kết nối quang. Khi tốc độ truyền dữ liệu tăng lên, kết nối đồng truyền thống có thể trở thành nút thắt cổ chai. Kết nối quang cung cấp băng thông cao hơn và độ trễ thấp hơn, cho phép truyền dữ liệu nhanh hơn giữa các thiết bị lưu trữ và bộ xử lý.
• Giải pháp lưu trữ tiết kiệm năng lượng. Với nhu cầu năng lượng ngày càng tăng của cơ sở hạ tầng AI, các giải pháp lưu trữ cần phải tiết kiệm năng lượng hơn. Điều này bao gồm việc phát triển các ổ đĩa tiêu thụ ít điện năng hơn mà vẫn duy trì hiệu suất cao, cũng như khám phá các công nghệ làm mát mới để quản lý nhiệt lượng sinh ra từ các triển khai quy mô lớn.

Nhu cầu lưu trữ AI đang phát triển

Nhu cầu lưu trữ cho cơ sở hạ tầng AI đang phát triển nhanh chóng, được thúc đẩy bởi sự tăng trưởng theo cấp số nhân của dữ liệu và sự phức tạp ngày càng tăng của các mô hình AI. Trong tương lai, việc phát triển các giải pháp lưu trữ có thể theo kịp những nhu cầu này là rất cần thiết, để các hệ thống AI có thể tiếp tục phát triển và thực hiện lời hứa chuyển đổi các ngành công nghiệp và cải thiện cuộc sống.

1.  Chuỗi bài viết về Kết nối IoT di động: Cơ hội và Dự báo về Thành phố thông minh, Kaleido Intelligence, 2023, https://kaleidointelligence.com/smart-cities-2027/
2. Trí tuệ nhân tạo tạo ra sẽ trở thành thị trường trị giá 1,3 nghìn tỷ đô la vào năm 2032, theo nghiên cứu, Bloomberg Intelligence, 2023, https://www.bloomberg.com/company/press/generative-ai-to-become-a-1-3-trillion-market-by-2032-research-finds/
3. Ổ đĩa Mozaic 3+ 30TB so với ổ đĩa PMR thông thường 16TB. Carbon tích hợp bao gồm lượng khí thải phát sinh trong quá trình khai thác nguyên liệu thô, sản xuất/lắp ráp sản phẩm và toàn bộ quá trình vận chuyển nguyên liệu từ khâu khai thác đến sản xuất và từ sản xuất đến khách hàng.

---