Nhu Cầu Lưu Trữ Ngày Càng Tăng Của Cơ Sở Hạ Tầng AI

Nhu Cầu Lưu Trữ Ngày Càng Tăng Của Cơ Sở Hạ Tầng AI

Các giải pháp lưu trữ AI phải phát triển để xử lý sự gia tăng dữ liệu lớn. Những cải tiến như ổ đĩa truyền động kép, lưu trữ dựa trên NVMe và các giải pháp tiết kiệm năng lượng đang định hình tương lai của cơ sở hạ tầng AI.

Khi trí tuệ nhân tạo (AI) tiếp tục phát triển, cơ sở hạ tầng hỗ trợ nó phải phát triển để xử lý nhu cầu ngày càng tăng về lưu trữ và xử lý dữ liệu. Lưu trữ dữ liệu đóng vai trò quan trọng trong vòng đời cơ sở hạ tầng AI và các giải pháp phải có khả năng chịu được những thách thức AI hiện tại và tương lai.

Lượng dữ liệu được tạo ra hàng ngày là rất lớn. Theo báo cáo của Kaleido Intelligence ¹ , từ các thành phố thông minh tạo ra 143 petabyte dữ liệu mỗi ngày, cho đến các phương tiện tự hành tạo ra terabyte (TB) dữ liệu, nhu cầu về các giải pháp lưu trữ dữ liệu hiệu quả đang cấp bách hơn bao giờ hết. Các công ty ô tô tự hành tải một lượng lớn dữ liệu lên các nhà cung cấp dịch vụ đám mây, nơi dữ liệu được xử lý và sử dụng để cải thiện các mô hình AI. Luồng dữ liệu liên tục này đòi hỏi các giải pháp lưu trữ mạnh mẽ có thể xử lý cả khối lượng và tốc độ cần thiết cho các ứng dụng AI.

Hiệu suất so với công suất.

Mặc dù tập trung vào các công nghệ tiên tiến như bộ xử lý đồ họa (GPU), ổ cứng vẫn là thành phần quan trọng của cơ sở hạ tầng AI. Chúng cung cấp dung lượng lưu trữ cần thiết cho các tập dữ liệu khổng lồ được sử dụng trong đào tạo và suy luận AI. Trong khi GPU xử lý dữ liệu nặng nề, ổ cứng lưu trữ dữ liệu cung cấp cho các quy trình này. Mối quan hệ cộng sinh này đảm bảo các hệ thống AI có thể hoạt động hiệu quả mà không bị hạn chế bởi các giới hạn lưu trữ.

Một trong những thách thức lớn nhất trong cơ sở hạ tầng AI là cân bằng hiệu suất với mức tiêu thụ điện năng. Khi các cụm GPU phát triển, công suất cần thiết để chạy chúng tăng lên đáng kể. Ví dụ, các triển khai lớn như tại các công ty AI hàng đầu liên quan đến hàng nghìn GPU, mỗi GPU tiêu thụ một lượng điện năng đáng kể. Điều này tạo ra nhu cầu về các giải pháp lưu trữ không chỉ cung cấp hiệu suất cao mà còn hoạt động hiệu quả về mặt sử dụng điện năng. Để hiểu rõ hơn, một GPU đơn lẻ có thể tiêu thụ tới 700 watt và các triển khai quy mô lớn có thể liên quan đến tới 100.000 GPU, dẫn đến yêu cầu về công suất là 70 megawatt. Thành phần này tương đương với tổng phân bổ điện năng của một trung tâm dữ liệu lớn. Do đó, các giải pháp lưu trữ phải được thiết kế để giảm thiểu mức tiêu thụ điện năng đồng thời tối đa hóa hiệu suất nếu muốn phù hợp với giải pháp cùng với GPU.

Tầm quan trọng của các trạm kiểm soát.

Trong đào tạo AI, các điểm kiểm tra rất quan trọng để ngăn ngừa mất tiến trình trong trường hợp hệ thống gặp sự cố. Các điểm kiểm tra này lưu trạng thái của mô hình AI theo các khoảng thời gian đều đặn (ví dụ, cứ sau vài phút), cho phép quá trình đào tạo tiếp tục từ trạng thái đã lưu cuối cùng thay vì bắt đầu lại. Điều này đặc biệt quan trọng đối với các phiên đào tạo kéo dài có thể kéo dài nhiều tuần hoặc thậm chí nhiều tháng. Việc tạo điểm kiểm tra hiệu quả đòi hỏi các giải pháp lưu trữ nhanh có thể nhanh chóng lưu và truy xuất lượng dữ liệu lớn.

Ví dụ: một số nền tảng đào tạo lớn thực hiện các điểm kiểm tra mỗi phút trong quá trình đào tạo, lưu dữ liệu vào ổ đĩa thể rắn (SSD) rồi chuyển sang ổ cứng. Quá trình này đảm bảo rằng ngay cả khi xảy ra sự cố, quá trình đào tạo vẫn có thể tiếp tục với mức mất dữ liệu tối thiểu. Kích thước của các điểm kiểm tra này có thể rất lớn, với một số mô hình yêu cầu tới 12 TB dung lượng lưu trữ cho mỗi điểm kiểm tra.

Ổ cứng rất cần thiết cho việc kiểm tra AI do khả năng mở rộng, hiệu quả về chi phí, hiệu quả về điện năng, tính bền vững và tuổi thọ cao.

Xu hướng và đổi mới trong tương lai.

Nhìn về phía trước, nhu cầu lưu trữ AI dự kiến ​​sẽ tăng theo cấp số nhân. Theo dữ liệu từ Bloomberg Intelligence, IDC, eMarketer và Statista ² , đến năm 2032, thị trường lưu trữ AI dự kiến ​​sẽ đạt 92 tỷ đô la. Sự tăng trưởng này sẽ được thúc đẩy bởi sự phức tạp ngày càng tăng của các mô hình AI và việc sử dụng AI ngày càng mở rộng trong nhiều ngành công nghiệp khác nhau. Để đáp ứng những nhu cầu này, các giải pháp lưu trữ sẽ cần phải trở nên tinh vi hơn, cung cấp dung lượng cao hơn, tốc độ nhanh hơn và hiệu quả năng lượng tốt hơn.

Một số cải tiến kỹ thuật đang được khám phá để giải quyết nhu cầu lưu trữ của cơ sở hạ tầng AI:

• Tăng trưởng mật độ diện tích. Sự phát triển liên tục của ổ cứng bằng cách cải tiến đầu đọc và phương tiện của thiết bị cho phép có diện tích lưu trữ lớn hơn trong cùng một hệ số dạng. Ổ cứng hỗ trợ Seagate Mozaic là ổ cứng lưu trữ hiệu quả nhất thế giới, có khả năng giảm chi phí mua sắm và vận hành đồng thời tăng năng suất. Với ổ đĩa Mozaic có mật độ diện tích tăng lên, khách hàng có thể lưu trữ nhiều dữ liệu hơn mà không làm tăng mức tiêu thụ không gian, điện năng hoặc tài nguyên thiên nhiên. Mozaic 3+ giúp khách hàng đạt được các mục tiêu phát triển bền vững — ưu tiên hàng đầu đối với các trung tâm dữ liệu quy mô lớn — bằng cách cung cấp mức giảm 55% lượng carbon tích hợp trên mỗi terabyte ³ .
• Bộ truyền động kép. Các bộ truyền động này cung cấp hiệu suất cao hơn bằng cách sử dụng hai bộ truyền động để đọc và ghi dữ liệu đồng thời. Điều này có thể cải thiện đáng kể thông lượng dữ liệu, giúp xử lý khối lượng dữ liệu lớn do các ứng dụng AI tạo ra dễ dàng hơn.
• Ổ cứng dựa trên NVMe. Công nghệ bộ nhớ không bay hơi (NVMe) cung cấp khả năng truy cập dữ liệu nhanh hơn so với giao diện SATA (công nghệ tiên tiến nối tiếp) hoặc SAS (SCSI [giao diện hệ thống máy tính nhỏ] gắn nối tiếp) truyền thống. Bằng cách áp dụng ổ cứng dựa trên NVMe, các trung tâm dữ liệu có thể đạt được hiệu suất cao hơn và độ trễ thấp hơn, điều này rất quan trọng đối với khối lượng công việc AI.
• Kết nối quang. Khi tốc độ truyền dữ liệu tăng lên, kết nối đồng truyền thống có thể trở thành nút thắt cổ chai. Kết nối quang cung cấp băng thông cao hơn và độ trễ thấp hơn, cho phép di chuyển dữ liệu nhanh hơn giữa các thiết bị lưu trữ và đơn vị xử lý.
• Giải pháp lưu trữ tiết kiệm năng lượng. Với nhu cầu năng lượng ngày càng tăng của cơ sở hạ tầng AI, các giải pháp lưu trữ cần phải tiết kiệm năng lượng hơn. Điều này bao gồm phát triển các ổ đĩa tiêu thụ ít điện năng hơn trong khi vẫn duy trì hiệu suất cao, cũng như khám phá các công nghệ làm mát mới để quản lý nhiệt lượng sinh ra từ các triển khai quy mô lớn.

Nhu cầu lưu trữ AI đang phát triển.

Nhu cầu lưu trữ cho cơ sở hạ tầng AI đang phát triển nhanh chóng, được thúc đẩy bởi sự tăng trưởng theo cấp số nhân của dữ liệu và sự phức tạp ngày càng tăng của các mô hình AI. Khi chúng ta tiến về phía trước, điều cần thiết là phải phát triển các giải pháp lưu trữ có thể theo kịp các nhu cầu này, để các hệ thống AI có thể tiếp tục phát triển và thực hiện lời hứa chuyển đổi các ngành công nghiệp và cải thiện cuộc sống.

1.  Chuỗi kết nối IoT di động: Cơ hội và dự báo về thành phố thông minh, Kaleido Intelligence, 2023, https://kaleidointelligence.com/smart-cities-2027/
2. Trí tuệ nhân tạo tạo ra sẽ trở thành thị trường trị giá 1,3 nghìn tỷ đô la vào năm 2032, Nghiên cứu phát hiện, Bloomberg Intelligence, 2023, https://www.bloomberg.com/company/press/generative-ai-to-become-a-1-3-trillion-market-by-2032-research-finds/
3. Ổ đĩa Mozaic 3+ 30 TB so với ổ đĩa PMR thông thường 16 TB. Carbon tích hợp bao gồm khí thải phát sinh trong quá trình khai thác nguyên liệu thô, sản xuất/lắp ráp sản phẩm và toàn bộ quá trình vận chuyển vật liệu từ khai thác đến sản xuất và từ sản xuất đến khách hàng.

---