Mở Rộng Khả Năng Suy Luận AI Với Bộ Nhớ Đa Tầng

Hãy xem xét mức độ kém hiệu quả của hệ thống suy luận đến từ việc tính toán lại ngữ cảnh mà nó đã xử lý. Nhiều nhà xây dựng cơ sở hạ tầng AI biết rằng trong môi trường thử nghiệm, chi phí tính toán lại ngữ cảnh là tương đối không đáng kể. Các câu hỏi gợi ý ngắn gọn, các phiên được giới hạn và hiệu suất có thể dự đoán được.

Nhưng sản xuất thì khác. Ở quy mô lớn, sự thiếu hiệu quả nhanh chóng tích tụ thành các thách thức về chi phí, độ trễ và sử dụng. Đây là điều chúng tôi đặt ra mục tiêu giải quyết trong sự hợp tác nghiên cứu mới nhất với SK hynix.

Kết hợp chuyên môn của Seagate trong lĩnh vực ổ cứng và vị thế dẫn đầu của SK hynix trong lĩnh vực bộ nhớ và SSD flash NAND, nghiên cứu này khám phá những sự đánh đổi ở cấp độ hệ thống khi mở rộng quy mô khối lượng công việc suy luận, và chứng minh cách kiến ​​trúc SSD và ổ cứng đa tầng là nền tảng cho sự thành công.

Việc chuyển sang phương pháp chủ động sẽ thay đổi cách tính toán.

Suy luận tiêu chuẩn mang tính giao dịch. Một yêu cầu được đưa vào, một phản hồi được gửi đi, và trạng thái được xóa sạch. Các tác vụ dựa trên tác nhân không hoạt động theo cách đó. Chúng mang theo trạng thái hiện tại. Ngữ cảnh được tích lũy trong suốt quá trình tương tác, và mỗi yêu cầu mới được xây dựng dựa trên những gì đã có trước đó.

So với chatbot thông thường, AI tác nhân tạo ra số lượng token nhiều hơn tới 15 lần¹ ^, điều này về cơ bản thay đổi những gì hệ thống phải làm. Nó không còn chỉ đơn thuần là tạo ra token mới nữa. Nó phải quyết định giữ lại bao nhiêu công việc đã thực hiện trước đó và xây dựng lại bao nhiêu từ đầu.

Trong đó bộ nhớ đệm KV trở thành yếu tố hạn chế.

Bộ nhớ đệm cặp khóa-giá trị (KV) lưu trữ các biểu diễn trung gian của các token trước đó, do đó mô hình không tính toán lại chúng trên mỗi yêu cầu. Ban đầu, nó hoạt động tốt. Hạn chế là dung lượng.

GPU NVIDIA H100 có 80 GB bộ nhớ băng thông cao, đủ để lưu trữ khoảng 1,2 phút bộ nhớ đệm KV. Một máy chủ với 1 TB bộ nhớ CPU có thể mở rộng thời gian đó lên khoảng 16 phút. Cả hai đều không thể đáp ứng được quy trình làm việc đa lượt với tác nhân, nơi các phiên chạy trong nhiều giờ, nhiều ngày hoặc nhiều tuần.

Khi bộ nhớ đầy, hệ thống phải loại bỏ ngữ cảnh cũ hơn. Khi ngữ cảnh đó trở nên phù hợp trở lại (và trong các tác vụ dựa trên tác nhân, điều này thường xảy ra), hệ thống sẽ tính toán lại nó. Điều này dẫn đến thời gian xử lý token đầu tiên tăng lên, mức sử dụng GPU tăng mà không có sự gia tăng nào về sản lượng hữu ích và chi phí tăng lên ngay cả khi nhu cầu có vẻ ổn định.

Việc bổ sung thêm DRAM có thể giúp kéo dài thời gian, nhưng không giải quyết được vấn đề cốt lõi. Hệ thống vẫn bị giới hạn bởi bộ nhớ và áp lực sẽ tăng lên khi khối lượng công việc mở rộng.

Xem ngữ cảnh như một trạng thái bền vững

Đây là điểm mà tôi nhận thấy cách tiếp cận bắt đầu thay đổi. Thay vì coi bộ nhớ đệm KV như một sự tối ưu hóa bị giới hạn bởi bộ nhớ, nó có thể được xem như một trạng thái bền vững được lưu giữ, truy xuất và tái sử dụng trong suốt các chu kỳ suy luận.

Trên thực tế, điều đó có nghĩa là lưu trữ theo nhiều tầng. Dữ liệu thường xuyên được truy cập sẽ nằm trong bộ nhớ, gần với GPU. Ổ SSD cung cấp một lớp đệm để truy xuất và lưu trữ dữ liệu nhanh chóng, trong khi các ổ cứng HDD hỗ trợ hệ thống lưu trữ đối tượng, cung cấp dung lượng bền vững cần thiết để lưu giữ dữ liệu trong nhiều ngày hoặc nhiều tuần với chi phí thấp hơn nhiều so với hệ thống hoàn toàn bằng ổ SSD.

Sự thay đổi thực sự nằm ở chỗ bộ nhớ đệm KV không còn bị giới hạn trong bộ nhớ RAM nữa. Thay vào đó, giờ đây nó có thể được quản lý trên một hệ thống tài nguyên lưu trữ phân cấp có khả năng mở rộng dung lượng, cho phép các hệ thống suy luận giữ lại nhiều công việc đã thực hiện trước đó hơn và giảm thiểu việc tính toán lại tại nguồn.

Trong quá trình hợp tác chặt chẽ với SK hynix, chúng tôi đã tiến hành kiểm tra hiệu năng bằng NVIDIA Dynamo với cấu hình kết hợp giữa SSD và ổ cứng. Chúng tôi nhận thấy tác động có thể đo lường được trên mọi chỉ số quan trọng đối với các nhóm quản lý cơ sở hạ tầng: thời gian xử lý token đầu tiên (TTFT), thông lượng, mức độ sử dụng GPU và chi phí.

Mặc dù môi trường thử nghiệm phản ánh các điều kiện được kiểm soát, nhưng tác động thậm chí còn rõ rệt hơn trong các triển khai thực tế, nơi các phiên làm việc dài hơn và tập dữ liệu lớn hơn sẽ khuếch đại việc tính toán lại. Toàn bộ kết quả công việc hợp tác của chúng tôi — mô hình hóa chi phí trên các tầng lưu trữ và thông số kỹ thuật kiến ​​trúc — được trình bày chi tiết trong báo cáo chuyên đề.

Hệ thống lưu trữ lai mang lại sự cải thiện 95% về TTFT so với hệ thống tái tạo.

Giải pháp này chỉ hoạt động khi bộ nhớ được tích hợp trực tiếp vào ngăn xếp suy luận. Để làm được điều đó, việc di chuyển dữ liệu bộ nhớ đệm KV giữa bộ nhớ lưu trữ và bộ nhớ GPU mà không gây tắc nghẽn CPU ở quy mô lớn hoặc tạo ra độ trễ mới đòi hỏi cơ sở hạ tầng được xây dựng chuyên dụng, chứ không phải là việc nâng cấp phần cứng đa năng.

Lưu trữ đối tượng như một hệ thống ghi nhận dữ liệu cho trí tuệ nhân tạo

Tôi tin rằng công việc của chúng tôi với SK hynix phản ánh một sự chuyển đổi kiến ​​trúc rộng lớn hơn đang diễn ra. Khi các công cụ suy luận trở nên có nhiều trạng thái hơn, ranh giới giữa bộ nhớ và lưu trữ bắt đầu mờ đi.

Những gì từng là ngữ cảnh tạm thời nay đang trở thành trạng thái bền vững — được quản lý trên nhiều tầng và lưu giữ theo thời gian. Trong mô hình đó, bộ nhớ không chỉ hỗ trợ suy luận, mà còn định nghĩa cách thức lưu giữ và truy cập ngữ cảnh, phù hợp với xu hướng chuyển sang lưu trữ đối tượng như hệ thống ghi nhận chính thức cho cơ sở hạ tầng AI hiện đại.

Nếu nhóm của bạn đang đưa ra quyết định về việc thiết kế kiến ​​trúc cho suy luận quy mô lớn, tôi khuyến khích bạn nên đọc bản báo cáo chuyên đề, trong đó nêu rõ các tiêu chuẩn, phương pháp phân cấp và mô hình chi phí cần thiết để đánh giá những sự đánh đổi này khi bạn xác định hệ thống của mình.

---