Gần đây, ChatGPT đã trở thành điểm nóng mới cho AI, với việc Microsoft và Google ở Thung lũng Silicon đầu tư mạnh vào công nghệ như vậy (Microsoft có 10 tỷ USD cổ phần trong OpenAI, công ty đứng sau ChatGPT và Google gần đây đã phát hành mô hình BARD của riêng mình), trong khi các công ty công nghệ Internet ở Trung Quốc, đại diện là Baidu và những công ty khác, cũng đã chỉ ra rằng họ đang phát triển công nghệ như vậy và sẽ đi vào hoạt động trong tương lai gần. Tại Trung Quốc, Baidu và các công ty công nghệ Internet khác cũng cho biết họ đang phát triển những công nghệ như vậy và sẽ đi vào hoạt động trong tương lai gần.
Các mô hình tổng quát do ChatGPT đại diện có một đặc điểm chung, đó là chúng sử dụng dữ liệu lớn để đào tạo trước và thường được kết hợp với một mô hình ngôn ngữ mạnh mẽ hơn. Chức năng chính của mô hình ngôn ngữ là học từ kho ngữ liệu khổng lồ hiện có và sau khi học, nó có thể hiểu hướng dẫn ngôn ngữ của người dùng hoặc hơn nữa, tạo đầu ra văn bản có liên quan theo hướng dẫn của người dùng.
Các mô hình tổng quát có thể được phân loại thành hai loại, một là các mô hình tổng quát dựa trên ngôn ngữ và hai là các mô hình tổng quát dựa trên hình ảnh. Các mô hình tạo dựa trên ngôn ngữ được đại diện bởi ChatGPT, mô hình ngôn ngữ của mô hình này không chỉ có thể học cách hiểu ý nghĩa của các lệnh của người dùng (ví dụ: "viết một bài thơ, theo phong cách của Li Bai"), mà còn tạo ra văn bản có liên quan dựa trên người dùng lệnh sau khi luyện với dữ liệu đồ sộ (ở ví dụ trên là làm thơ theo kiểu Lí Bạch). bài thơ). Điều này có nghĩa là ChatGPT cần phải có một mô hình ngôn ngữ lớn (LLM) hiểu ngôn ngữ của người dùng và có thể tạo ra ngôn ngữ đầu ra chất lượng cao - ví dụ: mô hình phải hiểu cách tạo ra các bài thơ, cách tạo ra các bài thơ theo phong cách của Li Bai , và như thế. Điều này cũng có nghĩa là các mô hình ngôn ngữ lớn trong AI tổng quát dựa trên ngôn ngữ yêu cầu một số lượng rất lớn các tham số để thực hiện kiểu học phức tạp này và ghi nhớ nhiều thông tin như vậy. Ví dụ, ChatGPT có 175 tỷ tham số (700 GB dung lượng lưu trữ nếu sử dụng số dấu phẩy động tiêu chuẩn), điều này cho thấy mô hình ngôn ngữ của nó "lớn" như thế nào.
Một loại mô hình tổng quát khác là mô hình tạo hình ảnh được đại diện bởi Diffusion, điển hình là Dalle từ OpenAI, ImaGen từ Google và phổ biến nhất hiện nay là Stable Diffusion từ Runway AI. Các mô hình tạo giống như hình ảnh này cũng sử dụng mô hình ngôn ngữ để hiểu các lệnh ngôn ngữ của người dùng và sau đó tạo các hình ảnh chất lượng cao dựa trên các lệnh đó. Khác với language-based Generative Model, language model sử dụng ở đây chủ yếu dùng ngôn ngữ để hiểu đầu vào của người dùng mà không tạo ra ngôn ngữ đầu ra nên số lượng tham số có thể khá ít (khoảng vài trăm triệu), trong khi số lượng tham số cho các mô hình khuếch tán dựa trên hình ảnh tương đối nhỏ, theo thứ tự tổng thể là vài tỷ, nhưng nỗ lực tính toán không nhỏ vì độ phân giải của hình ảnh hoặc video được tạo có thể rất cao.
Các mô hình sáng tạo có thể tạo ra đầu ra chất lượng cao chưa từng có thông qua đào tạo dữ liệu lớn và đã có một số thị trường ứng dụng rõ ràng, bao gồm tìm kiếm, bot đối thoại, tạo và chỉnh sửa hình ảnh, v.v. Nhiều ứng dụng hơn được mong đợi trong tương lai, điều này cũng đặt ra nhu cầu về chip liên quan.
Nhu cầu về chip để tạo các mô hình lớp
Như đã đề cập trước đó, ChatGPT đại diện cho một mô hình tổng quát cần học hỏi từ lượng lớn dữ liệu đào tạo để đạt được đầu ra tổng quát chất lượng cao. Để hỗ trợ đào tạo và suy luận hiệu quả, các mô hình tổng quát có các yêu cầu riêng đối với các chip liên quan.
Đầu tiên là nhu cầu tính toán phân tán; số lượng tham số cho các mô hình tạo ngôn ngữ như ChatGPT lên tới hàng trăm tỷ và gần như không thể sử dụng đào tạo và suy luận trên một máy tính mà phải sử dụng rất nhiều tính toán phân tán. Trong điện toán phân tán, băng thông kết nối dữ liệu giữa các máy và chip điện toán cho điện toán phân tán như vậy (chẳng hạn như RDMA) có nhu cầu rất lớn, bởi vì thường nút thắt cổ chai của tác vụ có thể không nằm ở điện toán, mà là ở kết nối dữ liệu ở trên, đặc biệt là ở loại điện toán phân tán quy mô lớn này, con chip để hỗ trợ hiệu quả cho điện toán phân tán đã trở nên quan trọng hơn.
Tiếp theo là dung lượng bộ nhớ và băng thông. Mặc dù đào tạo và suy luận phân tán là không thể tránh khỏi đối với các mô hình tạo dựa trên ngôn ngữ, bộ nhớ cục bộ và băng thông của mỗi chip sẽ quyết định phần lớn hiệu quả thực thi của một chip (vì bộ nhớ của mỗi chip được sử dụng đến giới hạn của nó). Đối với các mô hình tổng quát dựa trên hình ảnh, có thể đặt tất cả các mô hình (khoảng 20GB) vào bộ nhớ của chip, nhưng khi các mô hình tổng quát dựa trên hình ảnh phát triển hơn nữa trong tương lai, có khả năng yêu cầu bộ nhớ của nó cũng sẽ tăng thêm. . Từ quan điểm này, công nghệ bộ nhớ băng thông cực cao do HBM đại diện sẽ trở thành lựa chọn tất yếu cho các chip tăng tốc liên quan, trong khi các mô hình lớp tổng quát cũng sẽ tăng tốc bộ nhớ HBM để tăng thêm dung lượng và băng thông. Ngoài HBM, các công nghệ lưu trữ mới như CXL kết hợp với tối ưu hóa phần mềm cũng sẽ có khả năng tăng dung lượng và hiệu suất của lưu trữ cục bộ trong các ứng dụng như vậy và ước tính sẽ được áp dụng công nghiệp nhiều hơn từ sự gia tăng của mô hình lớp tổng quát.
Cuối cùng, tính toán, cả mô hình lớp tổng quát dựa trên ngôn ngữ và dựa trên hình ảnh đều có nhu cầu tính toán lớn và các mô hình tổng quát dựa trên hình ảnh có thể có nhu cầu cao hơn nhiều về sức mạnh số học khi chúng tạo ra độ phân giải ngày càng cao hơn và hướng tới các ứng dụng video - hiện tại các mô hình tạo hình ảnh chính thống có khối lượng tính toán khoảng 20 TFlops và đối với hình ảnh và độ phân giải cao, 100-1000 TFLOPS theo nhu cầu số học có thể là tiêu chuẩn.
Tóm lại, chúng tôi tin rằng các yêu cầu của mô hình tổng quát cho chip bao gồm tính toán phân tán, lưu trữ và tính toán, có thể nói là liên quan đến tất cả các khía cạnh của thiết kế chip và quan trọng hơn là làm thế nào để kết hợp tất cả các yêu cầu này lại với nhau một cách hợp lý để đảm bảo rằng một khía cạnh duy nhất không trở thành nút cổ chai, điều này cũng sẽ trở thành vấn đề kỹ thuật của hệ thống thiết kế chip.
GPU và chip AI mới, ai có cơ hội tốt hơn
Các mô hình thế hệ mới có nhu cầu mới về chip. Ai có cơ hội tốt hơn để nắm bắt nhu cầu và thị trường GPU mới này (đại diện là Nvidia và AMD) và chip AI mới (đại diện là Habana, GraphCore)?
Đầu tiên, từ góc độ của các mô hình thế hệ dựa trên ngôn ngữ, các nhà cung cấp GPU hiện có bố cục hoàn chỉnh trong loại hệ sinh thái này sẽ có lợi hơn do số lượng người tham gia khổng lồ và nhu cầu hỗ trợ điện toán phân tán tốt. Đây là một vấn đề kỹ thuật hệ thống đòi hỏi một giải pháp phần cứng và phần mềm hoàn chỉnh, và về vấn đề này, Nvidia đã kết hợp các GPU của mình để ra mắt giải pháp Triton, hỗ trợ đào tạo phân tán và suy luận phân tán, cho phép chia mô hình thành nhiều phần và xử lý trên các GPU khác nhau, do đó giải quyết được vấn đề có quá nhiều thông số mà bộ nhớ chính của một GPU không thể đáp ứng được. Điều này giải quyết vấn đề có quá nhiều tham số cho một bộ nhớ chính của GPU. Cho dù bạn sử dụng Triton trực tiếp hay phát triển thêm trên cơ sở Triton trong tương lai, sẽ thuận tiện hơn nếu có một GPU sinh thái hoàn chỉnh. Từ quan điểm tính toán, do tính toán chính của mô hình tạo dựa trên ngôn ngữ là tính toán ma trận, đây là thế mạnh của GPU, nên chip AI mới không có lợi thế rõ ràng so với GPU từ quan điểm này.
Từ quan điểm của các mô hình tạo dựa trên hình ảnh, số lượng tham số của các mô hình như vậy cũng lớn nhưng nhỏ hơn một đến hai bậc so với các mô hình tạo dựa trên ngôn ngữ, ngoài ra, tính toán của nó vẫn sẽ được sử dụng rộng rãi. số phép tính tích chập, vì vậy các ứng dụng suy luận, nếu bạn có thể tối ưu hóa rất tốt, chip AI có thể có một số cơ hội. Ở đây, việc tối ưu hóa bao gồm một lượng lớn dung lượng lưu trữ trên chip để chứa các tham số và kết quả tính toán trung gian, để tích chập và hỗ trợ hiệu quả cho các hoạt động của ma trận.
Nhìn chung, thế hệ chip AI hiện tại được thiết kế để hướng đến các mô hình nhỏ hơn (số tham số ở mức tỷ, tính toán ở mức 1TOPS), trong khi nhu cầu về các mô hình tổng quát vẫn tương đối lớn hơn so với mục tiêu thiết kế ban đầu. GPU được thiết kế để linh hoạt hơn với chi phí hiệu quả, trong khi chip AI được thiết kế để làm điều ngược lại, theo đuổi hiệu quả của ứng dụng mục tiêu. Do đó, chúng tôi tin rằng GPU sẽ vẫn chiếm ưu thế trong việc tăng tốc mô hình tổng quát như vậy trong một hoặc hai năm tới, nhưng khi thiết kế mô hình tổng quát trở nên ổn định hơn và thiết kế chip AI có thời gian để bắt kịp với các lần lặp lại mô hình tổng quát, thì chip AI có cơ hội vượt qua GPU trong không gian mô hình tổng quát từ góc độ hiệu quả.
