Musk tạo siêu máy tính đào tạo AI lớn nhất trong 122 ngày
"Tuần này, xAI đưa cụm đào tạo Colossus với 100.000 chip H100 vào hoạt động. Từ đầu đến cuối, mọi thứ được hoàn thành trong 122 ngày", Elon Musk viết trên X ngày 3/9.
Theo tỷ phú Mỹ, Colossus là hệ thống đào tạo AI mạnh mẽ nhất thế giới, nhưng xAI sẽ sớm nâng gấp đôi quy mô tính toán, lên 200.000 chip H100 hoặc mua 50.000 chip H200 mới "trong vài tháng tới". H200 hiện là chip AI mạnh nhất của Nvidia, gấp đôi H100 hiện tại.
Ngoài ra, Musk cũng cảm ơn đến đội ngũ Nvidia và các đối tác, nhà cung cấp đã giúp xAI hoàn thành công việc đúng tiến độ.
Charles Liang, CEO Supermicro chia sẻ ảnh chụp cùng Elon Musk tại một trung tâm dữ liệu ngày 2/7. Ảnh: X/Charles Liang
Việc Musk đưa vào vận hành Colossus được đánh giá rất nhanh nếu dựa theo quy mô của siêu máy tính. Hồi tháng 3, tỷ phú lên kế hoạch xây dựng hệ thống gọi là "Gigafactory of Compute" để đào tạo AI Grok. Vào tháng 5, Musk nói sẽ đích thân đảm bảo việc phát triển siêu máy tính đúng tiến độ. Một tháng sau, ông chọn địa điểm ở Memphis, bang Tennessee, dù gặp rất nhiều khó khăn.
Theo Fortune, với khoảng 100.000 chip Nvidia H100, trung tâm của Musk có số lượng GPU nhiều nhất và lớn hơn bất kỳ cụm tính toán AI riêng lẻ nào khác được biết đến. Nếu nâng lên 200.000 chip, vị thế siêu máy tính đào tạo AI lớn nhất thế giới sẽ càng được củng cố.
Dự kiến, cụm siêu máy tính ở Memphis đào tạo thế hệ Grok thứ ba của Musk, gọi là Grok-3. Hồi tháng 7, ông từng chia sẻ trong một podcast của Jordan Peterson rằng "Grok-3 sẽ được giới thiệu vào tháng 12 và là AI mạnh nhất thế giới khi ra mắt".
Phiên bản beta đầu tiên của Grok-2 vừa được tung ra cho người dùng vào tháng trước. AI này được đào tạo dựa trên hệ thống gồm 15.000 chip H100. Theo dữ liệu của Imsys.org công bố ngày 24/8, AI này hiện có sức mạnh lớn, chỉ đứng sau ChatGPT với GPT-4o của OpenAI và Gemini 1.5 Pro của Google về sức mạnh tính toán, cao hơn Llama 3.1 với 405 tỷ tham số của Meta.
Theo Business Insider, với công bố mới, cuộc đua AI giữa Elon Musk và CEO Meta Mark Zuckerberg sẽ trở nên hấp dẫn, ít nhất thông qua việc sở hữu chip H100. Trước đó, ước tính của Street Capital cho thấy các công ty của Musk có 135.000 chip, còn công ty của Zuckerberg là 350.000 chip.
Hồi tháng 1, Zuckerberg từng cho biết Meta sẽ có kho dự trữ 600.000 chip vào cuối năm. Đến nay, Meta chưa công bố chính xác đã mua được bao nhiêu. Hồi tháng 7, công ty cho biết Llama 3 được đào tạo với 16.000 chip, đồng thời đang xây dựng cụm 24.000 chip để phát triển các mô hình tiên tiến hơn.
