อินเทล (Intel) ทลายทุกข้อจำกัด นำเสนอความสามารถในการก้าวสู่ GenAI ระดับองค์กร ตัวเร่งความเร็ว AI Intel Gaudi 3 มอบตัวเลือกสำหรับ Generative AI ให้แก่องค์กรทั่วโลก โดยเป็นการต่อยอดประสิทธิภาพและความสามารถการปรับขนาดของ Gaudi 2 รุ่นก่อนหน้า
ภายในงาน Intel Vision อินเทลได้มีการนำเสนอตัวเร่งความเร็ว AI Intel® Gaudi® 3 ตัวใหม่ ที่มีความสามารถในด้านการคำนวณ AI มากถึง 4 เท่า สำหรับข้อมูลประเภท BF16 มีแบนด์วิธหน่วยความจำเพิ่มขึ้น 1.5 เท่า และมีความกว้างของเครือข่ายเพิ่มขึ้น 2 เท่า เมื่อเทียบกับรุ่นก่อนหน้า ซึ่งนับเป็นก้าวสำคัญในการฝึกอบรมโมเดลปัญญาประดิษฐ์ การอนุมานโมเดลภาษาขนาดใหญ่ (LLM) และโมเดลหลากหลายรูปแบบ โดยจากผลการทดสอบประสิทธิภาพของตัวเร่งความเร็ว AI Intel® Gaudi® 2 พบว่า มีเพียงตัวทดสอบ MPerf เพียงอย่างเดียวสำหรับ LLMs ในตลาด โดยอินเทลได้มอบทางเลือกให้กับลูกค้าด้วยซอฟต์แวร์แบบเปิดและเครือข่ายอีเธอร์เน็ตมาตรฐานอุตสาหกรรมเพื่อขยายระบบของพวกเขาได้อย่างยืดหยุ่นมากขึ้น
จัสติน โฮทาร์ด (Justin Hotard) รองประธานและผู้จัดการทั่วไปฝ่าย Data Center และ AI กล่าวว่า “ในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของตลาด AI ยังคงมีช่องว่างที่สำคัญในการนำเสนอสินค้าของเรา โดยจากผลตอบรับจากลูกค้าของเราและตลาดโดยรวมสามารถช่วยตอกย้ำถึงความต้องการของทางเลือกที่เพิ่มขึ้น องค์กรต่าง ๆ อาจชั่งน้ำหนักการพิจารณาอื่นๆ เช่น ความพร้อมใช้งาน ความสามารถในการขยาย ประสิทธิภาพ ต้นทุน และประสิทธิภาพการใช้พลังงาน โดย Intel Gaudi 3 โดดเด่นในฐานะทางเลือกสำหรับ GenAI ที่นำเสนอการผสมผสานที่น่าสนใจระหว่างประสิทธิภาพด้านราคา ความสามารถในการขยายระบบ และความได้เปรียบด้านเวลาต่อมูลค่า”
ในปัจจุบันองค์กรทั่วไปในภาคอุตสาหกรรมที่สำคัญ เช่น การเงิน การผลิต และสุขภาพ กำลังมองหาเส้นทางที่รวดเร็วในการเข้าถึงเทคโนโลยี AI และการเข้าถึง GenAI จากช่วงทดลองไปสู่การใช้งานอย่างเต็มรูปแบบ สำหรับการจัดการการเปลี่ยนแปลงและการกระตุ้นนวัตกรรมและปฏิบัติการเติบโตทางรายได้ องค์กรธุรกิจต่างต้องการโซลูชันและผลิตภัณฑ์ที่เปิดเผย มีราคาที่เหมาะสม และมีประสิทธิภาพในการใช้พลังงานมากขึ้น ซึ่งตอบสนองต่อความต้องการในการลงทุนเพื่อกำไรและประสิทธิภาพการดำเนินงาน
โดยตัวเร่งความเร็ว Intel Gaudi 3 จะตอบสนองความต้องการเหล่านี้และนำเสนอความหลากหลายผ่านซอฟต์แวร์บนชุมชนแบบเปิดและอีเธอร์เน็ตมาตรฐานอุตสาหกรรมแบบเปิด ช่วยให้ธุรกิจต่าง ๆ สามารถปรับขนาดระบบ AI และช่วยให้เข้าถึงแอปพลิเคชันได้อย่างยืดหยุ่น
สถาปัตยกรรมที่ปรับเปลี่ยนได้ ส่งผลต่อประสิทธิภาพของ GenAI อย่างไร
ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบทางสถาปัตยกรรมเพื่อการประมวลผล AI ขนาดใหญ่ที่มีประสิทธิภาพ ผลิตขึ้นบนกระบวนการ 5 นาโนเมตร (nm) และมีความก้าวหน้าที่สำคัญมากกว่ารุ่นก่อน ตัวเร่งความเร็วรุ่นใหม่นี้ถูกออกแบบมาให้สามารถเปิดใช้งานเครื่องมือทั้งหมดพร้อมกัน ทั้ง Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) และ Networking Interface Cards (NIC) ทั้งหมดนี้ช่วยในการเร่งความเร็วที่จำเป็นสำหรับการคำนวณและการเรียนรู้เชิงลึกที่รวดเร็วและมีประสิทธิภาพ โดยมีคุณสมบัติที่สำคัญ ได้แก่
- เครื่องประมวลผลเฉพาะด้าน AI : ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อให้มีประสิทธิภาพสูง การประมวลผล GenAI ประสิทธิภาพสูง ตัวเร่งความเร็วแต่ละตัวมีคุณลักษณะเฉพาะของกลไกการคำนวณที่แตกต่างกัน ซึ่งประกอบด้วย TPC แบบกำหนดเองโดย AI และแบบตั้งโปรแกรมได้ 64 ตัว และ MME 8 ตัว Intel Gaudi 3 MME แต่ละตัวมีความสามารถในการดำเนินการแบบขนานที่น่าประทับใจถึง 64,000 รายการ ทำให้มีประสิทธิภาพในการประมวลผลในระดับสูง เชี่ยวชาญในการจัดการการดำเนินการเมทริกซ์ที่ซับซ้อน ซึ่งเป็นประเภทของการคำนวณที่เป็นพื้นฐานของอัลกอริธึมการเรียนรู้เชิงลึก การออกแบบที่เป็นเอกลักษณ์นี้ช่วยเร่งความเร็วและประสิทธิภาพของการทำงานของ AI แบบคู่ขนาน และรองรับข้อมูลหลายประเภท รวมถึง FP8 และ BF16
- Memory Boost สำหรับความต้องการความจุ LLM : ความจุหน่วยความจำขนาด HBMe2 128 กิกะไบต์ (GB) แบนด์วิธหน่วยความจำขนาด 7 เทราไบต์ (TB) และ 96 เมกะไบต์ (MB) ของหน่วยความจำเข้าถึงโดยสุ่มแบบคงที่ (SRAM) บนบอร์ด ให้หน่วยความจำที่เพียงพอสำหรับการประมวลผลชุดข้อมูล GenAI ขนาดใหญ่ บน Intel Gaudi 3 ที่น้อยลง ซึ่งมีประโยชน์อย่างยิ่งในการรองรับภาษาขนาดใหญ่และโมเดลหลายรูปแบบ ส่งผลให้ประสิทธิภาพเวิร์กโหลดเพิ่มขึ้นและประสิทธิภาพด้านต้นทุนของศูนย์ข้อมูล
- การปรับขนาดระบบที่มีประสิทธิภาพสำหรับ GenAI ระดับองค์กร : การรวมพอร์ตอีเธอร์เน็ต 200 กิกะบิต (Gb) จำนวน 24 พอร์ตเข้ากับตัวเร่งความเร็ว Intel Gaudi 3 ทุกตัว จะทำให้เกิดเครือข่ายที่ยืดหยุ่นและสามารถเปิดใช้งานได้ตามมาตรฐาน ส่งผลให้ให้สามารถปรับขนาดได้อย่างมีประสิทธิภาพเพื่อรองรับคลัสเตอร์การประมวลผลขนาดใหญ่ และกำจัดการล็อคอินของผู้ขายจากแฟบริคเครือข่ายที่เป็นกรรมสิทธิ์ ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อการขยายขนาดอย่างมีประสิทธิภาพจากโหนดเดียวไปจนถึงหลายพันโหนด เพื่อตอบสนองความต้องการขนาดใหญ่ของโมเดล GenAI ได้อย่างเหมาะสม
- ซอฟต์แวร์อุตสาหกรรมแบบเปิดเพื่อประสิทธิภาพการทำงานของนักพัฒนา : ซอฟต์แวร์ของ Intel Gaudi ได้ผสานรวมเฟรมเวิร์ก PyTorch และมอบโมเดลตาม Hugging Face ที่ได้รับการปรับปรุง ซึ่งเป็นเฟรมเวิร์ก AI ที่พบบ่อยที่สุดสำหรับนักพัฒนา GenAI ในปัจจุบัน โดยสิ่งนี้จะช่วยให้นักพัฒนา GenAI สามารถทำงานในระดับสูง และได้รับความสะดวกในการใช้งานและการโยกย้ายโมเดลระหว่างชนิดฮาร์ดแวร์ได้โดยง่าย
- Gaudi 3 PCIe : สิ่งที่เพิ่มเข้ามาในสายผลิตภัณฑ์ Gaudi 3 คือ การ์ดเสริม Peripheral Component Interconnect Express (PCIe) ซึ่งถูกออกแบบมาเพื่อให้มีประสิทธิภาพสูงพร้อมกับการใช้พลังงานต่ำ เหมาะอย่างยิ่งสำหรับปริมาณงาน อย่างการปรับแต่งแบบละเอียด การอนุมาน และการสร้างเสริมการดึงข้อมูล (RAG) ที่มีขนาดเต็มสูงที่ 600 วัตต์ พร้อมความจุหน่วยความจำ 128GB และแบนด์วิธ 3.7TB ต่อวินาที
ตัวเร่งความเร็ว Intel Gaudi 3 จะช่วยปรับปรุงประสิทธิภาพที่สำคัญสำหรับงานฝึกอบรมและการอนุมานในโมเดล GenAI ชั้นนำ โดยเฉพาะอย่างยิ่ง ตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะส่งมอบโดยเฉลี่ยเมื่อเทียบกับ Nvidia H100:
- ใช้เวลาฝึกเร็วขึ้น 50%1 สำหรับพารามิเตอร์ Llama2 7B และ 13B และโมเดลพารามิเตอร์ GPT-3 175B
- ปริมาณงานการอนุมานเร็วขึ้น 50%2 และประสิทธิภาพพลังงานการอนุมานเพิ่มขึ้น 40%3 ในพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B ข้อได้เปรียบด้านประสิทธิภาพการอนุมานที่ดียิ่งขึ้นในลำดับอินพุตและเอาต์พุตที่ยาวขึ้น
- การอนุมานเร็วขึ้น 30%4 บนพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B เทียบกับ Nvidia H200
ข้อมูลเกี่ยวกับการนำไปใช้ในตลาดและความพร้อมใช้งาน
ตัวเร่งความเร็ว Intel Gaudi 3 จะพร้อมให้บริการในไตรมาสที่สองของปี 2567 นี้ ผ่านผู้ผลิตอุปกรณ์ (OEMs) อาทิ Dell Technologies, HPE, Lenovo, และ Supermicro ในมาตรฐานอุตสาหกรรมของ Universal Baseboard และ open accelerator module (OAM) ทั้งนี้ ความพร้อมใช้งานทั่วไปของตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะวางจำหน่ายในไตรมาสที่สามของปี 2567 และการ์ดเสริม Intel Gaudi 3 PCIe คาดว่าจะวางจำหน่ายในไตรมาสสุดท้ายของปี 2567
นอกจากนี้ ตัวเร่งความเร็ว Intel Gaudi 3 ยังขับเคลื่อนโครงสร้างพื้นฐาน LLM ในคลาวด์ ที่คุ้มต้นทุนสำหรับการฝึกอบรมและการอนุมาน โดยได้มีการเสนอข้อได้เปรียบด้านประสิทธิภาพด้านราคาและทางเลือกให้กับองค์กรที่ขณะนี้รวม NAVER ไว้ด้วย
นักพัฒนาสามารถเริ่มต้นใช้งานได้ตั้งแต่วันนี้ ผ่าน Gaudi 2-based instances บนระบบคลาวด์ของนักพัฒนา เพื่อเรียนรู้ สร้างต้นแบบ ทดสอบ และรันแอปพลิเคชันและเวิร์คโหลด
จะเป็นอย่างไรต่อไป
ตัวเร่งความเร็ว Intel Gaudi 3 จะเป็นรากฐานสำหรับ Falcon Shores ซึ่งเป็นหน่วยประมวลผลกราฟิก (GPU) ยุคถัดไปของอินเทล ในเรื่องของ AI และการประมวลผลประสิทธิภาพสูง (HPC) โดย Falcon Shores จะรวมทรัพย์สินทางปัญญา (IP) ของ Intel Gaudi และ Intel® Xe เข้ากับอินเทอร์เฟซการเขียนโปรแกรม GPU เดียวที่สร้างขึ้นบนข้อกำหนด Intel® oneAPI
รายละเอียดเพิ่มเติม
Intel Unleashes Enterprise AI with Gaudi 3, AI Open Systems Strategy and New Customer Wins (News) | Intel Gaudi 3 AI Accelerator (Product Page) | Intel Gaudi 3 AI Accelerator (White Paper) | Intel Gaudi 2 Remains Only Benchmarked Alternative to NV H100 for GenAI Performance (News)
หมายเหตุ
อินเทล ไม่ได้ควบคุมหรือตรวจสอบข้อมูลของบุคคลที่สาม คุณควรตรวจสอบเนื้อหานี้ ปรึกษากับแหล่งข้อมูลอื่น ๆ และยืนยันว่าข้อมูลที่อ้างอิงมีความถูกต้องหรือไม่
1การเปรียบเทียบ NV H100 อิงตาม https://developer.nvidia.com/deep-learning-performance-training-inference/training 28 มีนาคม 2024 ที่แท็บ “โมเดลภาษาขนาดใหญ่” เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับ LLAMA2-7B , LLAMA2-13B & GPT3-175B ณ วันที่ 28 มีนาคม 2024 ผลลัพธ์อาจแตกต่างกันไป
2การเปรียบเทียบ NV H100 อ้างอิงจาก https://nvidia.github.io/TensorRT-LLM/Performance.html#h100-gpus-fp8 วันที่ 28 มี.ค. 2024 ตัวเลขที่รายงานเป็นข้อมูลต่อ GPU เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับการฉายภาพ LLAMA2-7B, LLAMA2-70B และ Falcon 180B ผลลัพธ์อาจแตกต่างกันไป
3 การเปรียบเทียบ NV อิงตาม https://nvidia.github.io/TensorRT-LLM/Performance.html#h100-gpus-fp8 วันที่ 28 มีนาคม 2024 ตัวเลขที่รายงานเป็นต่อ GPU เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับ LLAMA2-7B, LLAMA2-70B และ Falcon 180B ประสิทธิภาพการใช้พลังงานสำหรับทั้ง Nvidia และ Gaudi 3 ตามการประมาณการภายใน ผลลัพธ์อาจแตกต่างกันไป
4การเปรียบเทียบ NV H200 อิงตาม https://nvidia.github.io/TensorRT-LLM/Performance.html#h100-gpus-fp8 วันที่ 28 มี.ค. 2024 ตัวเลขที่รายงานเป็นต่อ GPU เทียบกับการฉายภาพ Intel® Gaudi® 3 สำหรับ LLAMA2- การคาดการณ์ 7B, LLAMA2-70B และ Falcon 180B ผลลัพธ์อาจแตกต่างกันไป
