Teknogav.com – VMware dan NVIDIA meningkatkan kemitraan strategis untuk menyediakan solusi inovatif bagi perusahaan pengguna infrastruktur Cloud VMware di era AI Generatif. NVIDIA mendukung solusi VMware Private AI Foundation yang memungkinkan perusahaan memanfaatkan potensi AI generatif dengan adaptasi model dan menjalankan aplikasi. Beberapa penerapan solusi tersebut mencakup chatbot cerdas, asisten, pencarian dan peringkasan. Solusi ini akan ditawarkan sebagai solusi terintegrasi yang memadukan perangkat lunak AI generatif dengan komputasi terakselerasi dari NVIDIA. Pengembangan solusi terintegrasi dilandasi VMware Cloud Foundation dan dioptimalkan khusus untuk aplikasi AI.

"Penggabungan AI Generatif dan multi-cloud merupakan langkah yang sempurna. Data pelanggan tersebar di berbagai tempat, di data center, edge, hingga cloud. Bersama NVIDIA, kami memberdayakan perusahaan untuk dapat menjalankan beban kerja AI generatif mereka tanpa rasa khawatir. Pemberdayaan ini sambil tetap memprioritaskan isu privasi, keamanan, dan pengendalian data perusahaan mereka,” ucap Raghu Raghuram, CEO VMware.

Manfaat kolaborasi VMware dan NVIDIA juga disampaikan Jensen Huang, founder dan CEO NVIDIA. Menurutnya, solusi perangkat lunak dan komputasi yang dibutuhkan ratusan ribu pelanggan dari berbagai sektor dapat disediakan oleh kolaborasi tersebut.

Baca juga: VMware Gandeng NVIDIA Kembangkan Next-Gen Hybrid Cloud dan AI

"Saat ini, perusahaan-perusahaan tengah berlomba untuk mengintegrasikan AI generatif ke dalam bisnis mereka. Peningkatan kolaborasi dengan VMware akan menghadirkan solusi perangkat lunak dan komputasi yang diperlukan oleh ratusan ribu pelanggan dari berbagai sektor. Berbagai sektor tersebut mencakup layanan keuangan, perawatan kesehatan, dan manufaktur. Aplikasi yang dikembangkan dengan data internal perusahaan masing-masing dapat membuka potensi AI generatif,” ucap Jensen Huang.

Peningkatan AI Generatif dengan Full-Stack Computing

Saat ini, perusahaan terus berusaha meningkatkan efisiensi proses pengembangan, pengujian dan penerapan aplikasi AI generatif demi mempercepat pencapaian keuntungan bisnis. Berdasarkan data McKinsey, diperkirakan penggunaan AI generatif menyumbang sampai USD4,4 triliun setiap tahun di ekonomi global. 

Perusahaan dapat memanfaatkan solusi VMware Private AI Foundation yang didukung NVIDIA untuk melakukan beberapa hal berikut ini:

• kustomisasi large language model (LLM)
• produksi model yang lebih aman dan privat untuk penggunaan internal
• menawarkan AI generatif sebagai layanan kepada penggunanya
• menjalankan beban kerja inferensi dalam skala besar dengan lebih aman

Baca juga: Accenture Technology Vision 2023 Ungkap 4 Tren Teknologi Utama Ini 

AI terintegrasi merupakan salah satu fitur utama pada platform tersebut. Fitur ini memungkinkan untuk menjalankan model yang telah dilatih menggunakank data pribadi perusahaan dengan biaya lebih hemat. Berikut ini adalah beberapa manfaat teknologi yang dibangun pada perangkat lunak VMware Cloud Foundation dan NVIDIA AI Enterprise:

• Menjaga privasi data dan memastikan akses yang aman saat menjalankan layanan AI dengan mudah di berbagai lokasi data ditempatkan
• Fleksibilitas dalam membangun dan menjalankan model dengan berbagai pilihan mulai dari NVIDIA NeMo™ sampai Llama 2 dan sesudahnya. Pilihan tersebut termasuk konfigurasi perangkat keras dari peneydia OEM, ke depannya juga dapat memilih cloud publik dan penawaran penyedia layanan
• Kinerja yang superior dengan infrastruktur yang dipercepat dari NVIDIA, bahkan pada beberapa kasus melebihi bare metal
• Peningkatan beban kerja AI sampai 16 vGPU/GPU dalam satu mesin virtual dan beberapa node. Hal ini dimungkinkan oleh GPU scaling dalam lingkungan tervirtualisasi. Kemampuan tersebut dapat mempercepat penyempurnaan dan penerapan model AI generatif
• Biaya operasional keseluruhan dapat dikurangi dengan pemaksimalan pemanfaatan seluruh sumber daya komputasi, termasuk GPU, DPU dan CPU.
• Penyimpanan terakselerasi berupa penyimpanan NVMe yang kinerjanya dioptimalkan dan dukungan penyimpanan GPUDirect® melalui RDMA disediakan VMware vSAN Express Storage Architecture. Arsitektur tersebut memungkinkan transfer I/O langsung dari penyimpanan ke GPU tanpa melibatkan CPU.
• Jaringan terakselerasi dengan teknologi vSphere dan NVIDIA NV Switch™ terintegrasi yang dapat meluncurkan model multi-GPU yang lancar antar-GPU.
• Deployment dan Time to Value Cepat dengan membuatan purwarupa yang cepat menggunakan vSphere Deep Learning VM Images dan repositori image. Pengoptimalan kerangka kerja dan pustaka dapat dilakukan sesuai kinerja yang sudah dipasang sebelumnya.

Perusahaan juga mudah membangun, menyesuaikan dan menerapkan model AI generatif secara virtual menggunakan fitur NVIDIA NeMo pada platform. Fitur ini merupakan kerangka kerja cloud-native dari hulu ke hilir yang terintegrasi dalam NVIDIA AI Enterprise, sistem operasi dari NVIDIA AI Platform. Perusahaan dapat mengadopsi AI generatif dengan cepat, mudah dan hemat biaya dengan NeMo. Hal ini dilakukan NeMo dengan menggabungkan kerangka kustomisasi, toolkit Guardrail, alat kurasi data, dan model terlatih.

TensorRT for Large Language Models (TRT-LLM) digunakan NeMo untuk menerapkan AI Generatif dalam produksi. TRT-LLM ini mempercepat dan mengoptimalkan kinerja inferensi pada LLM terbaru di GPU NVIDIA. Peusahaan-perusahaan dapat memanfaatkan data sendiri dalam membangun dan menjalankan model AI generatif khusus pada infrastruktur cloud hybrid VMware dengan NeMo. 

Demonstrasi cara pengembang memanfaatkan NVIDIA AI Workbench dilakukan NVIDIA dan VMware di VMware Explore 2023. Pada demonstrasi tersebut model komunitas seperti Llama 2 yang tersedia di Hugging Face diambil dan kustomisasi dilakukan secara jarak jauh. Kemudian AI generatif berskala produksi pun diluncurkan dalam lingkungan VMware.

Baca juga: Accenture VMware Business Group Siap Percepat Perusahaan Transisi ke Cloud

Dukungan Ekosistem Luas untuk VMware Private AI Foundation Dengan NVIDIA

VMware Private AI Foundation with NVIDIA akan didukung oleh Dell Technologies, Hewlett Packard Enterprise, dan Lenovo. Perusahaan-perusahaan tersebut merupakan pelopor dalam menawarkan sistem yang meningkatkan beban kerja penyesuaian dan inferensi LLM perusahaan. Berikut ini adalah dukungan untuk sistem yang ditawarkan:

• GPU NVIDIA L40S memungkinkan kinerja inferensi AI generatif hingga 1,2x lebih baik dibandingkan menggunakan dibandingkan dengan GPU NVIDIA A100 Tensor Core. Sementara itu, kinerja pelatihan bisa sampai 1,7x lebih baik dibandingkan dengan GPU NVIDIA A100 Tensor Core.
• DPU NVIDIA BlueField-3 mempercepat, meng-offload, serta mengisolasi beban komputasi yang sangat besar dari virtualisasi, jaringan, penyimpanan, keamanan, dan layanan AI cloud-native lainnya dari GPU atau CPU.
• NVIDIA ConnectX-7 SmartNIC menghadirkan jaringan yang cerdas dan dipercepat untuk infrastruktur pusat data. Hal ini dapat meningkatkan beberapa beban kerja AI dengan tuntutan tinggi.

Pengembangan VMware Private AI Foundation with NVIDIA dilandasi oleh kemitraan yang telah berlangsung selama satu dekade. Co-engineering tersebut mengoptimalkan infrastruktur cloud VMware untuk menjalankan NVIDIA AI Enterprise dengan kinerja yang sebanding dengan bare metal. Keberhasilan kerja sama ini juga memungkinkan pengguna mengelola sumber daya dan infrastruktur secara lebih efektif melalui VMware Cloud Foundation. Rencananya, VMware akan meluncurkan VMware Private AI Foundation with NVIDIA pada awal tahun 2024.