Habana Gaudi dan AWS Trainium, Prosesor Pelatih Model ML Andalan

Teknogav.com – Pada ajang AWS re:Invent, Andy Jassy, CEO AWS menjelaskan berbagai layanan yang ditawarkan AWS dalam hal komputasi. Penawaran yang diberikan AWS dalam komputasi awan (cloud) terdiri dari tiga mode utama, yaitu instance, container dan serverless. Ketiga mode tersebut akan terus hadir dalam jangka waktu lama dan terus diperbarui setiap bulan. AWS bekerja sama dengan para pembuat chip untuk daapt menyediakan instance dengan kinerja dan harga yang terbaik. Beberapa prosesor tersebut mencakup Graviton, Habana Gaudi dan AWS Trainium.Komputasi awan atau cloud computing terdiri dari tiga mode utama, yaitu sebagai berikut:

Instance: yaitu cara tradisional untuk melakukan komputasi. Biasanya digunakan bagi yang ingin menggunakan seluruh sumber daya dalam satu kotak untuk membuat aplikasi.
Kontainer, yaitu bagian lebih kecil yang digunakan untuk membuat micro services agar bisa bergerak lebih cepat dan portabel.
Serverless yang digunakan jika tak ingin khawatir mengenai server dan klaster sama sekali.

Contoh instance adalah Amazon Elastic Compute Cloud (Amazon EC2). Amazon EC2 merupakan layanan web dengan keamanan, kapasitas komputasi yang bisa disesuaikan ukurannya di cloud. Layanan ini dirancang untuk memudahkan komputasi awan berskala web lebih mudah bagi developer. Antarmuka layanan ini memungkinkan untuk mendapatkan dan mengkonfigurasi kapasitas dengan friksi minimal. Layanan ini memberikan pengendalian lengkap pada sumber daya-sumber daya komputasi dan menjalankannya pada lingkungan komputasi Amazon. Layanan Amazon EC2 merupakan yang paling tangguh dan hemat biaya di cloud. Berikut ini adalah keunggulan Amazon EC2:

Jaringan tercepat dengan instance P4d (400 Gbps)
Instance untuk SAP dengan memori tinggi terbesar (24 TB)
Fitur baru Instance dengan D3en yang memiliki media penyimpanan lokal terbesar (336 TB)
Instance dengan P4d yang mempunyai pelatihan machine learning (ML) paling tangguh
Instance dengan Inf1 yang mempunyai inference ML tertangguh
Harga/kinerja terbaik untuk beban kerja grafis intensif dengan G4ad (segera hadir)
Fitur baru: satu-satunya penyedia cloud dengan instance macOS on-demand
Satu-satunya penyedia cloud yang mendukung prosesor Intel, AMD dan Arm

Inovasi AWS

AWS dapat melakukan inovasi pada layanan-layanannya dengan cepat karena melakukan reinvent pada virtualisasi menggunakan Nitro. Selama lima tahun AWS membangun kembali lapisan virtualisasi pada platform komputasinya yang diluncurkan pada tahun 2017. AWS melakukan virtualisasi keamanan, jaringan, dan storage pada server utama untuk ditempatkan pada chip Nitro. Pelanggan akan mendapatkan seluruh CPU pada instance dengan harga lebih murah. Kinerja yang diberikan instance ini tak berbeda dengan yang disediakan bare metal. Keamanan yang diberikan pun lebih kuat karena ketika melakukan trouble shooting tidak perlu khawatir ada yang melakukan sesuatu pada server utama. Kini keamanan terpisah pada chip Nitro.

Banyaknya chip Nitro yang terpisah memungkinkan AWS untuk tak perlu melakukan perubahan pada setiap hal yang berbeda. AWS pun memiliki waktu untuk berinovasi dengan lebih cepat. Instance pun tak perlu menunggu 1-2 tahun untuk mendapat pembaruan, tetapi hitungan bulan. Alasan kedua mengapa AWS cepat berinovasi adalah karena hubungan dengan Intel dan AMD. Kendati demikian, AWS juga mengembangkan chip sendiri, yaitu Graviton.

Instance dengan Graviton

Prosesor AWS Graviton menggunakan 64-bit Arm Neoverse untuk memberikan kinerja dengan harga terbaik bagi beban kerja cloud di Amazon EC2. Kini AWS menghadirkan Graviton2 yang merupakan prosesor generasi kedua dari AWS. Harga/kinerja prosesor ini 40% lebih baik untuk seluruh beban kerja.

M6g dan T4g memiliki kinerja harga terbaik untuk beban kerja penggunaan umum. Penggunaan M6g cocok untuk server aplikasi, penyimpanan data berukuran sedang, microservices dan cluster computing. Sedangkan T4g dibangun untuk beban kerja yang bisa melonjak dengan rentang luas, contohnya. Penggunaan T4g ini cocok untuk microservices berskala besar, database kecil dan sedang, desktop virtual dan aplikasi kritis bisnis. Pelanggan yang sudah menggunakan layanan AWS ini mencakup Nielsen, Netflix, Snap, Lyft.

Pengoptimalan memori pada R6g membuatnya cocok digunakan untuk beban kerja yang memperoses serangkaian data besar di memori. Beban kerja ini mencakup data base open-source seperti MySQL, MariaDB, dan PostgreSQL. Selain itu cocok juga untuk cache in-memory seperti Redis, KeyDB dan Memcached. Sedangkan C6g mengoptimalkan komputasi untuk beban kerja yang membutuhkan komputasi intensif. Beban kerja ini mencakup komputasi berkinerja tinggi, video encoding, gaming dan percepatan inference ML berbasis CPU. AWS juga akan segera menghadirkan instance C6gn yang meningkatkan jaringan dalam beberapa minggu ini. Instance ini dapat memberikan kecepatan sampai 100 Gbps.

Instance dengan Habana Gaudi

Solusi lain yang disediakan AWS adalah machine learning (ML) dengan AWS Inferentia. ML berkaitan dengan pelatihan, karena memang masih dalam tahap awal machine learning. Jadi banyak yang masih membuat model untuk dilatih. Dalam melatih ML membutuhkan banyak usaha. Jika memiliki model dengan ukuran besar seperti Alexa yang harus dilatih secara periodik, maka prediksi dan inference dapat dipercepat dalam jutaan per jam. Ternyata 90% biaya bukan untuk pelatihan tetapi di prediksi dan inference. Tidak ada yang fokus untuk memberikan penghematan pada pelanggan, maka AWS pun membuat chip AWS Inferentia. Jumlah pengguna AWS Inferentia pun begitu banyak.

Alexa telah memindahkan 80% prediksi ke AWS Inferentia, sehingga menghemat 30% biaya inference dan menurunkan latensi 25% dibandingkan chip sebelumnya. AWS fokus pada pada pelatihan machine learning. Seiring dengan dibutuhkannya cara lebih efektif untuk melatih model machine learning, AWS menawarkan instance Amazon EC2 berbasis Habana Gaudi. Solusi ini merupakan hasil kerja sama antara AWS dengan Intel. Instance ini dibangun khusus untuk pelatihan Machine Learning menggunakan prosesor Habana Gaudi buatan Intel.

Jika dibandingkan dengan instance pelatihan ML berbasis GPU saat ini, maka harga/kinerja instance dengan Habana Gaudi ini 40% lebih baik. Instance ini dapat bekerja dengan berbagai framework ML seperti PyTorch dan TensorFlow.

Instance berbasis AWS Trainium

AWS pun membuat chip sendiri untuk melatih ML dengan biaya paling efektif untuk melatih di cloud. Pelatihan ML akan lebih hemat lagi jika dibandingkan Habana Gaudi. Berikut ini adalah kelebihan dari AWS Trainium:

Jumlah teraflop paling banyak jika dibandinkan instance ML lain di cloud
Mendukung TensorFlow, PyTorch dan MXNet
Penggunaan SDK Neuron yang sama seperti yang digunakan oleh pelanggan Inferentia
Tersedia sebagai instance EC2 atau pada Amazon SageMaker

Instance dengan Habana Gaudi dan AWS Trainium akan tersedia pada semester kedua tahun 2021.