Teknogav.com - Masalah yang biasa dihadapi dalam machine learning (ML) adalah tak adanya CI/CD, biasanya orang berusaha membuat sendiri layanan ini. CI/CD adalah Continuous integration (CI) dan continuous delivery (CD) yang menerapkan serangkaian prinsip operasi dan kumpulan praktik. Implementasi pipeline CI/CD ini memungkinkan tim pengembangan aplikasi untuk melakukan perubahan kode pemrograman lebih sering dan bisa diandalkan. Nah, kini AWS menghadirkan Amazon SageMaker Pipelines.

Amazon SageMaker Pipelines merupakan kemampuan dari Amazon SageMaker untuk membangun, mengelola, otomasi dan menskalakan alurkerja ML dari hulu ke hilir. Otomasi dan orkestrasi pada alurkerja ML memungkinkan untuk mempercepat proyek ML dan meningkatkan sampai ribuan model dalam produksi.

Membuat, mengelola dan menggunakan ulang alurkerja Machine Learning

Alurkerja ML bisa dibuat dengan mudah memakai Amazon SageMaker Pipelines dengan Python SDK yang mudah digunakan. Setiap langkah untuk alurkerja ML dari hulu ke hilir dapat ditentukan. Tersedia juga template alurkerja yang bisa dikustom dan sudah di-pra-konfigurasi. Setiap langkah dalam eksperimen SageMaker pun ada catatannya. Kemudian alurkerja yang sudah jadi dapat dibagi dan digunakan ulang. 

Baca juga: Amazon SageMaker Data Wrangler, Tercepat Siapkan Data untuk ML 

Semua langkah kerja tersebut pun bisa diotomatisasi, mulai dari persiapan data menggunakan Amazon SageMaker Data Wrangler. Lalu memindahkan data dari Data Wrangler ke Feature Store, sampai ke pelatihan, sampai ke penyesuaian. Semua dapat dilakukan secara otomatis menggunakan Pipelines. 

ML merupakan proses iteratif dan membutuhkan kolaborasi lintas pemangku kepentingan, seperti engineer, ilmuwan data, engineer ML dan engineer DevOps. Membangun proses yang bisa disesuaikan ukurannya untuk membangun model merupakan suatu tantangan. Hal ini karena besarnya jumlah langkah-langkah pada persiapan data, feature engineering, melatih dan mengevaluasi model. Besarnya jumlah tersebut meningkatkan kerumitan dalan mengelola ketergantungan data. 

Seiring dengan peningkatan jumlah model, maka mengelola versi model dan menerapkannya dalam produksi membutuhkan otonasi yang mudah dan bisa diskalakan. Pada akhirnya, melacak runutan pipeline dari hulu ke hilir membutuhkan alat kustom untuk melacak data dan artifak model, serta tindakannya.

Baca juga: Amazon SageMaker Feature Store, Jaga Konsistensi dan Pembaruan Fitur ML

Amazon SageMaker Pipelines memungkinkan tim engineering dan ilmuwan data untuk berkolaborasi secara mulus dalam proyek ML. Pembuatan, otomasi dan penskalaan alurkerja Ml pun bisa dipersingkat. Amazon SageMaker SDK mempermudah untuk membagun pipeline model dengan menentukan parameter dan langkah-langkah. Parameter tersebut termasuk Amazon SageMaker Data Wrangler, pemrosesan, pelatihan, transformasi batch, evaluasi kondisional, dan mendaftarkan model ke registry model pusat. 

Ketika pipeline sudah dibangun, Amazon SageMaker menjaga eksekusi pipeline tersebut. Tampilan dari setiap eksekusi pipeline, metrik real-time dan setiap lanagkah pun bisa dilihat pada Amazon SageMaker Studio. Model didaftarkan pada registry model Amazon SageMaker baru yang secara otomatis mmbuat model versi baru yang dihasilkan dari pipeline. Amazon SageMaker juga menawarkan alurkerja persetujuan built-in untuk memilih model yang diterapkan pada produksi.

Baca juga: AWS Paparkan Contoh-contoh Penerapan Machine Learning Pada Transformasi Digital 

Praktik terbaik dari CI/CD yang diterapkan pada ML yang juga dikenal sebagai MLOps ditawarkan oleh Amazon SageMaker Pipelines. Layanan ini akan mengotomatisasi dan menskalakan pembuatan model ML dan penerapan pipelines. Template-template MLOps juga disediakan oleh Amazon SageMaker Pipelines sehingga ML Projects bisa dilakukan dengan CI/CD. Selain itu bisa juga kemampuan untuk menggunakan template MLOps kustom. Hasilnya adalah ML Pipelines dapat dengan mudah dan cepat diskalakan tanpa mengandalkan proses manual.

MLOps juga menjamin konsistensi kode pemrograman yang lebih baik, integrasi dan pengujian unit. Pembaruan model pun bisa diandalkan dalam produksi. Runutan setiap langkah pada pipeline ML pun bisa dilacak otomatis menggunakan Amazon SageMaker Pipelines. Hal ini akan membantu segala penataan dan persyaratan audit, tanpa perlu membangun alat kustom apa pun.

Baca juga: AWS Ungkap Pencapaian Tahun 2020 dan 8 Tips Kunci Reinvent 

Saat ini Amazon SageMaker Pipelines tersedia secara umum di berbagai wilayah yang ada ketersediaan Amazon SageMaker. Sementara ketersediaan kemampuan MLOPS dari Amazon SageMaker Pipelines hanya tersedia di AWS Regions tempat AWS CodePipeline juga tersedia.