Scale Machine Learning System

Triển khai mô hình trí tuệ nhân tạo trên sản phẩm thực tế

Lớp học dành cho kỹ sư AI đã có kiến thức học máy/học sâu nền tảng, muốn triển khai những mô hình mình xây dựng trên sản phẩm, phục vụ nhiều người dùng.

Nắm chắc được kiến trúc CPUs/GPUs/TPUs

Từ đó có thể đưa ra những quyết định đào tạo/ dự đoán một cách phù hợp

CPU

Lượng tử hóa/tỉa/nén mô hình

Giảm kích cỡ mô hình nhưng vẫn giữ độ chính xác tốt

500 MB

250 MB

Đào tạo phân tán (Distributed Training)

Đào tạo mô hình trên nhiều máy khác nhau sau đó tổng hợp kết quả

Team ProtonX sử dụng 8GPU A6000 để train 5 triệu câu Tiếng Việt đầy đủ dấu cho trình soạn thảo thông minh ra mắt 4-8-2022. Mục tiêu là model có khả năng sinh dấu tốt nhằm hỗ trợ người dùng soạn thảo văn bản tốt hơn.

Với việc tăng GPU, thời gian training sẽ scale tỉ lệ nghịch, từ 1GPU mất 2 tiếng thì 8GPU với 15 phút, đây cũng là một lý do team chọn cơ chế train để có thể ước lượng được quá trình training khi cần đẩy nhanh tiến độ. Và như nếu bạn biết thời gian training/epoch rất quan trọng để có thể đưa ra những finetune nhanh và phù hợp.

Đầu vào: Học trí tuệ nhân tạo vừa khó
Mô hình sinh thêm: vừa dễ. Dễ là vì trí tuệ nhân tạo

Triển khai mô hình trên máy chủ vật lý

Rất nhiều công cụ bạn cần phải nắm được để đưa mô hình của bạn trực tuyến phục vụ người dùng

Restful API

Học cách trao đổi giao tiếp với máy chủ đề thu thập dữ liệu

MongoDB

Hiểu được cách hoạt động của một trong những cơ sở dữ liệu phi cấu trúc mạnh mẽ nhất

Docker

Công cụ đóng gói mô hình để triển khai hiệu quả trên các mô hình vật lý

Flask

Web Framework giúp bạn trao đổi dữ liệu để đưa mô hình dự đoán

Trọn bộ Google Cloud cho học máy

Kỹ năng sử dụng Cloud để Scale mô hình AI

Xây dựng training Pipeline với DVC + Github

Tự động hóa quá trình training, viết các script automation ở các công đoạn

Điều đặc biệt đây chính là quy trình team ProtonX thiết kế cho sản phẩm AI thực tế của mình có tên gọi là Smart Editor. Rất nhiều kỹ năng bạn có thể học được từ hệ thống này.