MLOps (19) [Toy] CT using Kubeflow pipelines - 1 이 포스팅에는 위의 CT 단계에 관련된 내용을 담고 있다. CT는 Kubeflow의 pipelines(url)을 통해 구현하였다. kubeflow pipelines은 kubeflow 의 여러 기능 중 하나로, end-to-end ML 워크플로우를 만들고, 배포할 수 있는 가장 중요한 기능이다. 특히 python SDK (url)가 매우 잘되어있어서, 사용하기가 쉽다. 사용법은 Doc을 통해 익힐 수 있다. CT 파이프라인을 구현하면서 배포 과정(KFServing) 개발중 버전 문제로 가장 애먹었다. 여러 시행착오 끝에 microk8s로 설치된 Kubeflow v1.2 를 선택하였고, KFServing 대신 Kubernetes Client Python SDK를(Github) 이용한 TorchServe를 통.. [Toy] CI/CD using Github Action 이 포스팅에는 위의 CI - CD 단계에 관련된 내용을 담고 있다. Github Action 이 프로젝트는 Gtihub을 통해 관리 되었으며, Jenkins를 사용하여 CI/CD를 구축 하려다가 평소에 써보고 싶었던 Github Action을 사용하기로 결정하였다. 깃헙 메뉴의 Actions을 통해 이를 설정할 수 있다. 각 Workflows는 YML 파일을 통해 관리가 가능하며, 이 프로젝트에서는 CI, CD 두 workflow을 설정하였다. CI on: push: branches: [ main ] pull_request: branches: [ main ] CI workflow는 main brunch 로 push가 될 때 발생하는 workflow 이다. 위 코드부분과 같이 on으로 설정할 수 있다. p.. [Toy] MLOps System Design System Design ml-system-design-pattern와 MLOps를 참고하여 이 프로젝트의 전체 시스템을 설계하였다. 설계하면서 가장 중점에 둔 것은 CT pipelines 이다. 일반적인 DevOps와 달리 MLOps는 CT라는 과정을 거쳐야한다. 이에 다섯가지 필수 구성요소를 집어넣었다. URL Prepare & Integrate Data data extraction data validation Data Preparation(data transforms) Feature Engineering train data test data Model Training & Model Evaluation model train model evaluate model validation model analy.. 이전 1 2 3 4 5 6 7 다음
