본문 바로가기




전체

(31)
Kubeflow - Pipelines 소개 - 2 본 포스팅은 머신러닝 비영리단체 pseudo-lab 활동 중 빌더(스터디장)로 참가한 "kubeflow 발만 담가보기" 스터디 발표 내용을 담고 있다. 가짜연구소(Pseudo Lab) 가짜연구소는 진짜 연구소는 아니지만 머신러닝 연구를 중심으로 모인 커뮤니티입니다. 오픈(open)의 가치를 추구하는 좋은 영향력을 끼칠 수 있는 그룹을 만들고자 합니다! pseudo-lab.com Python SDK(kfp) kfp는 kubeflow pipelines을 개발할 수 있도록 해주는 Python SDK이며, 이를 통해 파이프라인 구성, 각 step 마다 실행되는 이미지 등을 설정 할 수 있다. Docs에서 여러 api를 확인 가능하다. Welcome to Kubeflow Pipelines SDK API refer..
Kubeflow - Pipelines 소개 - 1 본 포스팅은 머신러닝 비영리단체 pseudo-lab 활동 중 빌더(스터디장)로 참가한 "kubeflow 발만 담가보기" 스터디 발표 내용을 담고 있다. 가짜연구소(Pseudo Lab) 가짜연구소는 진짜 연구소는 아니지만 머신러닝 연구를 중심으로 모인 커뮤니티입니다. 오픈(open)의 가치를 추구하는 좋은 영향력을 끼칠 수 있는 그룹을 만들고자 합니다! pseudo-lab.com ML pipelines "DevOps"가 유행하면서, CI/CD 파이프라인 적용되는 사례가 많아졌다. 구글에 "DevOps CI/CD" 만 검색해도 여러 블로그에서 개념과 튜토리얼에 대해 기술하고 있는 것을 알 수 있다. 또한 여기에 CT(지속적 학습) 파이프라인 까지 적용한 "MLOps"가 새로운 블루오션이 되었다. MLOps는..
[Toy] Trigger using Slack 이번 포스팅은 위 Logging & Trigger 중 Slack을 이용한 trigger 개발에 대한 내용이 담겨있다. Trigger CT(Contcontinuous Training), 즉 지속적인 학습을 위해서는 "학습 후 배포"에서 끝나는게 아니라, "학습 후 배포 후 재학습" 과정이 있어야한다. kubeflow Trigger 기능을 사용하여 정기적인 학습을 진행해도 된다. 하지만 "새로운 데이터 수급", "성능 저하" 등을 꾸준히 Monitor 한 후 Slack으로 학습 여부를 결정하면, 더욱 필요한 시점에 자원 낭비 없이 CT를 수행할 수 있다. Run Trigger Conceptual overview of run triggers in Kubeflow Pipelines www.kubeflow.org..