전체 (31) Large Video Processing using Kubernetes Problem 300시간의 비디오 속 모든 인물 비식별화 처리 모든 frame에 대해 처리 Multi-Process ZMQ(ZeroMQ) 사용하여 통신 GPU 2개가 달린 서버 4 프로세스 한계 (GPU 당 2 프로세스) 20개 영상(총 1시간) 전처리 -> 10시간 반 소모 단순 계산으로 300시간 영상 전처리 -> 약 3000시간(125일) 소모 Deadline: 약 2주 Solving Kubernetes 서버 사용 여러개의 GPU 달린 서버 Service, Job을 이용하여 Master, Worker 구현 Master: 남은 일 체크 및 일 분배 Worker: 받은 일 처리 완료 후 일 요청 Master Flask를 사용하여 일 분배하는 master service를 구현 # run.py @app.r.. [Toy] MLOps Toy 프로젝트 소개 클러스터 환경의 서버를 이용한 모델 학습을 하기 위해 쿠버네티스(Kubernetes)와 쿠버플로우(Kubeflow)를 처음 접하게 되었다. 컴퓨터 네트워크라는 분야에 매우 약하기 때문에 공부하기가 쉽지 않았다. 하지만 찾아볼 수록 너무 매력적인 이야기들이고, MLOps라는 분야에 대해 큰 관심이 생겼다. 그러던 와중 회사일로 인해 CI/CD를 경험해보며 MLOps에 더욱 빠져들었다. 어떤 것이든지 직접 해봐야 공부가 되는 성격이라 local 부터 배포까지 전 MLOps 과정을 구축해보았다. Project 서버 사양이나 속도면을 고려했을 때, 딥러닝에서 “Hello World”로 알려진 Mnist 데이터셋을 사용한 프로젝트를 기획하였다. 하지만 절대 간단하지 않도록 여러 상황을 가정하고, 제약을 두어서 진.. [ECCV2020] - VIPriors Workshop Challenge(Image Classification) 3rd 후기 ECCV2020의 VIPriors Workshop에서 개최한 VIPriors Challenge에 참가하였다. VIPriors Workshop 이란 “1st Visual Inductive Priors for Data-Efficient Deep Learning Workshop” 로, 성능을 높이기 위해 Data를 효과적으로 사용하는 방법에 대해 다룬다. URL 1st Visual Inductive Priors for Data-Efficient Deep Learning Workshop ECCV 202023 August 2020, ONLINE vipriors.github.io 이 Workshop에는 총 4가지 태스크로 Challenge가 진행되었다. Image Classfication (ImageNet) Sem.. 이전 1 ··· 4 5 6 7 8 9 10 11 다음 목록 더보기
