티스토리

BYEONGJO's BLOG

검색하기

블로그 홈

BYEONGJO's BLOG

byeongjo-kim.tistory.com/m

byeongjo.kim 님의 블로그입니다.

구독자: 4

방명록 방문하기

주요 글 목록

Knowledge Distillation을 이용한 딥러닝 모델 경량화 파이프라인 구축 본 포스팅은 곧 서비스화될 썸네일 생성 서비스에 사용된 Salient Object Detection 딥러닝 모델 경량화 파이프라인에 대해 설명한다. 여러 내용 및 저의 생각은 정답이 아닐 수 있으니, 비판적인 시각으로 바라봐주시고 틀린 내용 지적은 환영합니다. Online Prediction Online prediction은 ML 모델에 실시간 예측을 요청하는 프로세스이다. 실시간으로 이루어져야하는 서비스인 만큼, Batch Prediction 보다 inference time이 중요하다. 하지만, Inference time은 모델의 성능과 trade off가 있다. CNN을 예를 들면 다음과 같다. 위 표는 동일한 GPU, input size를 사용했을때의 비교를 담고있다. ResNet의 Layer가 깊.. 공감수 2 댓글수 0 2021. 7. 17.
코드로 이해하는 Swin Transformer 리뷰 microsoft에서 고안한 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 논문에 대한 내용을 담고 있다. 본 논문만으로는 한번에 이해 안되는 부분이 몇몇 존재 했다. (예를들어 각 윈도우 내에서의 Self-attention 결과를 어떻게 다음 단계로 넘겨주는지?) 따라서 오피셜 코드를 살펴볼 수 밖에 없었고, 논문의 이해를 돕기위한 코드에 대한 설명을 포스팅으로 공유하고자 한다. Paper, Official Github microsoft/Swin-Transformer This is an official implementation for "Swin Transformer: Hierarchical Vision Transform.. 공감수 24 댓글수 0 2021. 6. 5.
Kubernetes에 EFK 설치 및 튜토리얼 이전 MLOps Toy 프로젝트를 진행할 때 자원 문제로 인해 EFK 및 Prometheus를 적용하지 못하였다. 이에 간단한 Flask의 log를 시각화하는 EFK를 적용해보고자 한다. EFK란? EFK stack은 Elasticsearch, Fluentd 그리고 Kibana 세개의 플랫폼 조합을 뜻하며, 클러스터 환경에서 로그를 수집, 검색 그리고 시각화를 가능하게 한다. 이번 포스팅에서는 각 플랫폼의 작동 원리나 자세한 기능까지 얘기하지 않고, 간단한 튜토리얼을 통해 쉽게 설치하는 내용을 담았다. 위의 그림을 보면 알 수 있듯이, 각 클러스터에 fluentd가 daemonset으로 log를 수집한다. elasticsearch는 fluentd가 수집한 로그를 저장하고, 요청에 따라 검색을 한다. 마지.. 공감수 6 댓글수 0 2021. 5. 27.
Deep Learning GPU 성능 최적화 전략 GPU를 이용하여 학습을 하다보면 GPU가 과연 일을 잘하고 있을까?에 대한 의문이 들때가 많을 것이다. 보통 nvidia-smi를 통해 확인한 GPU 메모리 사용량(Memory-Usage)이 어느정도 찼으면, 일 열심히 하겠구나 싶다. 하지만 사실 GPU의 작업 성능은 GPU-Util 로 확인 가능하다. GPU-Util 은 nvidia docs에서 확인할 수 있듯이, 지난 1에서 1/6초 동안의 GPU 활용률을 뜻한다. Useful nvidia-smi Queries | NVIDIA When adding additional parameters to a query, ensure that no spaces are added between the queries options. nvidia.custhelp.co.. 공감수 6 댓글수 0 2021. 5. 16.
TorchScript? torch.jit.script 에러 유형 및 해결 방법 TorchScript란? TorchScript is a way to create serializable and optimizable models from PyTorch code. Any TorchScript program can be saved from a Python process and loaded in a process where there is no Python dependency. TorchScript — PyTorch 1.8.1 documentation TorchScript TorchScript is a way to create serializable and optimizable models from PyTorch code. Any TorchScript program can be saved f.. 공감수 11 댓글수 0 2021. 5. 1.
[PyTorch] .detach().cpu().numpy()와 .cpu().data.numpy() ? PyTorch를 사용하다보면, Module을 통해 나온 Tensor을 후처리에 사용하거나, 계산된 loss Tensor을 logging 하는 일이 많다. for i, data in enumerate(dataloader): # 생략 embeddings = model(images) # total_embeddings에 embeddings append # total_embeddings.append(embeddings) ??? 이때 embeddings는 GPU에 올라가있는 Tensor 이기 때문에 numpy 혹은 list로의 변환이 필요하다. 오픈소스를 보면 detach(), cpu(), data, numpy(), tolist() 등을 조합해서 변환을 한다. 하지만 stackoverflow나 pytorch dis.. 공감수 14 댓글수 0 2021. 4. 28.
NVIDIA APEX가 빠른 이유 (ft. FP16 vs FP32) 이번 포스팅은 CVML의 APEX 포스팅을 구경 중 FP16이 성능향상을 내는 방법이 궁금해서 찾아보며 적은 글이다. NVIDIA APEX GPU를 업그레이드 하지 않고 batch size를 늘릴 수 있는 방법이 있다. 바로 NVIDIA APEX를 사용하면 된다. NVIDIA에서 만든 "A Pytorch EXtension"라는 패키지로 크게 mixed precision training과 distributed training 기능이 있다. NVIDIA/apex A PyTorch Extension: Tools for easy mixed precision and distributed training in Pytorch - NVIDIA/apex github.com mixed precision training에 .. 공감수 0 댓글수 0 2021. 4. 22.
Python - native coroutine 코루틴이란? - 실행의 지연과 재개를 허용 함으로써, non-preemptive(비 선점적) 멀티태스킹을 위한 subroutine을 일반화 - 서브루틴: 함수의 동작이 끝나면 자신을 호출하였던 메인루틴으로 돌아오는 루틴. 하나의 진입점과 하나의 탈출점 - 코루틴: 루틴을 진행하는 중간 멈춰서 특정 위치로 돌아갔다가 다시 원래 위치로 돌아올 수 있는 루틴. (메인 루틴에 종속적이지 않음) 다양한 진입점과 다양한 탈출점 - 비 선점형 멀티태스킹: 병렬이 아닌 병행성(Concurrency). -> 동시에 실행되는 것처럼 보임. CPU 사용권을 뺏을 수 없음. -> 작업 교환 때 비용이 적음. - 싱글 스레드에서 동작하는 비동기 동시성(Concurrency) 작업 - 멀티스레드를 대체하기 위한 것이 아닌, 스레.. 공감수 2 댓글수 0 2021. 4. 7.
Process vs Thread 정리 기본부터 탄탄히해보자....!! 본 포스팅은 프로세스와 스레드 부터 멀티 프로세스 멀티 스레드에 대해 간단히 정리된 내용을 담고 있다. 프로세스 - 운영체제로부터 자원(CPU 시간, 메모리, 주소 공간 등)을 할당받은 작업의 단위 - 메모리에 올라와 실행되고 있는 프로그램의 인스턴스 (프로그램은 메모리에 올라가 있지 않은 정적인 상태를 뜻한다.) 프로세스의 작동 원리 - 프로세스는 각각 독립된 메모리 영역(Code, Data, Stack, Heap)을 할당 받는다. - Code 영역: 프로그램을 실행시키는 실행 파일 내의 명령어 (소스코드). Read Only. 프로세스 종료될 때 까지 유지. - Data 영역: global, static, array, structure 저장. 프로세스 종료될 때 까지 .. 공감수 2 댓글수 0 2021. 3. 31.
Kubeflow - Pipelines 소개 - 2 본 포스팅은 머신러닝 비영리단체 pseudo-lab 활동 중 빌더(스터디장)로 참가한 "kubeflow 발만 담가보기" 스터디 발표 내용을 담고 있다. 가짜연구소(Pseudo Lab) 가짜연구소는 진짜 연구소는 아니지만 머신러닝 연구를 중심으로 모인 커뮤니티입니다. 오픈(open)의 가치를 추구하는 좋은 영향력을 끼칠 수 있는 그룹을 만들고자 합니다! pseudo-lab.com Python SDK(kfp) kfp는 kubeflow pipelines을 개발할 수 있도록 해주는 Python SDK이며, 이를 통해 파이프라인 구성, 각 step 마다 실행되는 이미지 등을 설정 할 수 있다. Docs에서 여러 api를 확인 가능하다. Welcome to Kubeflow Pipelines SDK API refer.. 공감수 3 댓글수 0 2021. 2. 24.
Kubeflow - Pipelines 소개 - 1 본 포스팅은 머신러닝 비영리단체 pseudo-lab 활동 중 빌더(스터디장)로 참가한 "kubeflow 발만 담가보기" 스터디 발표 내용을 담고 있다. 가짜연구소(Pseudo Lab) 가짜연구소는 진짜 연구소는 아니지만 머신러닝 연구를 중심으로 모인 커뮤니티입니다. 오픈(open)의 가치를 추구하는 좋은 영향력을 끼칠 수 있는 그룹을 만들고자 합니다! pseudo-lab.com ML pipelines "DevOps"가 유행하면서, CI/CD 파이프라인 적용되는 사례가 많아졌다. 구글에 "DevOps CI/CD" 만 검색해도 여러 블로그에서 개념과 튜토리얼에 대해 기술하고 있는 것을 알 수 있다. 또한 여기에 CT(지속적 학습) 파이프라인 까지 적용한 "MLOps"가 새로운 블루오션이 되었다. MLOps는.. 공감수 1 댓글수 0 2021. 2. 24.
[Toy] Trigger using Slack 이번 포스팅은 위 Logging & Trigger 중 Slack을 이용한 trigger 개발에 대한 내용이 담겨있다. Trigger CT(Contcontinuous Training), 즉 지속적인 학습을 위해서는 "학습 후 배포"에서 끝나는게 아니라, "학습 후 배포 후 재학습" 과정이 있어야한다. kubeflow Trigger 기능을 사용하여 정기적인 학습을 진행해도 된다. 하지만 "새로운 데이터 수급", "성능 저하" 등을 꾸준히 Monitor 한 후 Slack으로 학습 여부를 결정하면, 더욱 필요한 시점에 자원 낭비 없이 CT를 수행할 수 있다. Run Trigger Conceptual overview of run triggers in Kubeflow Pipelines www.kubeflow.org.. 공감수 4 댓글수 0 2021. 2. 1.
[Toy] Serving TorchServe in kubeflow pipelines - 2 이 포스팅에는 위의 CD 단계 중 TorchServe에 관련된 내용을 담고 있다. 이전 포스팅에서 압축된 mar 파일을 배포하기 위해서는 우선 config.properties 설정 파일이 필요하다. 다양한 설정은 url에서 확인 가능하다. pytorch/serve Model Serving on PyTorch. Contribute to pytorch/serve development by creating an account on GitHub. github.com inference_address=http://0.0.0.0:8082 management_address=http://0.0.0.0:8083 metrics_address=http://0.0.0.0:8084 job_queue_size=100 install.. 공감수 0 댓글수 0 2021. 2. 1.
[Toy] Serving TorchServe in kubeflow pipelines - 1 이 포스팅에는 위의 CD 단계 중 torch-model-archiver에 관련된 내용을 담고 있다. 이전 포스팅에서 언급한 것 처럼, 버전 문제로 KFServing 대신 TorchServe Github를 사용하였다. TorchServe는 pytorch로 개발된 머신러닝 모델을 deploy 할때 사용되는 프레임워크이다. pytorch/serve Model Serving on PyTorch. Contribute to pytorch/serve development by creating an account on GitHub. github.com TorchServe는 아래와 같은 장점이 있다. 다중 모델 서비스 A/B 테스트를 위한 모델 버전 관리 RESTful API 지원 Metrics/Logging 관리 … .. 공감수 2 댓글수 0 2021. 2. 1.
[Toy] CT using Kubeflow pipelines - 2 이 포스팅에는 위의 CT 단계에 관련된 내용을 담고 있다. kubeflow pipelines는 각 단계에 맞는 k8s 파드를 실행시킨다. 각 파드는 설정된 컨테이너 이미지를 통해 작동이 된다. 그리고 이 파이프라인을 설계하기 위해 Python SDK(KFP docs)을 사용하였다. KFP는 pip를 통해 쉽게 설치가 가능하다. @dsl.pipeline( name="mnist using arcface", description="CT pipeline" ) def mnist_pipeline(): data_0 = dsl.ContainerOp( name="load & preprocess data pipeline", image="byeongjokim/mnist-pre-data:latest", ).set_displa.. 공감수 6 댓글수 0 2021. 2. 1.
[Toy] CT using Kubeflow pipelines - 1 이 포스팅에는 위의 CT 단계에 관련된 내용을 담고 있다. CT는 Kubeflow의 pipelines(url)을 통해 구현하였다. kubeflow pipelines은 kubeflow 의 여러 기능 중 하나로, end-to-end ML 워크플로우를 만들고, 배포할 수 있는 가장 중요한 기능이다. 특히 python SDK (url)가 매우 잘되어있어서, 사용하기가 쉽다. 사용법은 Doc을 통해 익힐 수 있다. CT 파이프라인을 구현하면서 배포 과정(KFServing) 개발중 버전 문제로 가장 애먹었다. 여러 시행착오 끝에 microk8s로 설치된 Kubeflow v1.2 를 선택하였고, KFServing 대신 Kubernetes Client Python SDK를(Github) 이용한 TorchServe를 통.. 공감수 1 댓글수 0 2021. 2. 1.
[Toy] CI/CD using Github Action 이 포스팅에는 위의 CI - CD 단계에 관련된 내용을 담고 있다. Github Action 이 프로젝트는 Gtihub을 통해 관리 되었으며, Jenkins를 사용하여 CI/CD를 구축 하려다가 평소에 써보고 싶었던 Github Action을 사용하기로 결정하였다. 깃헙 메뉴의 Actions을 통해 이를 설정할 수 있다. 각 Workflows는 YML 파일을 통해 관리가 가능하며, 이 프로젝트에서는 CI, CD 두 workflow을 설정하였다. CI on: push: branches: [ main ] pull_request: branches: [ main ] CI workflow는 main brunch 로 push가 될 때 발생하는 workflow 이다. 위 코드부분과 같이 on으로 설정할 수 있다. p.. 공감수 1 댓글수 0 2021. 2. 1.
[Toy] MLOps System Design System Design ml-system-design-pattern와 MLOps를 참고하여 이 프로젝트의 전체 시스템을 설계하였다. 설계하면서 가장 중점에 둔 것은 CT pipelines 이다. 일반적인 DevOps와 달리 MLOps는 CT라는 과정을 거쳐야한다. 이에 다섯가지 필수 구성요소를 집어넣었다. URL Prepare & Integrate Data data extraction data validation Data Preparation(data transforms) Feature Engineering train data test data Model Training & Model Evaluation model train model evaluate model validation model analy.. 공감수 6 댓글수 0 2021. 2. 1.
Large Video Processing using Kubernetes Problem 300시간의 비디오 속 모든 인물 비식별화 처리 모든 frame에 대해 처리 Multi-Process ZMQ(ZeroMQ) 사용하여 통신 GPU 2개가 달린 서버 4 프로세스 한계 (GPU 당 2 프로세스) 20개 영상(총 1시간) 전처리 -> 10시간 반 소모 단순 계산으로 300시간 영상 전처리 -> 약 3000시간(125일) 소모 Deadline: 약 2주 Solving Kubernetes 서버 사용 여러개의 GPU 달린 서버 Service, Job을 이용하여 Master, Worker 구현 Master: 남은 일 체크 및 일 분배 Worker: 받은 일 처리 완료 후 일 요청 Master Flask를 사용하여 일 분배하는 master service를 구현 # run.py @app.r.. 공감수 2 댓글수 0 2021. 2. 1.
[Toy] MLOps Toy 프로젝트 소개 클러스터 환경의 서버를 이용한 모델 학습을 하기 위해 쿠버네티스(Kubernetes)와 쿠버플로우(Kubeflow)를 처음 접하게 되었다. 컴퓨터 네트워크라는 분야에 매우 약하기 때문에 공부하기가 쉽지 않았다. 하지만 찾아볼 수록 너무 매력적인 이야기들이고, MLOps라는 분야에 대해 큰 관심이 생겼다. 그러던 와중 회사일로 인해 CI/CD를 경험해보며 MLOps에 더욱 빠져들었다. 어떤 것이든지 직접 해봐야 공부가 되는 성격이라 local 부터 배포까지 전 MLOps 과정을 구축해보았다. Project 서버 사양이나 속도면을 고려했을 때, 딥러닝에서 “Hello World”로 알려진 Mnist 데이터셋을 사용한 프로젝트를 기획하였다. 하지만 절대 간단하지 않도록 여러 상황을 가정하고, 제약을 두어서 진.. 공감수 4 댓글수 0 2021. 2. 1.
[ECCV2020] - VIPriors Workshop Challenge(Image Classification) 3rd 후기 ECCV2020의 VIPriors Workshop에서 개최한 VIPriors Challenge에 참가하였다. VIPriors Workshop 이란 “1st Visual Inductive Priors for Data-Efficient Deep Learning Workshop” 로, 성능을 높이기 위해 Data를 효과적으로 사용하는 방법에 대해 다룬다. URL 1st Visual Inductive Priors for Data-Efficient Deep Learning Workshop ECCV 202023 August 2020, ONLINE vipriors.github.io 이 Workshop에는 총 4가지 태스크로 Challenge가 진행되었다. Image Classfication (ImageNet) Sem.. 공감수 4 댓글수 0 2021. 2. 1.
Rethinking Pre-training and Self-training 논문 리뷰 - Rethinking Pre-training and Self-training (byeongjokim.github.io) 논문 리뷰 - Rethinking Pre-training and Self-training Pre-training과 Data Augmentation, 그리고 Self-training에 대한 실험 byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.
End-to-End Object Detection with Transformers 논문 리뷰 - End-to-End Object Detection with Transformers (byeongjokim.github.io) 논문 리뷰 - End-to-End Object Detection with Transformers Facebook Research에서 발표한 Object Detection 모델 byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.
PyTorch - Detectron2, when train using scratch PyTorch - Detectron2, when train using scratch (byeongjokim.github.io) PyTorch - Detectron2, when train using scratch Trial and Error byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.
PyTorch - Cosine Loss PyTorch - Cosine Loss (byeongjokim.github.io) PyTorch - Cosine Loss Pyotrch implements of Deep Learning on Small Datasets without Pre-Training using Cosine Loss byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.
Deep Learning on Small Datasets without Pre-Training using Cosine Loss 논문 리뷰 - Deep Learning on Small Datasets without Pre-Training using Cosine Loss (byeongjokim.github.io) 논문 리뷰 - Deep Learning on Small Datasets without Pre-Training using Cosine Loss 하드웨어의 발전으로 인해 매우 큰 dataset을 사용하고있다. 하지만 학습 데이터를 많이 모으기에는 한계가 존재하며 이를 위해 pre-trained 모델과 fine-tuning을 통하여 이를 극복할 수 있다. 하지만, p byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.
d-SNE: Domain Adaptation using Stochastic Neighborhood Embedding 논문 리뷰 - d-SNE: Domain Adaptation using Stochastic Neighborhood Embedding (byeongjokim.github.io) 논문 리뷰 - d-SNE: Domain Adaptation using Stochastic Neighborhood Embedding Domain Adaptation은 S(source) 도메인 데이터를 이용하여, T(target) 도메인에서 높은 성능을 내는 모델을 만드는 연구이다. byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.
Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection 논문 리뷰 - Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection (byeongjokim.github.io) 논문 리뷰 - Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection anchor-based와 anchor-free 방법의 차이를 실험적으로 설명하며, 성능의 차이는 positive와 negative sample의 정의에 있다고 하였다. 그리고 이에 object 특성에 따라 자동으로 positive, negative sample을 선택하는 .. 공감수 0 댓글수 0 2021. 2. 1.
Relation Networks for Object Detection 논문 리뷰 - Relation Networks for Object Detection (byeongjokim.github.io) 논문 리뷰 - Relation Networks for Object Detection 저자는 딥러닝이 유행하기 이전의 object relation을 이용하여 이 문제를 해결하고자 하였다. 그러나 보통 object는 각기 다른 위치, 다른 크기, 다른 종류 그리고 다른 이미지로 검출 되기 때문에 NLP byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.
Self-training with Noisy Student improves ImageNet classification 논문 리뷰 - Self-training with Noisy Student improves ImageNet classification (byeongjokim.github.io) 논문 리뷰 - Self-training with Noisy Student improves ImageNet classification ImageNet에 속하지 않은 unlabeled images 까지 이용하여 ImageNet 정확성의 SOTA를 갱신하며, robustness 성능 까지 높이는 방법에 대해 설명한다. byeongjokim.github.io 공감수 0 댓글수 0 2021. 2. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.