MLOps (19) [Toy] Serving TorchServe in kubeflow pipelines - 2 이 포스팅에는 위의 CD 단계 중 TorchServe에 관련된 내용을 담고 있다. 이전 포스팅에서 압축된 mar 파일을 배포하기 위해서는 우선 config.properties 설정 파일이 필요하다. 다양한 설정은 url에서 확인 가능하다. pytorch/serve Model Serving on PyTorch. Contribute to pytorch/serve development by creating an account on GitHub. github.com inference_address=http://0.0.0.0:8082 management_address=http://0.0.0.0:8083 metrics_address=http://0.0.0.0:8084 job_queue_size=100 install.. [Toy] Serving TorchServe in kubeflow pipelines - 1 이 포스팅에는 위의 CD 단계 중 torch-model-archiver에 관련된 내용을 담고 있다. 이전 포스팅에서 언급한 것 처럼, 버전 문제로 KFServing 대신 TorchServe Github를 사용하였다. TorchServe는 pytorch로 개발된 머신러닝 모델을 deploy 할때 사용되는 프레임워크이다. pytorch/serve Model Serving on PyTorch. Contribute to pytorch/serve development by creating an account on GitHub. github.com TorchServe는 아래와 같은 장점이 있다. 다중 모델 서비스 A/B 테스트를 위한 모델 버전 관리 RESTful API 지원 Metrics/Logging 관리 … .. [Toy] CT using Kubeflow pipelines - 2 이 포스팅에는 위의 CT 단계에 관련된 내용을 담고 있다. kubeflow pipelines는 각 단계에 맞는 k8s 파드를 실행시킨다. 각 파드는 설정된 컨테이너 이미지를 통해 작동이 된다. 그리고 이 파이프라인을 설계하기 위해 Python SDK(KFP docs)을 사용하였다. KFP는 pip를 통해 쉽게 설치가 가능하다. @dsl.pipeline( name="mnist using arcface", description="CT pipeline" ) def mnist_pipeline(): data_0 = dsl.ContainerOp( name="load & preprocess data pipeline", image="byeongjokim/mnist-pre-data:latest", ).set_displa.. 이전 1 2 3 4 5 6 7 다음
