하나의 local PC에서 코드를 관리하고 실행하면 상관없지만 필요에 따라 원격 서버를 사용하게 된다.일반적으로 아래와 같이 서버에 모델 및 데이터를 전송하고 서버에 접속하여 실행하는데 Pycharm에서 SFTP를 통해 원격 서버와 연결하면 SSH로 직접 전송하지 않고 파일만 저장하면 자동으로 전송하게 시킬 수 있다.  더 나아가서 아래와 같은 작업도 가능해진다.  이 방법으로 설정할 경우, 관리하는 서버 수가 적거나 소규모 실험, 소규모 팀 또는 개인 프로젝트를 진행할 때 적합하다. 1️⃣ SFTP 설정하기1. [Tools] - [Deployment] - [Configuration] 선택 2. [+] - [SFTP] 선택 및 server name 설정 3. Host, Username, Password ..

MLflow가 뭔지는 https://dream2reality.tistory.com/13를 참고.🔧 MLflow Common SetupsMLflow에서 일반적인 설정은 아래 3가지다. 1, 2 번은 모두 개인이 사용할 때의 방법이며 3번은 팀이 개발할 때 사용하는 형식이다. 3번과 같이 MLflow Tracking server를 구성하면 편리하게 실험 내용을 공유할 수 있다. 또한, Server에 올려 항상 켜둘 수 있다는 장점이 있다. 🏃‍♂️ MLflow Tracking Server 실행아래 명령어들을 통해 MLflow server를 실행시켜준다. (PC가 2대인 경우 Server PC에) 1. Docker Image 다운로드docker pull ghcr.io/mlflow/mlflow 2. Doce..

🐳 1. Docker Hub로 Docker Image 공유docker hub에 docker image를 공유하기 하기 위해서 우선 `docker login` 을 해줘야 한다. 그전에 docker hub에서 token을 발급받는다.https://hub.docker.com/ 에 로그인한 후 [Account Setting]을 누른다.이후에 [Security] - [Personal access tokens]을 클릭  그다음 [Generate new token]을 누른다.  token의 이름과 permission을 설정해 준다. 생성이 완료되면 터미널에서 아래와 같이 입력한다. 아래 Access token은 다른 사람에게 노출되지 않도록 조심한다.docker login -u [Username][Access To..

Docker 명령어가 익숙하지 않다면2024.09.20 - [Programming/Docker] - Docker 설치 및 사용법 Docker 설치 및 사용법이 글에서는 Docker 명령어를 실습해보며 Docker에 대한 이해를 깊이 있게 넓혀간다.Docker가 무엇인지 아직 모른다면 2024.09.04 - [Programming/Docker] - Docker란? Docker란?최근에 MLOps를 공부하면서 Kubernetesdream2reality.tistory.com   Docker 이미지를 만드는 방법에는 두 가지가 있다. 첫 번째는 실행 중인 컨테이너를 commit 하여 image로 만드는 것이고 두 번째는 Dockerfile을 build해 image를 만드는 것이다. 🛰️ 1. Commit을 통..

이 글에서는 Docker 명령어를 실습해 보며 Docker에 대한 이해를 깊이 있게 넓혀간다.Docker가 무엇인지 아직 모른다면 2024.09.04 - [Programming/Docker] - Docker란? Docker란?최근에 MLOps를 공부하면서 Kubernetes에 학습하는데 뭔가 이해가 완벽히 되지 않았다. Base가 되는 Docker를 제대로 모르고 있어서 그렇다고 생각을 하고 Docker 에 대해 정리를 해본다. Docker를 정확히dream2reality.tistory.com ⚙️ Docker 설치Docker 홈페이지에서 자신이 사용하는 OS에 맞게 선택하여 설치.Windows나 MacOS에서는 Docker Desktop이 설치가 된다. Docker Desktop이 실행이 잘된다면 설치..

최근에 MLOps를 공부하면서 Kubernetes에 학습하는데 뭔가 이해가 완벽히 되지 않았다. Base가 되는 Docker를 제대로 모르고 있어서 그렇다고 생각을 하고 Docker에 대해 정리를 해본다. Docker를 정확히 알고 있는건 분명히 아닌 거 같다. 그저 사용하던 명령어만 기계처럼 쓰는 느낌이 강한데 명령어 하나하나를 이해하고 난 후에는 Docker에 대해 어느 정도는 알게 된 것 같다. 🐳 Docker란?Docker 공식 문서를 보면 Docker는 애플리케이션을 개발, 배포 및 실행하기 위한 오픈 플랫폼이라고 설명한다. 또한, Docker를 사용하면 개발자들이 애플리케이션을 더 쉽게 만들고, 배포하고, 실행할 수 있으며, 운영팀은 일관된 환경에서 애플리케이션을 관리할 수 있다고 설명한다...

Paper : https://arxiv.org/abs/2303.04947 InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data PruningData pruning aims to obtain lossless performances with less overall cost. A common approach is to filter out samples that make less contribution to the training. This could lead to gradient expectation bias compared to the original data. To solve this probarxiv.orgGitHub : https://githu..

http://freesearch.pe.kr/archives/4905 데이터 과학자에서 AI 연구자로 들어서며... - from __future__ import dream2018년 9월에 5년 넘게 몸담았던 DT조직에서 AI 조직으로 옮기면서 AI 연구자로 새로운 직무를 시작했다. 그동안 이러한 소식을 블로그에 올리지 못한것은 이 발걸음에 불확실함과 기대, 불안이 공freesearch.pe.kr 위 포스트를 읽으면서 많은 부분들이 공감이 되었다.   AI 연구를 하면서 한 프로젝트를 마무리하고 몇 개월이 지난 후 그 결과물을 되돌아보는 경험이 종종 있다. 이때 문득 "더 빠르고 성능 좋은 모델을 만들 수 있지 않았을까?"라는 아쉬움이 밀려오곤 한다. 이러한 생각은 단순히 후회가 아닌, 그 사이 지식이나 엔..

오류 메시지AttributeError: 'tqdm_notebook' object has no attribute 'disp' 원인.ipynb 에서 구현한 코드를 가져오다 보니 from tqdm.notebook import tqdm으로 되어있는 것을 확인했다. 이때 jupyter 라이브러리가 설치되어 있지 않으면 오류가 발생한다. 해결 방법1. jupyter 설치pip install jupyter2. tqdm 변경 from tqdm import tqdm