반응형 딥러닝 어쩌구50 [2021.10.18] 서베이라는걸 해보자 코딩하기 싫다 걍 논문 뭐있나 구경해야지 1. Exploring the Limits of Large Scale Pre-training JFT처럼 엄청나게 큰 dataset에서 pretrain 하는게 성능이 잘 나오니까 다들 그렇게 했다. 이에 대해 고찰하기 위하여 겁나 많은 실험을 했는데, 성능이 non-linear하게 saturation이 있었다고 한다. 심지어 pretrain-finetuning에서 서로 다른 모델을 쓸 경우에도 그랬다는 듯. MLP-Mixer, ViT, CNN based model에서 실험을 했다. 겁나 많은 실험을 했던데... 구글만 가능한 연구. 암튼 결론은 하나의 좋은 pretrained model이 모든 곳에 만능은 아니니까, dataset diversity에 더 신경쓰란다... 2021. 10. 18. [2021.10.06] 연구일지 - 텐서보드, segmentation mask 관련 에러 등 미래의 내가 다시 찾기 귀찮을까봐 박제 1. 맨날 까먹는 tensorboard 사용 일단은 서버에서 텐서보드 실행. tensorboard --logdir='' --port=5326 그리고 포트 연결. ssh -L 12345:localhost:6789 sghong@server_ip ssh 22로 연결하는거 아니면 -p [포트번호] 추가 그러고나서 내 컴퓨터에서 localhost:12345 이렇게 보면 됨. 2. 멍청한 실수: segmentation mask 관련 [문제상황] semantic segmentation을 inference한 결과를 grayscale mask 이미지로 저장하려고 한다. 그냥 아무 생각 없이 jpg로 저장하니 문제가 있다. 예를 들어 클래스가 50개짜리라서 0~49값을 가지는 마스크.. 2021. 10. 6. MICCAI 2021 Endovis - HeiSurf Segmentation 챌린지 정리 보호되어 있는 글 입니다. 2021. 10. 5. 챌린지 docker 제출을 위한 셋업 과정 - mmsegmentation [도커 제출을 위한 mmsegmentation 셋업] 고려사항 제출 이미지 크기 그냥 쓰던 도커 올릴수도 있겠지만, 아무래도 코딩하다보면 잡다하게 들어가있는게 많다. 기본이미지에 필요한 것만 얹는 식으로 빌드하기로 한다. mmsegmentation 버전 및 호환되는 mmcv 버전 mmcv 버전이 안맞으면 mmsegmentation이 동작 안한다. 새로 업뎃된 코드를 사용하려고 git pull을 했다면 기존 mmcv가 동작하지 않을 수 있다. -> mmcv의 업데이트가 필요 mmcv 버전에 따른 dependency 예를 들면 mmcv 1.3.1 사용할땐 torch 1.5 (정확X) 사용했는데, 이 torch 버전에서는 더이상 mmcv latest를 가져오려고 해도 업뎃이 안된다. 여기서 cuda, torc.. 2021. 9. 7. [디버깅] segmentation RGB image -> mask label [상황] mmsegmentation은 input으로 0부터 시작하는 2D grayscale image를 받도록 되어있음. 근데 간혹 데이터셋의 mask 이미지가 RGB 컬러로 되어있는 경우가 있음. 코드를 수정하려면 mmseg/datasets/pipelines/loading.py 의 LoadAnnotations의 __call__() 함수를 수정해야함. 여기에 RGB -> mask 맵핑을 추가하여 처리하도록하면 됨. 더 좋은 방법이 있는지는 잘 모르겠음. 아래는 RGB image -> mask label 변환 코드 뇌빼고 짜니까 너무 느려서 검색해서 찾음. 이거 쓰니까 빠른 속도로 처리됨 출처 https://stackoverflow.com/questions/53059201/how-to-convert-3d-.. 2021. 8. 31. CVPR 2021 best paper candidates 목록 저번 글에서 이번 CVPR 베스트 페이퍼를 살펴봤는데, CVPR 2021 Best paper는 아니지만 후보에 올랐던 논문들을 한번씩 보려고 한다. 283 Privacy-Preserving Image Features via Adversarial Affine Subspace Embeddings Mihai Dusmanu (ETH Zurich); Johannes L Schönberger (Microsoft); Sudipta Sinha (Microsoft); Marc Pollefeys (ETH Zurich / Microsoft) 415 Learning Calibrated Medical Image Segmentation via Multi-Rater Agreement Modeling Wei Ji (Universit.. 2021. 8. 24. Portfolio Optimization - PyPortfolioOpt (1) https://github.com/robertmartin8/PyPortfolioOpt/commits?author=robertmartin8 git https://pyportfolioopt.readthedocs.io/en/latest/ official document Efficient Frontier? https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=gdpresent&logNo=220890967416 Harry Markowitz의 이론인데, 1952년도 논문이라 되게 오래 되었다. 금융쪽 비전공자인 나도 포트폴리오 이론이니, CAPM이나 CAL같은건 어디서 주워들어봤으니까 완전 기초중의 기초일 것 같다. 저 분야에서 바이블인가? 뜬금없.. 2021. 7. 30. mmsegmentation 실험정리를 위해 MongoDB 셋업하기 (1) 실험한거 일일이 텍스트파일로 리스트 만들고 플랏 하는거 몹시 빡친다 데이터 계속 바뀌고, 하이퍼 파라미터 튜닝도 하고, 뭐 오류있고 그래서 파일이 넘쳐나기땜에 정리 매우 하기 싫음 그러던중 MongoDB 라는걸 알게되어서 처음 써보려고 한다. - 실험 결과파일 json을 db에 때려넣고 - db에서 조건에 맞는것만 선택해서 - 원하는 조건에 맞춰 플랏해주는 무언가 를 만들테다 배보다 배꼽이 큰 기분이지만 텍스트 정리는 열받기 때문에 이게 나을 것 같다. 좋아 주워들은 것 MongoDB는 SQL스런 칼같은 느낌은 아니라고 한다. 특정 column 값이 없기도 하고, 그냥 설명 들어보니 json같다는 생각이 들었음 도커로 셋업하는게 편함 명령어는 역시 직접 쓰는게 더 좋다고 하지만 난 귀찮으니 파이썬으로 할.. 2021. 7. 29. [연구노트] mmsegmentation 업데이트중 해결한 에러들, Action 연구 근황 최근에 해결한 문제에 대해 기록하는 글 mmsegmentation 구버전에서 코딩하다가 최근걸로 업데이트 하다가 생긴 문제 ACAR-Net 베이스라인으로 내 모델 구현했는데 성능이 안나오는 문제 미래의 나를 위해 mmsegmentation 관련 에러 요약 build_segmentor 없다는 에러는 그냥 __init__.py 제대로 안써서 생긴 문제였음. 원래 내가 코딩했던거랑 merge하는 중에 충돌나서 그런지 파일이 없어져있음 (...) 다시 작성해줬더니 잘됨. 최근버전 mmseg 사용하려면 mmcv는 1.3.9로 업데이트 해야함. 난 1.3.0을 쓰고있어서 업데이트 필요했음. 간혹 mmcv-full 설치시에 CUDA 문제로 안깔릴수도 있음. CUDA_HOME이 없다는 에러 -> cuda toolkit.. 2021. 7. 26. 2021.06.03 연구 보호되어 있는 글 입니다. 2021. 6. 3. [2021.05.26] 연구노트 보호되어 있는 글 입니다. 2021. 5. 26. [2021.05.25] 연구일지 (모델 초기 구현, arxiv-sanity 살펴보기) 1. AVA Action이랑 CholecT50 데이터셋을 요즘 보고있다. Spatio-Temporal Action Localization을 보기 위함이다. CholecT50은 bbox annotation이 없어서 엄밀히 말하면 아닌데, 비디오를 더 잘 해석하기 위해서 triplet annotation을 제공하기 때문에 일단 이쪽에서 하고 있다. (수술 도메인) CholecT50을 위한 모델구현이 조금 안정화 되며 + 현재 segmentation 실험이 어느정도 끝나 GPU가 남으면 mmaction2 셋업과 AVA 실험또한 진행할 예정이다. 일단 모델 초안을 대략 구상했고, 그대로 오늘 구현이 끝나서 대충 동작을 하는 것은 확인을 했다. 원래 AlphAction이라는 깃허브 코드를 가져와서 (이유: Slo.. 2021. 5. 25. [2021.03.09] arxiv sanity 구경 1달 기준으로 top recent 부터 보고 있다. 1. "Patterns, predictions, and actions: A story about machine learning" 머신러닝 책이 나왔다. 부족한 수학공부를 하기 위해 한번 읽어봐야할 것 같다. 300페이지 정도의 분량이다. arxiv.org/abs/2102.05242v1 2. "How to represent part-whole hierarchies in a neural network" 힌튼 교수님의 논문이다. 읽으려다가 분량이 많아 안봤는데 capsnet이 어떤 의도로 만들어졌던건지부터 보고 와야할 것 같은 기분이 든다. 3. "Do Transformer Modifications Transfer Across Implementations a.. 2021. 3. 9. [2021.03.04 연구노트] Deep Neural Network Visualization? 다시 실험을 쭉 돌려놨으니 논문 찾아볼 시간이 생겼다. 이쪽을 공부해본적이 없는 것 같아서 당분간 찾아보려고 한다. 뭘 봐야하는지조차 모르겠어서 일단 단어만 찾아봤는데, t-sne가 많이 언급된다. t-sne가 video domain에서도 되는지 모르겠어서 이것만 더 찾아보고 바로 t-sne 공부로 넘어가려고 한다. Keywords Class Activation Map (CAM) Visualization t-Stochastic Neighbor Embedding (t-SNE) 같이볼 것. visualization 관련 글. medium.com/analytics-vidhya/deep-learning-visualization-and-interpretation-of-neural-networks-2f3f82f50.. 2021. 3. 4. [2021.02.24] 파워 때문에 사망할 수도 있었다 현재 HRNet V2 + OCR을 돌리고 있다. 그런데 실험 도중 5분도 지나지 않아 컴퓨터가 갑자기 꺼졌다. 이 컴퓨터를 포함하여 옆에 같이 있던 다른 컴퓨터까지. HRNet V2를 돌릴 때는 GPU를 꽉꽉 채워 돌려도 아무 문제가 없었는데, HRNet V2 + OCR을 돌릴 때에는 이런 현상이 있었다. OCR 논문 코드 자체가 HRNet V2 코드를 기반으로 하기 때문에 둘이 매우 유사하게 생겼는데 말이다. 확인해보니 전원 스위치가 내려가 차단되어있었는데, 전력에 제한을 걸어두는 것인데 이게 동작했던 모양이다. 현재 한쪽 컴퓨터에는 HRNet V2를, 다른 한쪽에는 HRNet + OCR을 실험하고 있다. 문제가 없는 HRNet V2의 경우에는 꽉 채워서 써도 전력이 capacity를 넘어가는 현상은 .. 2021. 2. 24. 이전 1 2 3 4 다음 반응형
