반응형 딥러닝 어쩌구/연구일지&디버깅39 mmsegmentation 실험정리를 위해 MongoDB 셋업하기 (1) 실험한거 일일이 텍스트파일로 리스트 만들고 플랏 하는거 몹시 빡친다 데이터 계속 바뀌고, 하이퍼 파라미터 튜닝도 하고, 뭐 오류있고 그래서 파일이 넘쳐나기땜에 정리 매우 하기 싫음 그러던중 MongoDB 라는걸 알게되어서 처음 써보려고 한다. - 실험 결과파일 json을 db에 때려넣고 - db에서 조건에 맞는것만 선택해서 - 원하는 조건에 맞춰 플랏해주는 무언가 를 만들테다 배보다 배꼽이 큰 기분이지만 텍스트 정리는 열받기 때문에 이게 나을 것 같다. 좋아 주워들은 것 MongoDB는 SQL스런 칼같은 느낌은 아니라고 한다. 특정 column 값이 없기도 하고, 그냥 설명 들어보니 json같다는 생각이 들었음 도커로 셋업하는게 편함 명령어는 역시 직접 쓰는게 더 좋다고 하지만 난 귀찮으니 파이썬으로 할.. 2021. 7. 29. [연구노트] mmsegmentation 업데이트중 해결한 에러들, Action 연구 근황 최근에 해결한 문제에 대해 기록하는 글 mmsegmentation 구버전에서 코딩하다가 최근걸로 업데이트 하다가 생긴 문제 ACAR-Net 베이스라인으로 내 모델 구현했는데 성능이 안나오는 문제 미래의 나를 위해 mmsegmentation 관련 에러 요약 build_segmentor 없다는 에러는 그냥 __init__.py 제대로 안써서 생긴 문제였음. 원래 내가 코딩했던거랑 merge하는 중에 충돌나서 그런지 파일이 없어져있음 (...) 다시 작성해줬더니 잘됨. 최근버전 mmseg 사용하려면 mmcv는 1.3.9로 업데이트 해야함. 난 1.3.0을 쓰고있어서 업데이트 필요했음. 간혹 mmcv-full 설치시에 CUDA 문제로 안깔릴수도 있음. CUDA_HOME이 없다는 에러 -> cuda toolkit.. 2021. 7. 26. 2021.06.03 연구 보호되어 있는 글 입니다. 2021. 6. 3. [2021.05.26] 연구노트 보호되어 있는 글 입니다. 2021. 5. 26. [2021.05.25] 연구일지 (모델 초기 구현, arxiv-sanity 살펴보기) 1. AVA Action이랑 CholecT50 데이터셋을 요즘 보고있다. Spatio-Temporal Action Localization을 보기 위함이다. CholecT50은 bbox annotation이 없어서 엄밀히 말하면 아닌데, 비디오를 더 잘 해석하기 위해서 triplet annotation을 제공하기 때문에 일단 이쪽에서 하고 있다. (수술 도메인) CholecT50을 위한 모델구현이 조금 안정화 되며 + 현재 segmentation 실험이 어느정도 끝나 GPU가 남으면 mmaction2 셋업과 AVA 실험또한 진행할 예정이다. 일단 모델 초안을 대략 구상했고, 그대로 오늘 구현이 끝나서 대충 동작을 하는 것은 확인을 했다. 원래 AlphAction이라는 깃허브 코드를 가져와서 (이유: Slo.. 2021. 5. 25. [2021.03.04 연구노트] Deep Neural Network Visualization? 다시 실험을 쭉 돌려놨으니 논문 찾아볼 시간이 생겼다. 이쪽을 공부해본적이 없는 것 같아서 당분간 찾아보려고 한다. 뭘 봐야하는지조차 모르겠어서 일단 단어만 찾아봤는데, t-sne가 많이 언급된다. t-sne가 video domain에서도 되는지 모르겠어서 이것만 더 찾아보고 바로 t-sne 공부로 넘어가려고 한다. Keywords Class Activation Map (CAM) Visualization t-Stochastic Neighbor Embedding (t-SNE) 같이볼 것. visualization 관련 글. medium.com/analytics-vidhya/deep-learning-visualization-and-interpretation-of-neural-networks-2f3f82f50.. 2021. 3. 4. [2021.02.24] 파워 때문에 사망할 수도 있었다 현재 HRNet V2 + OCR을 돌리고 있다. 그런데 실험 도중 5분도 지나지 않아 컴퓨터가 갑자기 꺼졌다. 이 컴퓨터를 포함하여 옆에 같이 있던 다른 컴퓨터까지. HRNet V2를 돌릴 때는 GPU를 꽉꽉 채워 돌려도 아무 문제가 없었는데, HRNet V2 + OCR을 돌릴 때에는 이런 현상이 있었다. OCR 논문 코드 자체가 HRNet V2 코드를 기반으로 하기 때문에 둘이 매우 유사하게 생겼는데 말이다. 확인해보니 전원 스위치가 내려가 차단되어있었는데, 전력에 제한을 걸어두는 것인데 이게 동작했던 모양이다. 현재 한쪽 컴퓨터에는 HRNet V2를, 다른 한쪽에는 HRNet + OCR을 실험하고 있다. 문제가 없는 HRNet V2의 경우에는 꽉 채워서 써도 전력이 capacity를 넘어가는 현상은 .. 2021. 2. 24. [연구노트] 당분간 봐야하는 것 1. panoptic segmentation evaluation metric 자세히 알아보기. 얼핏 보면 class id는 thing, stuff로 나뉘어진거라는거 외에는 똑같은데 왜 다른가? 2. panoptic map을 가지고 OASIS, SPADE에 넣을 수 있는지 확인해보기. instance segmentation이랑 얼핏보기에는 같은데 (컬러를 다 다르게 할당했으니까), SPACE, OASIS에서는 인풋을 어떻게 처리하길래? 그냥 RGB로 변환된 세그멘테이션 이미지를 노멀라이즈 해서 처리하나? => 따라서, SPACE, OASIS 논문과 코드를 봐야한다. 그리고 panoptic도 전반적인거 말고도 더 자세히 뜯어야한다. 3. post processing 과정 좀 더 자세히. 따로따로는 대충 아는.. 2021. 2. 10. cmd로 그래픽 드라이버 업그레이드 지금 하는 김에 기록. 이 모든 일이 kinetics 때문에 일어났다. 아.. raid 용량 부족으로 프레임을 dataloader에서 자르게 했음 -> 데드락 발생 -> opencv의 램 문제임 -> torchvision.io의 video_reader에서 ffmpeg와 pyac 기반을 지원. 비디오를 바로 tensor로 변환하는걸 공식에서 지원한다고 함 -> 그걸 쓰려면 torch 0.8.1 필요 -> 그러려면 torch 1.7.0 이상 필요 -> 그러려면 gpu driver가 최신버전이어야함. 현재 서버컴의 드라이버 상태로는 pytorch가 1.5? 1.6?부터 안깔렸음 -> 그래픽카드 업데이트 필요. 뭐.. 최신 pytorch 버전에서는 최근의 learning scheduler같은것들도 더 업데이트 .. 2021. 2. 5. 새로운 다짐 : kaggle 도장깨기를 해보자 지식이 턱없이 부족함을 느끼고 kaggle을 뒤져보며 심심할때마다 돌려보기로 마음먹었다. 주말에 심심하니 차마시고 운동하고 경제공부하고 그림그리고 책읽고도 심심하면 kaggle을 할거다. www.kaggle.com/ Kaggle: Your Machine Learning and Data Science Community Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals. www.kaggle.com 일단 노트북에 gpu가 딸려있는것같긴 한데 별로 좋은건 아닐 것 같음. 그렇게 큰 사양을 필요로하지 않는것부터 골라서 무슨 데이터셋.. 2021. 1. 23. [20201229] 연구 노트 보호되어 있는 글 입니다. 2020. 12. 29. [20201228] 연구노트 보호되어 있는 글 입니다. 2020. 12. 28. 20201221 연구노트 보호되어 있는 글 입니다. 2020. 12. 21. 20201217 연구노트 보호되어 있는 글 입니다. 2020. 12. 17. 20201215 연구노트 보호되어 있는 글 입니다. 2020. 12. 15. 이전 1 2 3 다음 반응형
