반응형 연구노트4 [2021.02.16. 연구노트] 깨알같은 디버깅 - panoptic deeplab official 코드는 아닌데, 페북같은데서 짠건지 엄청 잘 정리된 코드를 베이스로 돌리고 있다. MultiGPU면 Distributed 처리를 하도록 코드가 짜여있는데, single machine multiGPU로 고쳤다. 저번에 이것때문에 DataParallel()이랑 distributed의 차이를 찾아봤었던 것. 학습초반 조금 살펴보기 별거 없었던 디버깅 과정 1. 일단은 distributed 처리는 안되게 바꾼다. single machine에서도 distributed 처리는 할 수 있지 않을까? 그런데 나는 그냥 그렇게 안했다. 왜냐면 포트 번호, addr 이런데에 뭘 적어줘야하는지 모르기 때문. localhost로 적고 포트는 아무거나 때려넣었더니 계속 기다리기만 하는 상황이 벌어졌다. 2. n.. 2021. 2. 16. [연구노트] Semantic Segmentation 살펴보기 팬옵틱에 이어 시맨틱 세그멘테이션 공부가 필요해져 오늘 서베이를 시작했다. Semantic segmentation은 픽셀단위의 classification이라고 보면 될 것 같다. semantic segmentation에서 주로 무슨 모델을 쓰고있는지를 몰라서 아래 글을 읽고 있다. 이미지 및 본문 내용 출처는 아래 링크이다. 2018년도 글. medium.com/nanonets/how-to-do-image-segmentation-using-deep-learning-c673cc5862ef 2020년도 글. medium.com/technovators/everything-you-need-to-know-about-image-segmentation-c684a3a61df7 개인적으로 두번째 글이 많은 연구를 커버한.. 2021. 2. 15. [연구노트] CNN 안쓰는 3D Transformer를 만들어봤음 (for video action recognition) 잘 되었다면 아마 이 글을 안쓰고 논문으로 썼겠지. 음. ViT 기반에다가 나름의 아이디어를 추가한거기 때문에 구현은 딱히 별거 없었음. 물론 추가 아이디어로 계획해놨던게 있고, 이걸로 개선이 있을 것으로 보이지만 초기 실험결과가 너무 슬펐기 때문에 실험을 더 하진 않을 것 같음. GPU가 모자라. + pretrained model을 직접 만드는 게 얼마나 끔찍한(?) 일인지 저번 연구로 알게되어서, 당분간 아키텍쳐를 직접 만드는 짓은 하지 않을 것 같다. 특히 비디오 데이터셋에서! 결과. 내 실험에서는 CNN 아예 안씀. 최근에 temporal GAP를 transformer로 대체한 연구는 있었는데, CNN을 아예 안쓴 연구는 아직까지 안보임. 학습이 안 되지는 않음. 분명히 성능은 오르고 있다. SV.. 2021. 2. 14. [연구노트] DataParallel 공부하는 중 (feat. panoptic deeplab...) 버그. 요즘 Panoptic deeplab을 reproducing하고있다. 현재 에러가 나는 이유가, 여기선 데이터로더로 배치를 불러올 때 단순히 이미지 tensor만 가져오지 않아서이다. dictionary의 리스트로 되어있다! 그러면 만약에 16배치면, 리스트 안에 16개의 딕셔너리가 있는거다. [{}, {}, {}, {}, ... , {}] 그리고 딕셔너리 안에 이미지 텐서 (그외 필요한 각종 데이터)가 들어있는 형태. 근데 그러면 리스트의 딕셔너리에서 꺼내서 전부 합쳐서 데이터로 넣어야한다. 이미지만 그렇게 하는건 할 수 있는데, 또 모델 안에서 이미지 외에 다른 데이터도 필요로하는 바람에 뭔가 자꾸 에러가 뜬다. 뇌빼고 코딩하면 그냥 리스트를 없애고 딕셔너리를 전부 합쳐버리면 되긴 하는데, 코드.. 2021. 2. 8. 이전 1 다음 반응형
