본문 바로가기
딥러닝 어쩌구/연구일지&디버깅

[2021.10.06] 연구일지 - 텐서보드, segmentation mask 관련 에러 등

by 포숑은 맛있어 2021. 10. 6.
반응형

미래의 내가 다시 찾기 귀찮을까봐 박제

 

 

1. 맨날 까먹는 tensorboard 사용

 

일단은 서버에서 텐서보드 실행.

tensorboard --logdir='' --port=5326

 

그리고 포트 연결.

ssh -L 12345:localhost:6789 sghong@server_ip

ssh 22로 연결하는거 아니면 -p [포트번호] 추가

 

그러고나서 내 컴퓨터에서 localhost:12345 이렇게 보면 됨.

 

 

2. 멍청한 실수: segmentation mask 관련

[문제상황]

semantic segmentation을 inference한 결과를 grayscale mask 이미지로 저장하려고 한다.

그냥 아무 생각 없이 jpg로 저장하니 문제가 있다.

예를 들어 클래스가 50개짜리라서 0~49값을 가지는 마스크 이미지인데, 저장하고나서 나중에 cv2.imread([path] ,0)으로 읽어오면 50 이상의 값이 들어가 있는 문제가 발생했다. 아니 왜?

PIL로 저장해도 마찬가지라 opencv 문제는 아니었다.

알고보니 확장자를 jpg로 해서 문제가 되었던 것. ㄱ-....... 손실압축 하기 때문에 발생하는 문제인가. 암만 그래도 이건 좀 오반데 싶다...

 

해결은 그냥 .png로 저장하면 된다.

마스크 이미지처럼 값이 레이블을 의미하는 경우에는 반드시 꼭 png로 저장해주도록 하자.

날려먹어서 다 다시 돌려야한다 이런 망할;

 

 

3. docker 사용시 shared memory 관련 오류

--ipc host를 추가하라는 등 검색 해봐도 하라는대로 다 했는데 안된다...

df -h로 찍어도 shared memory영역 사이즈가 딱히 문제가 없던데 왜...?

 

어쩔 수 없이 문제상황을 받아들이고, 4만개씩 끊어서 인퍼런스를 하는걸로 합의봤다.

그래서 데이터 리스트 4만개씩 끊어주고, bash 작성할때 루프문에다가 sed 명령어 써서 config 파일 내용 바꿔가면서 인퍼런스 하도록 설정했다.

 

 

아무튼 이제 GPU가 일하는거지 내가 할일은 아닌지라.. 다른거 읽어봐야겠다

반응형

댓글