본문 바로가기
반응형

아무 말204

Born-Again Neural Network 코드 조지기 의식의 흐름대로 아래 코드를 보는 중. 재택근무라 사람이 없어 외로운 나머지 여기에 주절거리며 코드를 리뷰하는 중이다. 사실 아직 시작도 안했다. 이 글을 다 쓸때 쯤이면 코드를 이해했겠지? 난 이미지 도메인을 다룰 게 아니어서 그냥 적당히 구경하고 넘어가서 바로 짤거다. github.com/nocotan/born_again_neuralnet.git nocotan/born_again_neuralnet Unofficial pytorch implementation of Born-Again Neural Networks. - nocotan/born_again_neuralnet github.com Readme를 보니까 train.py, inference.py 를 돌리는구나. train.py를 보러가자. train.. 2021. 1. 4.
[20210104] 시황 분석 보호되어 있는 글 입니다. 2021. 1. 4.
금융 포트폴리오 구성을 현재 시장 생각해보는 글 ※ 글쓴 사람은 금융쪽 비전공자 / 이쪽 공부한지 n달도 안된 / 97년생으로 경험과 지식이 매우매우 부족함을 미리 밝힘. 전문가도 예측하기 어려운 코로나인데 남의 말 무턱대고 믿지 않길. 글 작성일 기준. 금융쪽으로는 왕재밌는 2020였다. 올해 취직도 했겠다 슬슬 미뤄놨던 자산 관리를 시작해야한다. 시장 분석? 글에 들어가기에 앞서, 현 시장에 대한 나의 이해에 대해서 적어보려고 한다. 레이달리오의 금융위기 템플릿 1장에서 영감을 얻었다. 필자는 이 책의 논리 순서대로 생각을 확장하였다. 우선, 이 책은 금융위기를 이해하는 기본 템플릿을 제시하는데, 크게 인플레이션과 디플레이션 사이클을 다룬다. 각각의 특성을 고려하기에 앞서, 가장 먼저 신용과 부채를 다뤘다. 부채에 대해 조금 설명을 하고 넘어가겠다.. 2021. 1. 3.
[20201229] 오늘의 자기계발 보호되어 있는 글 입니다. 2020. 12. 29.
Born-Again Neural Networks 매우 잠깐 구경 arxiv.org/pdf/1805.04770.pdf 이하 BAN이라고 줄여서 쓰겠음. 아마 다들 한번쯤 들어봤을법한 논문인데 직접 논문을 열어본건 처음임. 일단 이 논문을 리뷰하는 이유는, BAN과 같은 목적으로 당장 KD 코드를 짜야하는 상황인데 코드를 뜯어보기 전에 어떻게 돌아가는건지 빠르게 확인하기 위함. What is the paper about? - Task : Knowledge Distillation - Main idea : We study KD from a new perspective: rather than compressing models, we train students parameterized identically to their teachers. 따라서, "identical capac.. 2020. 12. 29.
[20201229] Action Recognition + KD Survey 대충 KD를 born again network처럼(?) 써가지고 student가 outperform하게 만드는걸 action recognition에서는 성공한 논문이 없나? 싶어서 서베이중이다. 따라서, 아래 서베이 논문은 모두 action recognition task를 다룬다. KD를 주로 활용했어야하며, contribution이 거기에 있어야함. compression에 초점을 뒀다거나, cross-modal 논문들은 제외했음. cross-modal의 경우 distillation의 이유가 다를 것 같아서. (애초에 데이터셋이 달라서 참고하기 애매함) 물론 나는 서지컬 도메인에서 할거라서 너무 복잡한 베이스라인은 지양하며, 직관적이면서도 이런 접근방식이 의료계에도 잘 된다는걸 보여줄 예정이다. KD가 목적이.. 2020. 12. 29.
[20201229] 연구 노트 보호되어 있는 글 입니다. 2020. 12. 29.
마카롱(막가롱) 오븐/계량기 없이 매우 대충 만들기 대충 막 만들어서 막가롱이다. 계량은 아래 비율에 적당히 만들고 싶은 만큼 N배해서 쓰면 된다. 수많은 실패를 통해 막 만들어도 대충은 만들어지는 경험에 의한 최적의 레시피를 구하였다. * 에어프라이기 필요 꼬끄 준비물 - 계란 흰자 1개 - 설탕 3스푼 (꽉 채우지 말고 양심껏 넣기) - 슈가파우더 0.5 물컵 - 아몬드가루 0.5 물컵 - 색소 이런거 넣고 싶은것 적당히 준비 / 없으면 말고 Step 1. 머랭을 치자 2~3번에 나눠서 머랭을 칠 것이다. 한번 할때마다 1스푼을 넣는다고 생각하면 된다. 일단 위에서 '양심껏 설탕 3스푼'이라 썼지만 이건 대충 2스푼이든 3스푼이든 하면 된다. 양심이 적당했다면 3스푼을 넣으며, 양심없게 설탕을 많이 넣은 기분이라면 2번에 나눠서 쳐도 된다. 누구나 실.. 2020. 12. 28.
Video Representation Learning by Dense Predictive Coding 없는줄 알았는데 코드가 공개되어있길래 리뷰하기 시작함. video domain에서의 self-supervised learning 연구이다. ECCV 2020의 spotlight를 받은 논문이다. 코드 또한 공개되어있다. arxiv.org/pdf/1909.04656.pdf github.com/TengdaHan/DPC.git What is the paper about? - Task : Video Representation Learning (for action recognition) - Main idea : CPC를 확장한 방법인 DPC(Dense Predictive Coding) framework를 제안하여 action recognition을 타겟으로 temporal-spatial 정보를 잘 인코딩하도록 한.. 2020. 12. 28.
[20201228] 연구노트 보호되어 있는 글 입니다. 2020. 12. 28.
[작성중] Deformable DETR: Deformable Transformers for End-to-end Object Detection 논문을 대략 읽어보면서 쓰는 글. 유투브에서 리뷰 영상을 봤는데 그래서 모델 component 각각에서 input/output이 어떻게 된다는건지 정확히 모르겠어서 대략 다시 보려고 한다. What is the paper about? - Task : Object Detection - Main idea : transformer를 사용함으로써 end-to-end가 되었다. - Details transformer를 대충 번역기처럼 생각했을때, output은 원래 번역된 각각의 단어처럼 나올건데, 여기서는 각 output 덩어리가 box prediction들을 의미한다. 원래 object detection에서 각 proposal에 대해 object인지/아닌지, class는 뭔지 두가지를 알려주는 head가 있었.. 2020. 12. 24.
correspondence에 대해 드는 생각 + 연구해야하는 것? Active Bleeding 영상을 봤다. 수술 데이터에서는 특히나 무엇을 tracking해야하는가?에 대한 이슈가 매우매우 중요해보인다. 이건 그리고 self-supervised만으로는 안된다고 생각. 하지만 fully supervised로 하기에는 labeled 데이터가 부족하기 때문에, self-supervised가 필요하기는 하다. 이 아이디어는 베이스라인 논문, BERT 등에서도 똑같다. BERT & transformer encoder가 여기서의 encoder가 되는거다. pretext task는 빈칸추론이 되며 (supervision=위치정보가 된다), 이를 잘 하는 인코더를 만든 것이다. 그러나 여기서는 "visual correspondence"를 잘 맞추도록 supervision을 두고싶고.. 2020. 12. 23.
[20201223] Journal Club - DL based multi-organ segmentation 들으면서 필기한 것. 요즘 딥러닝을 활용한 다양한 모델 기반의 접근방식이 있다고 한다. 음 그냥 많은 접근 방식으로 요즘에 하는구나 싶었다. 이 분야는 안해서 모르겠지만. AE stacked라서 앞에 것을 학습하고 프리징하는 게 필요해서 연산이 많이 든다고 한다. CNN FCN : 보통 3d volume을 많이 사용한다고 함. UNet - 패치 크기. skip connection 사용. VNet, cascade UNet 이런걸 사용. 최근 연구들. GAN - Generator : segmentation을 함. - Discriminator : 보정을 하는 역할! - 일반적인 GAN과는 다르기 때문에 로스도 다르다. SCAN (structured correcting adversarial network) UN.. 2020. 12. 23.
Learning Correspondence from the Cycle-consistency of Time arxiv.org/pdf/1903.07593.pdf video self-supervised learning 문제를 풀려면 뭐 아이디어 없나? 싶어서 고른 논문. 창작의 고통... CVPR 19 oral paper이며, 깃허브에 코드가 공개되어있다. 저번에 리뷰한 task-aware한 video CSL 논문이 이 논문을 인용하였다. 아직 논문 리뷰 게시글 쓴걸 읽어도 좀 알아보기 어려운데, 많이 쓰면 언젠가 늘지 않을까...? 사실 글자가 잘 안읽혀서 쓰면서 논문을 읽는거지만... ajabri.github.io/timecycle/ Learning Correspondence from the Cycle-Consistency of Time Xiaolong Wang*, Allan Jabri*, Alexei A. .. 2020. 12. 22.
Self-Supervised Learning 몰라서 공부하는 글 참고해볼 자료 모음 medium.com/vitrox-publication/understanding-circle-loss-bdaa576312f7 Siamese Net, Triplet Loss, and Circle Loss Explained. Understanding “Circle Loss: A Unified Perspective of Pair Similarity Optimization” Pap medium.com www.youtube.com/watch?v=C4UQWJcp7w4 www.youtube.com/watch?v=sVKE7CMDd_o 먼저 영상부터 보고 있다. Self-supervised learning에 대한 CVPR 2020 튜토리얼이다. 약 한시간짜리. 당연히 labeled data가 좋지만, .. 2020. 12. 21.
반응형

티스토리툴바