DETR 논문 바로가기 DETR 논문을 읽었다. ‘vision 문제중 하나인 object detector를 Transformer로 풀었다 NMS도 필요없다. 또 panoptic segmentation 에까지 확장 가능하다.’ 라는 내용인데, 읽으면서 몇가지 의문이 들었다. 구현을 염두해둔 의문(positional encoding은 어떻게 코드...

DETR 논문을 읽기에 앞서 Hungarian algorithm 알고리즘에 대한 이해가 필요하여 정리해본다. Hungarian algorithm 알고리즘 코드 구현은 파이썬에서 “from scipy.optimize import linear_sum_assignment” 로 사용할 수 있다. 자세한 사용 방법은 여기를 보면 된다. Hungarian a...

DETR 논문을 읽기에 앞서 Maximum Bipartite Matching 알고리즘에 대한 이해가 필요하여 정리해본다. 사실 Optimal Bipartite Matching-Hungarian algorithm에 대한 내용이 필요하다. DETR을 이해하는데 있어 Maximum Bipartite Matching이 필요한 것은 아니지만 남겨놓자. Max...

BFS : 넓이 우선 탐색 / for문을 이용한 방식(1가지) DFS : 깊이 우선 탐색 / for문과 재귀를 이용한 방식(2가지) python 코드 구현 from collections import deque graph = { 'A': ['B'], 'B': ['A', 'C', 'H'], 'C': ['B', 'D'], ...

https://machinelearningmastery.com/beam-search-decoder-natural-language-processing/ 를 참고 Beam Search Decoder Beam Search는 Greedy Search 알고리즘(k=1)을 확장한 것이며, output sequences 의 리스트를 반환한다. be...

Attention Is ALL You Need 논문 바로가기 대학원에서 공부할 당시 자연어 처리 맛만 보고, 회사 다니고 나서는 자연어 처리쪽 업무 경험은 전무하다. 앞으로도 특별한 일이 없는 한 딱히 있을 것 같진 않지만… transformer가 자연어처리 외에 다른 분야에도 사용되는 경우도 많다고 하니( ex) DETR ), 리뷰를 해보자...

https://towardsdatascience.com/intuitively-understanding-connectionist-temporal-classification-3797e43a86c 를 참고 CTC Loss의 이해 진행중 ~