CTC Loss의 이해

DETR 논문 바로가기 DETR 논문을 읽었다. ‘vision 문제중 하나인 object detector를 Transformer로 풀었다 NMS도 필요없다. 또 panoptic segmentation 에까지 확장 가능하다.’ 라는 내용인데, 읽으면서 몇가지 의문이 들었다. 구현을 염두해둔 의문(positional encoding은 어떻게 코드...

Attention Is ALL You Need 논문 바로가기 대학원에서 공부할 당시 자연어 처리 맛만 보고, 회사 다니고 나서는 자연어 처리쪽 업무 경험은 전무하다. 앞으로도 특별한 일이 없는 한 딱히 있을 것 같진 않지만… transformer가 자연어처리 외에 다른 분야에도 사용되는 경우도 많다고 하니( ex) DETR ), 리뷰를 해보자...

https://machinelearningmastery.com/beam-search-decoder-natural-language-processing/ 를 참고 Beam Search Decoder Beam Search는 Greedy Search 알고리즘(k=1)을 확장한 것이며, output sequences 의 리스트를 반환한다. be...