Triplet Network Architecture

Deep metric learning using
Triplet network
Elad Hoffer, Nir Ailon
발표자: 전혁준
요약
-
Deep learning
-
-
Triplet network model 제안
-
-
유용한 의미의 표현을 학습
Classification task의 일부로 학습(기존)
- black car, white car, dark grey car ⇒ car
Similarity task(Fine-grained image similarity)
- black car query ⇒ dark grey car > white car
거리 차로 표현을 학습
영상 검색에서 ranking을 학습에 사용(Wang et al.)
유사한 것을 더 가깝게, 다른 것은 더 멀게
Competitor
-
Siamese network
Metric Learning
-
유사/거리 함수 학습
K-NN, Clustering, Image Retrieval에 활용
http://horicky.blogspot.kr/2012/08/measuring-similarity-and-distance.html
Face Recognition
-
Classification: 누구냐?
-
Metric Learning: 같냐?
Same person or not.
Siamese Network Architecture
Learning Hierarchies of Invariant Features. Yann LeCun.
helper.ipam.ucla.edu/publications/gss2012/gss2012_10739.pdf
Triplet Network Architecture
LOSS Layer
F(x-)
F(x)
F(x+)
Q
P
N
x
x+
x-
Embedding Net
Triplet Tuple에서 x-x1는 x-x2보다 더 유사하다.
(Siamese Network에서는 표현을 못 함) ⇒ relative relationship
Result
Deep Ranking
Mutiscale network structure. 3개의 path로 작동. 녹색 박스는 deep convolution network임. 마지막으로 l2
Normalization에서 정규화를 진행.
Learning Fine-grained Image Similarity with Deep Ranking, Jiang Wang et al.,
https://arxiv.org/pdf/1404.4661.pdf
Deep Ranking Result
OASIS feature(L1HashKPCA feature with
OASIS learning)
Visual appearance는 잘 표현하지만, semantic은
떨어진다.
ConvNet
semantic 하지만, global 속성이 떨이진다.
Deep Ranking은 visual appearance와 semantic
이 잘 된다.