전체 글 153

[인과추론의 데이터과학] Chapter 1. 인과추론이란?

[인과추론의 데이터과학] 포스팅은 "인과추론의 데이터과학" 유튜브 채널의 강의를 들은 후, 기억하고 싶은 강의내용을 정리한 글입니다. 상세한 내용은 아래에 첨부한 링크의 강의에서 들으실 수 있습니다. https://www.youtube.com/watch?v=PmoDo_ANg90&list=PLKKkeayRo4PV_6-nbBgmUNOSpG1OO49M3&index=2&t=11s https://www.youtube.com/watch?v=luesQBhBBI4&list=PLKKkeayRo4PV_6-nbBgmUNOSpG1OO49M3&index=3

Data/인과추론 2023.07.31

SimCSE: Simple Contrastive Learning of Sentence Embeddings

EMNLP.Introductionuniversal sentence embedding을 학습하는 것은 NLP에서 다루는 근본적인 문제임Contrastive learning미니배치 별로 구성된 문장에서, 문장 pair를 구성하고 pair들 중 positive pair가 무엇인지 찾는 학습이다.두가지 문장의 의미에 따라 positive pair인지 negative pair인지를 찾는다.SimCSEPretrained embedding + contrastive learning → SoTA sentence embeddingContrastive learning을 통해 sentence 학습함unsupervised와 supervised setting으로 나눠 실험 설계함 BackgroundContrastive learn..