결국 빛나리라

EMNLP.Introductionuniversal sentence embedding을 학습하는 것은 NLP에서 다루는 근본적인 문제임Contrastive learning미니배치 별로 구성된 문장에서, 문장 pair를 구성하고 pair들 중 positive pair가 무엇인지 찾는 학습이다.두가지 문장의 의미에 따라 positive pair인지 negative pair인지를 찾는다.SimCSEPretrained embedding + contrastive learning → SoTA sentence embeddingContrastive learning을 통해 sentence 학습함unsupervised와 supervised setting으로 나눠 실험 설계함 BackgroundContrastive learn..

IntroductionProposed MethodPermutation Language ModelingTwo-Stream Self-Attention for Target-Award RepresentationIncorporating Ideas from Transformer-XLExperimentsResultsAblation StudyConclusionReference기존의 Language model 및 BERT의 문제점을 지적하며 나온 논문으로, 2019년 당시 20개의 NLP task에서 BERT의 성능을 능가하고 그 중 18개의 task에서 SoTA를 찍은 모델이다.transformer XL 논문을 냈던 저자들이 쓴 논문으로, permutation learning, two-stream attention m..

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension[2019 facebook ai] IntroductionModelArchitecturePre-training BARTFine-tuning BARTComparing Pre-training ObjectivesTasksResultsLarge-scale Pre-training experiementsDiscriminative TasksGeneration TasksSummarizationDialogueAbstractive QATranslationQualitative AnalysisReferenceIntroductio..

논문명: Attention Is All You Need 저자: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia PolosukhinAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 출간지: Conference on Neural Information Processing Systems (NIPS 2017) 발간일: 2017.12. 논문명: Neural Machine Translation by Join..

논문명: Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence 저자: Chi Sun, Luyao Huang, Xipeng Qiu 출간지: School of Computer Science, Fudan University 발간일: 2019.03. ▶ Introduction BERT를 활용하여 속성기반 감성분석을 수행한다. 기존의 Aspect- based sentiment analysis(ABSA)는 문장 수준 혹은 문서 수준의 태스크이기 때문에 두 개 이상의 multiple target에 대한 예측은 수행할 수 없다. 따라서 본 논문에선 타겟이 여러 개인 데이터에 대한 속성기반 분석인 Targeted Asp..

논문명: 리뷰의 의미적 토픽 분류를 적용한 감성분석 모델 저자: 임명진, 김판구, 신주현 저널: 스마트미디어 저널 발간일: 2020년 06월 드라마 리뷰 데이터를 대상으로 "토픽 별" 감성분석을 수행한 논문이다. ▶ 분석 프로세스 및 결과 분석 프로세스와 과정 별 결과는 다음과 같다. 1. LDA (Latent Dirichlet Allocation) 리뷰데이터들을 대상으로 LDA토픽모델링을 수행한다. 문서 내 주제 분포 분석 및 주제 내 단어 분포를 분류하기 위해 LDA를 사용했다. LDA를 사용해 토픽간 관련성을 최소로하는 토픽을 총 3가지 도출하였다. 2. Semantic Topic Reclassification 해당 논문에서 눈 여겨 보았던 부분이다. LDA를 통해 데이터를 토픽 별로 분류하였는데,..