으죨

  • 홈
  • 태그
  • 방명록

elmo 1

[딥러닝, 논문리뷰] 엘모(Embeddings from Language Model, ELMo)

https://aclanthology.org/N18-1202.pdf  2018년 제안 된 새로운 워드 임베딩 방법론 중 하나,ELMo라는 이름은 새서미 스트릿이라는 미국 인형극 캐릭터의 이름이기도 한데, BERT 모델과 같이 캐릭터를 기반으로 이름을 짓는 경우가 다분하다.ELMo는 Embeddings from Language Mode의 약자로서 직관적으로 해석하자면 "언어 모델을 통한 임베딩"이라고 할 수 있는데 엘모의 가장 큰 특징은 사전훈련 모델을 사용한다는 것이 특정임 1. Abstract 이 논문은 단어의 구문적(Syntactic) 및 의미적(Semantic) 특성을 포착하고, 다양한 언어적 맥락에 따라 단어의 의미가 어떻게 변하는지를 모델링하는 새로운 형태의 심층 문맥화된 단어 표현을 제안함 1..

딥러닝, 논문 리뷰 2025.01.02
이전
1
다음
더보기
프로필사진

으죨

영업, 데이터분석, ML/DL 공부한 내용 정리하는 블로그

  • 분류 전체보기 (40)
    • 머신러닝 교과서_파이토치편 (3)
    • 딥러닝, 논문 리뷰 (33)
    • 프로젝트 (1)
    • 딥러닝 기초 수학 (1)
    • 멀티모달_프로젝트 (2)
    • CS기초 (0)

Tag

DeepLearning, 논문리뷰, 손실함수, 자연어처리, MSE, Deep Dive, deep learning, ViT, transformer, 임베딩, 최적화, 멀티모달, nlp, BCE, 딥러닝, encoder, Seq2Seq, 퍼셉트론, Attention, llm,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/03   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp All rights reserved.

티스토리툴바