으죨

  • 홈
  • 태그
  • 방명록

deep. learning 1

[딥러닝, 논문리뷰] GPT-1 Improving Language Understandingby Generative Pre-Training

https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf 1. Abstract 기존 NLU(자연어의 이해)에는 문장의 논리적 관계를 분석하는 "문장간의 함의 관계", QA태스크, 의미적 유사성 평가, 문서 분류 등의 다양한 태스크가 포함되는데, 기존 언어모델에서 훈련에 사용되는 라벨이 붙은 데이터는 현실적으로 수집 후 정제하는 과정에 시간과 비용이 많으 들게 되는 단점이 있고, 또한 라벨이 없는 대규모의 텍스트 코퍼스는 많이 존재하는 것이 현재 처해진 상황이라고 표현  그러므로 기존의 지도 학습 방식의 한계를 극복하기 어려운 문제에 봉착하게 되는데,  그에 따라서 제안 된 본 논문에서는 여러 방..

딥러닝, 논문 리뷰 2025.02.18
이전
1
다음
더보기
프로필사진

으죨

영업, 데이터분석, ML/DL 공부한 내용 정리하는 블로그

  • 분류 전체보기 (40)
    • 머신러닝 교과서_파이토치편 (3)
    • 딥러닝, 논문 리뷰 (33)
    • 프로젝트 (1)
    • 딥러닝 기초 수학 (1)
    • 멀티모달_프로젝트 (2)
    • CS기초 (0)

Tag

nlp, MSE, DeepLearning, Deep Dive, 논문리뷰, 손실함수, llm, 퍼셉트론, 멀티모달, encoder, 임베딩, Seq2Seq, ViT, 자연어처리, BCE, 최적화, transformer, 딥러닝, deep learning, Attention,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/03   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp All rights reserved.

티스토리툴바