으죨

https://arxiv.org/abs/2502.13347v1 Craw4LLM: Efficient Web Crawling for LLM PretrainingWeb crawl is a main source of large language models' (LLMs) pretraining data, but the majority of crawled web pages are discarded in pretraining due to low data quality. This paper presents Crawl4LLM, an efficient web crawling method that explores the webarxiv.org 1. AbstractCraw4LLM은 대형 언어 모델(LLM)의 사전 훈련을 위한 ..

Word2Vec1. 희소 & 밀집 표현대표적인 기법 → 원-핫 인코딩대상이 되는 범주형 변수는 해당 변수 범주 개수(n)만큼의 신규 변수로 쪼개어짐고차원 행렬 형태로 변환되며 고유 이진 벡터로 표현됨으로 범주간 구분을 명확히함, 그러나 각 단어 벡터간 유의미한 유사성을 표현할 수 없는 단점이 있음왜 희소 표현인지?작은 단어의 집합 예제를 통해 표현예제단어 집합: ["I", "love", "NLP", "ChatGPT", "AI"] 이 있다고 가정할 때 이것을 원-핫 벡터로 표현한다면 단어원-핫 벡터I[1, 0, 0, 0, 0]love[0, 1, 0, 0, 0]NLP[0, 0, 1, 0, 0]ChatGPT[0, 0, 0, 1, 0]AI[0, 0, 0, 0, 1] 각 벡터는 5차원이며, I가 해당되는 단어만 ..