Question about train bench for CLOVA X SEED 3B / CLOVA X SEED 3B 모델의 학습 벤치에 대한 질문.
Hello, CLOVA X team,
I hope this message finds you well.
I’m reaching out regarding the HyperCLOVA X SEED blog post published on April 23rd. Through the post, I learned about the three SEED model sizes: 0.5B, 1.5B, and 3B.
In particular, the post mentions that:
“HyperCLOVA X SEED 0.5B was trained using high-quality training data and the high-performance HyperCLOVA X flagship model, achieving 39 times lower cost than comparable models of similar scale.”
Along with this, the table in the post includes details such as A100 GPU hours and training costs for the 0.5B model.
However, I couldn’t find any information about the training dataset itself—specifically:
- What dataset(s) were used?
- What was the total number of training tokens?
- What was the approximate original data size (in GB or TB)?
I’m asking because I wasn’t able to locate any follow-up technical report or additional documentation that provides these details.
I would greatly appreciate it if you could share any further information or point me to the relevant resources.
Thank you very much.
안녕하세요, CLOVA X.
다름이 아니고, 4월 23일 HypperCLOVA X SEED 게시글을 확인하여서
SEED 모델의 0.5 B / 1.5 B / 3 B 3가지 모델에 대해서 알게되었습니다.
다름이 아니라,
해당 게시글 에서,
“HyperCLOVA X SEED 0.5B는 고품질 학습 데이터와 고성능의 HyperCLOVA X 플래그십 모델을 활용해 유사 체급의 경쟁 모델보다 39배 적은 비용으로 학습되었습니다.”
라는 설명과 함께, 0.5 B 모델의 A100 GPPU Hours / cost 정보가 산출되어있었습니다.
이때, 사용한 학습 데이터에 대한 정보는 찾을 수 없었는데요.
- 어떤 데이터셋을 사용했는지?
- training 의 총 토큰수는 몇 토큰인지?
- 원본 용량은 어느정도 있지?
어느정도인 것을 기준으로 해당 table이 산출되는 것인지 알고 싶습니다.
게시가 된 지 시간이 좀 지났는데, 해당 관련딘 정보와 tech report를 제가 찾을 수 가 없어서 문의 글을 올립니다.
감사합니다.