Papers
arxiv:2311.03301

Ziya2: Data-centric Learning is All LLMs Need

Published on Nov 6, 2023
· Submitted by akhaliq on Nov 7, 2023
Authors:
,
,
,

Abstract

Ziya2, a 13-billion-parameter language model built on LLaMA2 and further pre-trained on 700 billion tokens, achieves superior performance across multiple benchmarks using data-centric optimization techniques.

AI-generated summary

Various large language models (LLMs) have been proposed in recent years, including closed- and open-source ones, continually setting new records on multiple benchmarks. However, the development of LLMs still faces several issues, such as high cost of training models from scratch, and continual pre-training leading to catastrophic forgetting, etc. Although many such issues are addressed along the line of research on LLMs, an important yet practical limitation is that many studies overly pursue enlarging model sizes without comprehensively analyzing and optimizing the use of pre-training data in their learning process, as well as appropriate organization and leveraging of such data in training LLMs under cost-effective settings. In this work, we propose Ziya2, a model with 13 billion parameters adopting LLaMA2 as the foundation model, and further pre-trained on 700 billion tokens, where we focus on pre-training techniques and use data-centric optimization to enhance the learning process of Ziya2 on different stages. Experiments show that Ziya2 significantly outperforms other models in multiple benchmarks especially with promising results compared to representative open-source ones. Ziya2 (Base) is released at https://huggingface.co/IDEA-CCNL/Ziya2-13B-Base and https://modelscope.cn/models/Fengshenbang/Ziya2-13B-Base/summary.

Community

أدب القاضي في الإسلام

  1. المقدمة:

بيان أهمية موضوع القضاء وأدب القاضي في الإسلام.
الإشارة إلى مكانة القضاء في تحقيق العدل وحفظ الحقوق.
تحديد هدف الدراسة: بيان الصفات الأخلاقية للقاضي، شروط توليه القضاء، والآداب الواجبة والمستحبة.
إشارة موجزة لهيكل البحث.

  1. المطلب التمهيدي: تعريف القضاء:

الفرع الأول: تعريف القضاء لغةً.
الفرع الثاني: تعريف القضاء اصطلاحًا عند الفقهاء.

  1. المبحث الأول: صفات القاضي وشروط توليته القضاء:

المطلب الأول: تعريف القاضي لغةً واصطلاحًا.
المطلب الثاني: صفات القاضي الأخلاقية وشروط توليه القضاء.
الفرع الأول: صفات القاضي الأخلاقية (العدالة، الورع، الصبر، الصدق...).
الفرع الثاني: شروط توليه القضاء (الكفاءة، الفقه، الخبرة...).

  1. المبحث الثاني: آداب القاضي:

المطلب الأول: الآداب الواجبة على القاضي.
المطلب الثاني: الآداب المستحبة للقاضي.

  1. الخاتمة:

أهمية التزام القاضي بالشروط والآداب لتحقيق العدل.
مسؤولية القاضي وأثرها في استقرار المجتمع.
جوانب التميز في النظام القضائي الإسلامي المتعلقة بأدب القاضي.

  1. النتائج وقائمة المصادر والمراجع.

Sign up or log in to comment

Models citing this paper 2

Datasets citing this paper 0

No dataset linking this paper

Cite arxiv.org/abs/2311.03301 in a dataset README.md to link it from this page.

Spaces citing this paper 1

Collections including this paper 9