dkhomdo/bge_m3_multiplenegativesrankingloss

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Những lãnh chúa Scotland đã nhận được lời đề nghị gì từ Edward?',
    'Mặc dù có đến 14 phe phái tranh chấp chủ quyền đối với ngai vàng, cuộc cạnh tranh thực sự chỉ nổ ra giữa John Balliol và Robert de Brus. Các lãnh chúa Scotland đề nghị Edward tiến hành quản lý sự việc và kết quả, nhưng không phải là phân xử giữa các bên tranh chấp. Quyết định thực tế được đưa ra bởi 104 người - 40 người được bổ nhiệm bởi BBalliol, 40 bởi Bruce và 24 người được chỉ định bởi Edward I từ các thành viên cao cấp trong Hội đồng chính trị Scotland. Tại Birgham, với triển vọng về một liên minh cá nhân giữa hai vương quốc, vấn đề bá quyền đã không còn quan trọng đối với Edward. Bây giờ ông nhấn mạnh rằng, nếu ông giải quyết được tranh chấp, ông sẽ được công nhận một cách đầy đủ là lãnh chúa của Scotland. Người Scots miễn cưỡng nhượng bộ, và trả lời rằng khi đất nước không có vua, thì không ai có quyền đưa ra quyết định như vậy. Thế cờ này bị phá hỏng khi những người tranh chấp đồng ý rằng vương quốc sẽ được bàn giao cho Edward cho đến khi tìm ra người thừa kế. Sau cuộc lựa chọn kéo dài, quyết định cuối cùng là ngai vàng trao cho John Balliol ngày 17 tháng 11, 1292.[o]',
    'Các nghiên cứu khảo cổ chỉ ra rằng đã có người định cư tại Nhật Bản từ thời Thượng kỳ đồ đá cũ. Những ghi chép đầu tiên đề cập đến quốc gia này nằm trong các thư liệu lịch sử Trung Hoa có từ thế kỷ thứ nhất Công Nguyên. Thoạt đầu chịu ảnh hưởng từ các vùng đất khác, chủ yếu là Đế quốc Trung Quốc, tiếp đến là giai đoạn tự cách ly, về sau thoát khỏi sự chi phối của thế giới phương Tây, đã hình thành những nét đặc trưng trong lịch sử và văn hóa Nhật Bản. Từ thế kỷ XII đến năm 1868, Nhật Bản liên tục thuộc quyền cai trị của các quân nhân phong kiến shogun nhân danh Thiên hoàng. Quốc gia này bước vào quá trình cô lập kéo dài suốt nửa đầu thế kỷ XVII, và chỉ kết thúc vào năm 1853 khi một hạm đội của Hoa Kỳ gây áp lực buộc Nhật Bản phải mở cửa với phương Tây. Gần hai thập kỷ nội chiến và bạo loạn đã xảy ra trước khi Thiên hoàng Minh Trị tái thiết lại đất nước trong vai trò nguyên thủ vào năm 1868 và khai sinh Đế quốc Nhật Bản, với Thiên hoàng trở thành biểu tượng thiêng liêng của dân tộc. Trong những năm cuối thế kỷ XIX đầu thế kỷ XX, những thắng lợi sau chiến tranh Thanh-Nhật, chiến tranh Nga-Nhật và Chiến tranh thế giới thứ nhất đã cho phép Nhật Bản mở rộng đế chế của mình và củng cố quyền lực của chủ nghĩa quân phiệt. Cuộc chiến tranh Trung-Nhật năm 1937 đã nhanh chóng lan rộng thành một phần của Chiến tranh thế giới thứ hai từ năm 1941, mà cuối cùng kết thúc vào năm 1945 sau vụ ném bom nguyên tử xuống Hiroshima và Nagasaki. Từ thời điểm bản Hiến pháp mới được ban hành năm 1947, Nhật Bản duy trì chế độ quân chủ lập hiến kết hợp dân chủ đại nghị, trong đó cơ quan lập pháp dân cử là Quốc hội Nhật Bản.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6329, 0.2978],
#         [0.6329, 1.0000, 0.3934],
#         [0.2978, 0.3934, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 900 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 900 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 8 tokens mean: 19.5 tokens max: 56 tokens	min: 124 tokens mean: 211.21 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1
  Điểm chung của mọi vi xử lý hay họ xử lý là gì?	Mọi vi xử lý hay họ vi xử lý đều có những tập chỉ thị mã máy riêng biệt. Các chỉ thị này là các mẫu bit được thiết kế tương ứng với những lệnh khác nhau của máy tính. Do đó, những tập chỉ thị này là riêng biệt của một lớp vi xử lý thuộc cùng một kiến trúc máy tính. Những thiết kế vi xử lý kế thừa thường bao gồm các chỉ thị của vi xử lý tiền nhiệm cùng với các chỉ thị mới. Đôi khi, các thiết kế kế thừa lại loại bỏ hay thay đổi chức năng một số mã chỉ thị (vì chúng cần dùng cho mục đích mới), gây ảnh hưởng đến sự đồng bộ mã nguồn ở một mức độ nhất định. Thậm chí, các vi xử lý đồng bộ cận hoàn toàn cũng có những sự biến đổi hành vi đối với một số chỉ thị, nhưng điều này rất hiếm xảy ra. Các hệ thống còn có thể khác nhau ở một số thành phần khác như phương thức sắp xếp bộ nhớ, hệ điều hành hay thiết bị ngoại vi. Vì các chương trình hay phụ thuộc vào các yếu tố này, các hệ thống khác nhau khó có thể chạy cùng một mã máy, ngay cả khi chúng sử dụng cùng một loại vi xử lý.
  Thực vật hạt kín phân bố phổ biến ở đâu trên thế giới?	Sự tiến hóa của giới thực vật đã theo xu hướng thiết lập các loài thực vật với kiểu cách phát triển cố định và phù hợp với sự thay đổi của sự sống trên mặt đất, và thực vật hạt kín là biểu hiện cao nhất của quá trình tiến hóa này. Chúng tạo thành thảm thực vật chủ yếu trên bề mặt Trái Đất trong kỷ nguyên hiện tại. Thực vật hạt kín được tìm thấy từ hai địa cực tới xích đạo, khi mà sự sống của thực vật là có thể duy trì được. Chúng cũng rất phổ biến trong các vùng nông của các con sông và các hồ nước ngọt, cũng như có ít hơn về mặt số lượng loài trong các hồ nước mặn hay trong lòng đại dương. Tuy nhiên, các loài thực vật hạt kín thủy sinh không phải là các dạng nguyên thủy mà được phát sinh ra từ các dạng tổ tiên trung gian trên đất liền. Gắn liền với sự đa dạng về nơi sinh sống là sự dao động lớn về hình thái chung và kiểu sinh trưởng. Chẳng hạn, các loại bèo tấm quen thuộc che phủ bề mặt các ao hồ gồm có các chồi nhỏ màu xanh lục dạng "tản", gần như không thể hiện sự phân biệt giữa các...
  Việc thiết kế các phần mềm giáo dục tại nhà đã bị ảnh hưởng bởi phần mềm nào?	Một phần lớn các chức năng có thể chạy với tốc độ 1000s được phát triển và phân phối từ giữa 1990 đến nay có mục đính chính là giáo dục tại nhà cho trẻ nhỏ. Sau đó các chức năng này bắt đầu gắn kết nội dung giáo dục với các môn học trong nhà trường (như là chương trình giáo dục quốc gia của Anh). Việc thiết kế các phần mềm giáo dục tại nhà đã bị ảnh hưởng mạnh mẽ bởi khái niệm trò chơi trên máy tính – nói cách khác, chúng được thiết kế để giải trí cũng như là để giáo dục. Tuy nhiên, ở mức độ nhất định thì cần thấy rõ sự khác biệt giữa các chức năng học thực sự (như ở đây) và phần mềm thiên về mặt giáo dục (được trình bay ở sau). Các bậc phụ huynh cần phải biết rõ sự khác biệt này để làm căn cứ lựa chọn. Các ví dụ sau đây đưa ra các phần mềm giáo dục cho trẻ em. Chúng có tính sư phạm, hướng vào việc dạy đọc viết và các kỹ năng về số học.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• num_train_epochs: 4
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.5556	500	0.0
1.1111	1000	0.0
1.6667	1500	0.0
2.2222	2000	0.0
2.7778	2500	0.0
3.3333	3000	0.0
3.8889	3500	0.0

Framework Versions

• Python: 3.12.11
• Sentence Transformers: 5.1.0
• Transformers: 4.55.3
• PyTorch: 2.8.0+cu126
• Accelerate: 1.10.0
• Datasets: 4.0.0
• Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}