cuadron11/jina-reranker-v2-base-multilingual-1negative

CrossEncoder based on jinaai/jina-reranker-v2-base-multilingual

This is a Cross Encoder model finetuned from jinaai/jina-reranker-v2-base-multilingual using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: jinaai/jina-reranker-v2-base-multilingual
• Maximum Sequence Length: 1024 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-1negative")
# Get scores for pairs of texts
pairs = [
    ['Zein da Euskal Hezkuntza Sistemaren etorkizunari buruzko hitzarmenaren oinarriak zehazteko ponentziaren helburua?', '[TOPIC: Txostena, etorkizuneko euskal hezkuntza-sistemari buruzko hitzarmenaren oinarriak zehazteko ponentziak egindakoa. Eztabaida eta behin betiko ebazpena]\n[GORROTXATEGI AZURMENDI, (EP-IU)]:\negitea. Dena dela, esan bezala, lehenik, etorkizunari begira jarri behar dugu gaur. Etorkizuna da orain kontuan hartu behar duguna; eta etorkizunean, halaber, eskerrak eman nahiko nizkizueke, fio naizelako arestian aipatu ditudan eragile guztiak, gainerako alderdi politikoak ere, bere interes propioak albo batera utzi eta interes orokorraren alde egiteko gai izango direla. Baita sailari ere, erdietsi ditugun akordioak, bestelako presiorik gabe, lantzeko gai eta arduradun izango delakoan. Betiere gizarte-mugimenduen eta (Date: 07.04.2022)'],
    ['Zein da Martínez Hierroren iritzia errelato partekatu bat eraikitzeari buruz Euskal Herrian?', '[TOPIC: Lehenbailehen eztabaidatzeko Euzko Abertzaleak eta Euskal Sozialistak talde parlamentarioek egindako legez besteko proposamena, ETAren armagabetzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MARTÍNEZ HIERRO, (EP)]:\naurrera, egia da etorkizunera begiratu behar dela iragana ahaztu gabe, biolentzia deslegitimatuz, eta, baita ere, errelato bat ireki nahi badugu, errelato partekatu bat eraikitzea, eta errelato partekatu hori izatea oinarri bezala biolentzia honen deslegitimazioa. Eta lehen esan dudan bezala, ez bakarrik biolentzia zuzena edo armek sortu duten biolentzia, baizik eta, baita ere, oraindik gizartean badaukagun hainbat biolentzia forma ezberdin, biolentzia kulturala eta herri honetan oraindik instalatuta dauden hainbat gauza. (Date: 06.04.2017)'],
    ['Zein da Ertzaintzaren hasierako prestakuntzaren iraupena polizia-prozedurei eta autobabesari dagokionez?', '[TOPIC: Galdera, Miren Gallastegui Oyarzábal Euskal Sozialistak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Ertzaintzaren aurkako agresioak ekiditeko Segurtasun Sailak hartu beharreko neurriei buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nEskerrik asko, presidente andrea. Legebiltzarkideok, egun on berriro ere. Gallastegui andrea, segurtasun-neurriei buruz agerikoak diren gauza batzuk gogorarazi behar dizkizut: adibidez, ertzain guztiek hasieran prestakuntza handia jasotzen dutela polizia-prozedurei eta autobabesari buruz. Bederatzi hilabete akademian eta beste hainbeste polizia-unitateetan praktikak egiten. Hasierako prestakuntza hori sakondu eta zabaldu egiten da gero, ertzainen karreran zehar, eguneratze-ikastaroekin, birziklatze-ikastaroekin, espezializazio-ikastaroekin... Baina, era berean, garrantzitsuak dira oso ekintza (Date: 13.03.2015)'],
    ['Noiz izan zen kutxen legearen erreforma indarrean jarri zena?', "[TOPIC: Legegintzako herri-ekimeneko lege-proposamena, hidrokarburo ez-konbentzionalak erauzteko prozesuan eta haustura hidrauliko edo 'fracking'ean ingurumena babesteko neurri osagarriei buruz. Aintzat hartzeari buruzko eztabaida eta behin betiko ebazpena]\n[DAMBORENEA BASTERRECHEA, (PV-ETP)]:\ngara arazorik izan ez duten bakarrak, besteak beste bateratzeak arazo batzuk estali zituelako, eta nik uste hori ere guztiok dakigula. Esan duzu Arabako ahaldun nagusia akzioak sortzaileei bueltatzearen aldekoa dela... Tira, bat nator erabat Arabako ahaldun nagusiarekin. Are gehiago, jakin dezazun esango dizut joan den legealdian kutxen legearen erreforma, oraindik indarrean dagoena, hona ekarri zenean gure taldeak esan zuela fundazioak arautu behar zirela eta, jakina, erakunde sortzaileek han egon behar (Date: 04.12.2014)"],
    ['Zein da EAEko Auzitegi Nagusiaren ebazpena Osakidetzako aldi baterako kontratazio-zerrendak kudeatzeko eta egiteko irizpideak aldatzeari buruz?', '[TOPIC: Galdera, Laura Garrido Knörr Euskal Talde Popularreko legebiltzarkideak Osasuneko sailburuari egina, Osakidetzako aldi baterako kontratazio-zerrendak kudeatzeko eta egiteko irizpideak aldatzeari buruz]\n[BLANCO DE ANGULO, (EH Bildu)]:\nEskerrik asko. Arrazoi izango duzu agian, eta instrukzioak nahasi ditut. Ez dugu hitz egin ez zuk ez nik, eta agertu da, EAEko Auzitegi Nagusiaren ebazpenaz, nik aipatzen nuenaz. Egia da gogoko duzuela zuek agindua, baina guri ez zaigu gustatzen, ez zaigu inoiz gustatu, eta beti esan dugu. Ez zaigu gustatzen agindu hori, ezta 114 Dekretua ere, guk gai berarekin jarraitzen baitugu, eta da iruditzen zaigula urtebetez erroldatuta ez (Date: 21.02.2014)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Zein da Euskal Hezkuntza Sistemaren etorkizunari buruzko hitzarmenaren oinarriak zehazteko ponentziaren helburua?',
    [
        '[TOPIC: Txostena, etorkizuneko euskal hezkuntza-sistemari buruzko hitzarmenaren oinarriak zehazteko ponentziak egindakoa. Eztabaida eta behin betiko ebazpena]\n[GORROTXATEGI AZURMENDI, (EP-IU)]:\negitea. Dena dela, esan bezala, lehenik, etorkizunari begira jarri behar dugu gaur. Etorkizuna da orain kontuan hartu behar duguna; eta etorkizunean, halaber, eskerrak eman nahiko nizkizueke, fio naizelako arestian aipatu ditudan eragile guztiak, gainerako alderdi politikoak ere, bere interes propioak albo batera utzi eta interes orokorraren alde egiteko gai izango direla. Baita sailari ere, erdietsi ditugun akordioak, bestelako presiorik gabe, lantzeko gai eta arduradun izango delakoan. Betiere gizarte-mugimenduen eta (Date: 07.04.2022)',
        '[TOPIC: Lehenbailehen eztabaidatzeko Euzko Abertzaleak eta Euskal Sozialistak talde parlamentarioek egindako legez besteko proposamena, ETAren armagabetzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MARTÍNEZ HIERRO, (EP)]:\naurrera, egia da etorkizunera begiratu behar dela iragana ahaztu gabe, biolentzia deslegitimatuz, eta, baita ere, errelato bat ireki nahi badugu, errelato partekatu bat eraikitzea, eta errelato partekatu hori izatea oinarri bezala biolentzia honen deslegitimazioa. Eta lehen esan dudan bezala, ez bakarrik biolentzia zuzena edo armek sortu duten biolentzia, baizik eta, baita ere, oraindik gizartean badaukagun hainbat biolentzia forma ezberdin, biolentzia kulturala eta herri honetan oraindik instalatuta dauden hainbat gauza. (Date: 06.04.2017)',
        '[TOPIC: Galdera, Miren Gallastegui Oyarzábal Euskal Sozialistak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Ertzaintzaren aurkako agresioak ekiditeko Segurtasun Sailak hartu beharreko neurriei buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nEskerrik asko, presidente andrea. Legebiltzarkideok, egun on berriro ere. Gallastegui andrea, segurtasun-neurriei buruz agerikoak diren gauza batzuk gogorarazi behar dizkizut: adibidez, ertzain guztiek hasieran prestakuntza handia jasotzen dutela polizia-prozedurei eta autobabesari buruz. Bederatzi hilabete akademian eta beste hainbeste polizia-unitateetan praktikak egiten. Hasierako prestakuntza hori sakondu eta zabaldu egiten da gero, ertzainen karreran zehar, eguneratze-ikastaroekin, birziklatze-ikastaroekin, espezializazio-ikastaroekin... Baina, era berean, garrantzitsuak dira oso ekintza (Date: 13.03.2015)',
        "[TOPIC: Legegintzako herri-ekimeneko lege-proposamena, hidrokarburo ez-konbentzionalak erauzteko prozesuan eta haustura hidrauliko edo 'fracking'ean ingurumena babesteko neurri osagarriei buruz. Aintzat hartzeari buruzko eztabaida eta behin betiko ebazpena]\n[DAMBORENEA BASTERRECHEA, (PV-ETP)]:\ngara arazorik izan ez duten bakarrak, besteak beste bateratzeak arazo batzuk estali zituelako, eta nik uste hori ere guztiok dakigula. Esan duzu Arabako ahaldun nagusia akzioak sortzaileei bueltatzearen aldekoa dela... Tira, bat nator erabat Arabako ahaldun nagusiarekin. Are gehiago, jakin dezazun esango dizut joan den legealdian kutxen legearen erreforma, oraindik indarrean dagoena, hona ekarri zenean gure taldeak esan zuela fundazioak arautu behar zirela eta, jakina, erakunde sortzaileek han egon behar (Date: 04.12.2014)",
        '[TOPIC: Galdera, Laura Garrido Knörr Euskal Talde Popularreko legebiltzarkideak Osasuneko sailburuari egina, Osakidetzako aldi baterako kontratazio-zerrendak kudeatzeko eta egiteko irizpideak aldatzeari buruz]\n[BLANCO DE ANGULO, (EH Bildu)]:\nEskerrik asko. Arrazoi izango duzu agian, eta instrukzioak nahasi ditut. Ez dugu hitz egin ez zuk ez nik, eta agertu da, EAEko Auzitegi Nagusiaren ebazpenaz, nik aipatzen nuenaz. Egia da gogoko duzuela zuek agindua, baina guri ez zaigu gustatzen, ez zaigu inoiz gustatu, eta beti esan dugu. Ez zaigu gustatzen agindu hori, ezta 114 Dekretua ere, guk gai berarekin jarraitzen baitugu, eta da iruditzen zaigula urtebetez erroldatuta ez (Date: 21.02.2014)',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: jina-reranker-v2-base-multilingual-1negative
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10
  }
  

Metric	Value
map	0.9999
mrr@10	0.9999
ndcg@10	1.0

Training Details

Training Dataset

Unnamed Dataset

• Size: 34,824 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 30 characters mean: 99.81 characters max: 247 characters	min: 562 characters mean: 773.46 characters max: 1209 characters	min: 16 characters mean: 398.41 characters max: 1045 characters

• Samples:

  query	positive	negative
  Zergatik ez zuen alde bozkatu EH Bilduk Lanbiden aztarna digitala ezartzeari buruzko proposamenean?	[TOPIC: Euskal Legebiltzar Talde Popularrak egindako legez besteko proposamena, Lanbiden aztarna digitala ezartzeari buruz. Eztabaida eta behin betiko ebazpena] [BLANCO DE ANGULO, (EH Bildu)]: erabili du hauteskunde-kanpaina egiteko, eta horretarako, beti egin ohi duen bezala, gizarte-eskubideak lokaztu ditu. Lehen, beste bozeramaile batek esan du pertsona batzuk sistematik at gelditzen direla. Noski! Nola hurbilduko da, bada, jendea Lanbidera, nola hurbilduko da, bada, oinarrizko gizarte-zerbitzu batera, gurutze batez markatzen badiote kopeta! Nola, bada, kalean entzuten ari diren guztia kontuan izanda! Hori ari zara lortzen. Horregatik, begi-bistakoa denez, gaur ez dugu alde bozkatuko, ez (Date: 30.04.2015)	[TOPIC: Galdera, Amaia Martinez Grisaleña, Talde Mistoko legebiltzarkideak lehendakariari egina, ETAren kasu argitu gabeak direla eta, EBren ordezkaritzaren Gasteizko bisitari buruz] [MARTÍNEZ GRISALEÑA, (Mixto-Vox)]: bakarrik hitz egiten duen hori, eta aldez aurretik diotsut: oso ongi iruditzen zaigu. Baina lerro bakarra ere ez terrorismoa goraipatzearen aurka eta ETAren biktimei kalteordainak emateari buruz, adibidez. Jendaurrean esan duzu, halaber, oraindik argitu gabeko 400 krimenak ikertzearen aldekoa zarela, hain zuzen ere, gertatuak argitzeko beharra jaso behar duelako memoriak. Zein hitz hunkigarriak eta zein gutxi esan nahi duten agertoki honetan. Zer egin duzu azken urteotan ETAren krimenak argitzeko? (Date: 12.11.2021)
  Zein urtetan baztertu zuen Urkullu lehendakariak aurkeztutako aurrekontuen lege-proiektua, babes faltagatik?	[TOPIC: Galdera, Susana Corcuera Leunda Euskal Sozialistak taldeko legebiltzarkideak Ogasun eta Finantzetako sailburuari egina, aurrekontu-luzapenari buruzko legezkotasuna 2013an ez betetzeari buruz] [CORCUERA LEUNDA, (SV-ES)]: Eskerrik asko, presidente andrea. Sailburuok, jaun-andreok, egun on. Sailburu jauna, orain dela astebete jaso genuen Herri Kontuen Euskal Epaitegiak 2013. ekitaldirako egin zuen Euskal Autonomia Erkidegoko Administrazio orokorraren kontuaren fiskalizazio-txostena. Eusko Jaurlaritzak gauzatu zuen 2013ko aurrekontu-ekitaldiaren luzapena fiskalizatzea da kontua, Urkullu lehendakariak baztertu egin behar izan baitzuen 2013. urterako aurkeztu zuen aurrekontuen lege-proiektua, onartua izateko behar besteko babesik lortu ez zuelako, zenbait taldek, besteak beste Talde (Date: 26.06.2015)	Bazterketa horren ondorioz, bi lege-proiektu bidali dira; ikusiko dugu zer gertatzen den haiekin. Enpleguaren legea.
  Zein da Euskal Autonomia Erkidegoko Kultura Ondarearen Kontseiluaren osaera, antolamendua, funtzionamendua eta zereginen inguruan Eusko Jaurlaritzak dituen irizpideak?	[TOPIC: Mozioa, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak aurkeztua, Eusko Jaurlaritzak Kultura Ondarearen Euskal Autonomia Erkidegoko Kontseiluaren osaerari, antolamenduari, funtzionamenduari eta zereginei dagokienez dituen irizpideen inguruan. Eztabaida eta behin betiko ebazpena] [BARRIO BAROJA, (PV-ETP)]: konbentzitzen erraza izan zen, Estarrona jaunaren zuzenketa zela eta. Jakina, Gobernuak ezetz proposatzen dio: "ez dugu hori lege honetan erregulatuko; egin dezala Gobernuak nahi duenean, diskrezionalki". Bada, noski izan zela konbentzitzen erraza. Inoiz ez dut ikusi zuzenketarik..., tira, Gobernuari sostengua ematen dioten legebiltzarkideek argiago onartzen zutenik, jakinik hura onartu egin behar zela bai ala bai. Laugarren artikuluaren eztabaida beheratu egin zen ponentzian, eta Gobernuari uzten zitzaion (Date: 06.02.2020)	Euskal Kultura Ondarearen Erregistroa erregulatzen ari gara. Oinarrizko Babesa duten Kultura Ondasunen Erregistroa erregulatzen ari gara.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": 1,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 32
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 8,706 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 30 characters mean: 100.98 characters max: 312 characters	min: 516 characters mean: 772.69 characters max: 1018 characters	min: 0 characters mean: 396.04 characters max: 1073 characters

• Samples:

  query	positive	negative
  Zein da Euskal Hezkuntza Sistemaren etorkizunari buruzko hitzarmenaren oinarriak zehazteko ponentziaren helburua?	[TOPIC: Txostena, etorkizuneko euskal hezkuntza-sistemari buruzko hitzarmenaren oinarriak zehazteko ponentziak egindakoa. Eztabaida eta behin betiko ebazpena] [GORROTXATEGI AZURMENDI, (EP-IU)]: egitea. Dena dela, esan bezala, lehenik, etorkizunari begira jarri behar dugu gaur. Etorkizuna da orain kontuan hartu behar duguna; eta etorkizunean, halaber, eskerrak eman nahiko nizkizueke, fio naizelako arestian aipatu ditudan eragile guztiak, gainerako alderdi politikoak ere, bere interes propioak albo batera utzi eta interes orokorraren alde egiteko gai izango direla. Baita sailari ere, erdietsi ditugun akordioak, bestelako presiorik gabe, lantzeko gai eta arduradun izango delakoan. Betiere gizarte-mugimenduen eta (Date: 07.04.2022)	Honezkero ia urte eta erdia pasatu da hezkuntza-sistemaren oinarriak ezartzeko ponentzia eratu zela.
  Zein da Martínez Hierroren iritzia errelato partekatu bat eraikitzeari buruz Euskal Herrian?	[TOPIC: Lehenbailehen eztabaidatzeko Euzko Abertzaleak eta Euskal Sozialistak talde parlamentarioek egindako legez besteko proposamena, ETAren armagabetzeari buruz. Eztabaida eta behin betiko ebazpena] [MARTÍNEZ HIERRO, (EP)]: aurrera, egia da etorkizunera begiratu behar dela iragana ahaztu gabe, biolentzia deslegitimatuz, eta, baita ere, errelato bat ireki nahi badugu, errelato partekatu bat eraikitzea, eta errelato partekatu hori izatea oinarri bezala biolentzia honen deslegitimazioa. Eta lehen esan dudan bezala, ez bakarrik biolentzia zuzena edo armek sortu duten biolentzia, baizik eta, baita ere, oraindik gizartean badaukagun hainbat biolentzia forma ezberdin, biolentzia kulturala eta herri honetan oraindik instalatuta dauden hainbat gauza. (Date: 06.04.2017)	Badakit, Martínez jauna, gogorra da. Baina aitor ezazu, hausnar ezazue. Aukera duzue Legebiltzar honetan egiteko, baina ez zaitez etorri argudio-zerrendarekin halakoari buruz...
  Zein da Ertzaintzaren hasierako prestakuntzaren iraupena polizia-prozedurei eta autobabesari dagokionez?	[TOPIC: Galdera, Miren Gallastegui Oyarzábal Euskal Sozialistak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Ertzaintzaren aurkako agresioak ekiditeko Segurtasun Sailak hartu beharreko neurriei buruz] [SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]: Eskerrik asko, presidente andrea. Legebiltzarkideok, egun on berriro ere. Gallastegui andrea, segurtasun-neurriei buruz agerikoak diren gauza batzuk gogorarazi behar dizkizut: adibidez, ertzain guztiek hasieran prestakuntza handia jasotzen dutela polizia-prozedurei eta autobabesari buruz. Bederatzi hilabete akademian eta beste hainbeste polizia-unitateetan praktikak egiten. Hasierako prestakuntza hori sakondu eta zabaldu egiten da gero, ertzainen karreran zehar, eguneratze-ikastaroekin, birziklatze-ikastaroekin, espezializazio-ikastaroekin... Baina, era berean, garrantzitsuak dira oso ekintza (Date: 13.03.2015)	Gainera, prestakuntza berria jasotzen ari dira autobabeseko polizia-taktika eta -tekniketan, kriminalitate eta terrorismo mota berri hauei aurre egiteko polizia-taktika eta -tekniketan.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": 1,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 32
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• warmup_ratio: 0.1
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	jina-reranker-v2-base-multilingual-1negative_ndcg@10
0.4591	500	0.0301	0.0030	0.9999
0.9183	1000	0.0032	0.0029	1.0000
1.3774	1500	0.0027	0.0029	1.0000
1.8365	2000	0.0025	0.0022	1.0
2.2957	2500	0.0021	0.0027	1.0000
2.7548	3000	0.0019	0.0026	1.0000

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.9.7
• Sentence Transformers: 5.0.0
• Transformers: 4.52.4
• PyTorch: 2.5.1+cu124
• Accelerate: 1.5.2
• Datasets: 4.0.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}