progr-amador/jurilink-biencoder

SentenceTransformer based on tgsc/sentence-transformer-ult5-pt-small

This is a sentence-transformers model finetuned from tgsc/sentence-transformer-ult5-pt-small. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tgsc/sentence-transformer-ult5-pt-small
• Maximum Sequence Length: 1024 tokens
• Output Dimensionality: 512 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: T5EncoderModel 
  (1): Pooling({'word_embedding_dimension': 512, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'I.\tO processo de inventário destina-se a regular a partilha desses bens comuns, incluindo as dívidas que são comuns, não servindo para fazer valer direitos de qualquer dos cônjuges que não estejam conexionados com o património comum do casal. II.\tDeve ser relacionada no processo de inventário pelo saldo existente à data do divórcio do casal, uma conta bancária aberta pelo interessado no estado de solteiro uma vez que os fundos que a mesma apresenta são provenientes de depósitos posteriores à data do seu casamento com a interessada. III.\tTendo a casa de habitação do casal sido edificada quando os interessados eram namorados sobre um terreno do interessado não se pode considerar a mesma como um bem “adquirido” pelo casal ( i.e. no decurso do casamento) e por consequência um bem comum. (Sumário elaborado pela relatora)',
    'I - O Administrador de Condomínio pode ser exonerado pelo tribunal, a requerimento de qualquer condómino, quando se mostre que praticou irregularidades ou agiu com negligência no exercício das suas funções. II - Assim, o tribunal tem que conhecer os concretos actos do administrador que esteja a exercer funções de forma a aferir se o mesmo praticou actos ilícitos, violadores das suas obrigações legais e contratuais, e culposos, em termos do dolo e negligência. III - Incumbe ao Autor o ónus de alegar e provar os actos concretos realizados pelo Administrador do Condomínio, passiveis de determinar a sua exoneração, o que não sucedeu no caso vertente.',
    '- Assentando a acção na alegada existência de um crédito titulado pelo Réu, no qual a Autora e o marido figuram como devedores, garantido este por hipoteca que incide sobre bem imóvel que constitui a casa de morada da família, sendo que, no seu entender, esse direito de crédito se encontra extinto por prescrição ou deve ser considerado inoperante por abuso de direito por parte do Réu, pedindo-se, em consequência disso, que se cancele a referida hipoteca, a Autora é parte ilegítima para demandar sozinha, tendo em conta o disposto no art. 34º, nº.1, in fine, do Código de Processo Civil. - Essa discussão sobre a subsistência de um direito real de garantia consubstanciado na mencionada hipoteca e, indirectamente, do crédito que lhe dá corpo, constitui sem dúvida um risco de oneração da morada de família em apreço que se insere na letra e no espírito da norma contida no citado art. 34º, nº 1.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.818
spearman_cosine	0.8116

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,760 training samples
• Columns: sumario1, sumario2, and score
• Approximate statistics based on the first 1000 samples:

  	sumario1	sumario2	score
  type	string	string	float
  details	min: 25 tokens mean: 282.78 tokens max: 1024 tokens	min: 29 tokens mean: 332.95 tokens max: 1024 tokens	min: 0.0 mean: 0.24 max: 0.85

• Samples:

  sumario1	sumario2	score
  Após a efetivação da apreensão física dos aparelhos de telemóvel pertencentes aos arguidos, e antes de ser efetuada qualquer pesquisa ao seu conteúdo informático, o processo deve ser remetido ao Juiz de Instrução Criminal para este autorizar a pesquisa e apreensão (com gravação para CD) do correio eletrónico e das comunicações de natureza similar que venham eventualmente a ser encontrados nos aparelhos telefónicos apreendidos.	I – A ação de anulação do testamento caduca ao fim de dois anos a contar da data em que o interessado teve conhecimento do testamento e da causa de anulabilidade (art. 2308º, n.º 2 do CC). II - Esse prazo de caducidade encontra-se sujeito à regra do n.º 2 do art. 287º do CC, da qual resulta que a anulabilidade pode ser arguida a todo o tempo, enquanto o negócio testamentário não estiver cumprido, isto é, enquanto o contemplado não exigir a sucessão. III - O domínio e posse dos bens da herança adquirem-se pela aceitação, independentemente da sua apreensão material, retrotraindo-se os efeitos da aceitação ao momento da abertura da sucessão (art. 2050º, do CC), III – Pela aceitação da herança adquiriram os beneficiários da deixa testamentária o que lhes foi deixado, independentemente da sua posse efetiva, pelo que as disposições testamentárias encontram-se cumpridas, não havendo lugar à aplicação do normativo constante do art. 287.º, nº2 do CC. II - A ousadia de apresentação de uma determ...	0.0
  I - Os processos tutelares cíveis têm a natureza de jurisdição voluntária (artigo 12º do RGPTC) e enquanto tal regem-se não por critérios de estrita legalidade, mas antes por juízos de equidade e oportunidade com vista à tutela dos interesses que visam salvaguardar (vide artigo 987º do CPC). II - Da conjugação dos nºs 2 e 3 do artigo 989º do CPC e respeitando os autos a um incidente de incumprimento de responsabilidades parentais já antes reguladas e que corre por apenso ao processo principal, deduzidos pela progenitora que assume a título principal o encargo de pagar as despesas do filho maior (tal como da menor), resulta clara não só a competência material do tribunal para apreciar a pretensão formulada pela progenitora requerente, como a irrelevância da maioridade do filho para efeitos da apreciação da pretensão, analisada esta quer na perspetiva da competência material, quer na perspetiva da legitimidade para formular essa mesma pretensão. III - Do atingimento da maioridade não res...	I - Ao terem comunicado à promitente compradora que pretendiam desistir do negócio, mediante a devolução do sinal entregue, por não terem condições financeiras para cumprir o contrato, e ao não terem comunicado à ré a alteração da sua morada, constante do contrato e terem deixado decorrer o prazo fixado para a marcação da escritura, os promitentes compradores colocaram-se em situação objectiva de perda de interesse no negócio e na prestação da contraparte, excluído ficando o recebimento do sinal em dobro. II - Não se tratando ainda de recusa definitiva de cumprimento, teria ainda a promitente vendedora de fazer converter a mora daqueles em incumprimento definitivo. III - Constatando-se, todavia, que a interpelação a que procedeu a promitente vendedora a comunicar o dia, hora e local para a realização da escritura de compra e venda, foi efectuada apenas ao autor marido, e não à autora, cônjuge mulher, também outorgante no contrato-promessa de compra e venda, deve a resolução ser conside...	0.0
  I – A lei qualifica como sub-rogação do credor ao devedor a situação prevista no art.º 2067.º CC, referente ao caso em que o devedor, em prejuízo dos seus credores, procede ao repúdio de uma herança que lhe tenha sido atribuída, permitindo aos credores do repudiante a possibilidade de aceitarem a herança em nome deste, nos termos previstos nos artigos 606.º e ss. II - Não se está perante uma substituição pelo credor de um acto cuja prática o devedor omitiu, mas antes na destruição dos efeitos de um acto (o repúdio) que o devedor praticou, pelo que este procedimento sub-rogatório apresenta traços de sub-rogação e de impugnação pauliana. III - Remetendo o n.º 1 do art.º 2067.º para os artigos 606.º e seguintes do CC, isso significa que o credor do repudiante, para aceitar a herança no nome dele, tem que intentar uma acção sub-rogatória, em que forçosamente há-de figurar na posição passiva o devedor renunciante, sendo a citação deste que permite a eficácia em relação ao devedor da acção s...	1. Constatando-se que as condutas omissivas de ambos os Réus, do condomínio e do titular doutra fracção autónoma, foram determinantes para a ocorrência dos danos na fracção dos Autores , não faz sentido que apenas um possa ser obrigado ao pagamento de uma indemnização. 2. Conquanto a violação de uma obrigação em sentido técnico, como é o caso da propter rem, no âmbito de uma relação obrigacional preexistente, se enquadre no regime da responsabilidade obrigacional ou contratual por oposição à delitual ou extra-contratual , o certo é que ambos os Réus concorreram na lesão da fracção dos Autores, devendo por isso ser igualmente (co) responsáveis, em regime de solidariedade, pela sua reparação de acordo com o disposto no art.º 490º e no art.º 497º ambos do Cód. Civil. (Sumário elaborado pela relatora)	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,940 evaluation samples
• Columns: sumario1, sumario2, and score
• Approximate statistics based on the first 1000 samples:

  	sumario1	sumario2	score
  type	string	string	float
  details	min: 21 tokens mean: 275.82 tokens max: 1024 tokens	min: 25 tokens mean: 317.02 tokens max: 1024 tokens	min: 0.0 mean: 0.23 max: 0.95

• Samples:

  sumario1	sumario2	score
  1. Procedendo o administrador da insolvência à alienação de imóveis pertencentes à insolvente e apreendidos para a massa, incumprindo o dever de informação do credor com garantia real sobre esse bem, consagrado no art.º 164.º, nº2, 2ª parte do CIRE, pratica uma irregularidade que é suscetível de ser contextualizada no campo das nulidades processuais, em ordem à aplicação do regime processual civil (art.º 195.º, nº 1 do CPC, ex vi do disposto no art.º 839.º, nº1, alínea c), nos termos do art.º 17.º, nº1 do CIRE); a não se entender assim, vedando liminarmente ao credor com garantia real a possibilidade de ver apreciada, no processo de insolvência, com esse fundamento, pretensão tendente à anulação da venda – remetendo o credor para outro tipo de mecanismos de tutela do seu direito, seja por via da responsabilização civil do administrador pelos prejuízos causados, seja pela formulação de pedido de destituição deste –, estaria configurada uma violação do princípio do processo equitativo co...	1. No domínio das relações imediatas, o avalista que subscreva como parte o contrato de financiamento, donde conste cláusula que autoriza o credor ao preenchimento de livrança entregue em branco, tem legitimidade para arguir a exceção da invalidade desse pacto de preenchimento. 2. Mesmo competindo ao banco, enquanto utilizador das cláusulas contratuais gerais, o ónus de prova da comunicação adequada e efetiva dessas cláusulas (cfr. Art. 5.º n.º 3 do Dec.Lei n.º 446/85 de 25/10), ainda assim, quanto à cláusula constante das condições gerais onde se estabelece a possibilidade de acionamento da livrança subscrita e avalizada em branco, deve ter-se em consideração que a ideia de “aval” e de “ser avalista” está no domínio do senso comum e qualquer pessoa de mediana cultura, instrução e diligência sabe o que é um aval e o que significa ser avalista de alguém. 3. Sendo o Autor também sócio-gerente da sociedade subscritora da livrança, desde o momento da sua constituição, e um empresário exper...	0.45
  As penas acessórias desempenham uma função preventiva adjuvante da pena principal, com sentido e conteúdo não apenas de intimidação da generalidade, mas, também, de defesa contra a perigosidade individual – neste sentido, o Acórdão do Tribunal da Relação de Lisboa, de 26 de Maio de 2015 (Processo n.º 915/14.9SGLSB.L1-5, disponível em www.dgsi.pt). Porque se trata de uma pena, ainda que acessória, deve o julgador, na sua graduação atender, também ao estabelecido no artigo 71.º do Código Penal, tendo presente que a sua finalidade (ao contrário da pena principal que visa a protecção de bens jurídicos e a reintegração social do agente) assenta na censura da perigosidade e na necessidade de incutir no espírito do condutor que, após ingerir bebidas alcoólicas, não pode conduzir. O facto de o arguido/recorrente necessitar da carta de condução para a sua actividade profissional, de onde retira os rendimentos económicos para o seu sustento doméstico, não revela uma menor premência de aplicação ...	I – Num processo em que um arguido está sujeito à medida de coação de obrigação de permanência na habitação, todos os prazos processuais (incluindo, pois, o prazo de apresentação do pedido de indemnização civil) correm em férias judiciais. II – Esse prazo de dedução do pedido de indemnização civil não é alongado em caso de declaração de especial complexidade do processo, pois não se inclui no elenco taxativo que consta do artigo 107.º, n.º 6, do Código de Processo Penal.	0.0
  I – Não age com negligência grosseira o sinistrado que deixou o veículo que conduzia mal travado e com o motor a trabalhar, estacionado numa rampa inclinada para ir proceder ao fecho de uma torneira, tendo o veículo começado a andar sozinho indo embater no sinistrado, provocando-lhe lesões. II – Decorrido o prazo de 18 ou 30 meses após a data do acidente, consoante os casos, a incapacidade temporária converte-se em incapacidade permanente. III – A pensão a fixar conforme o grau de incapacidade que vier a ser fixada, é devida desde a data em que a ITA se converteu por força da lei, nos termos atrás referidos, em IPA, ou seja, partir da data da “alta processual”. (Sumário elaborado pelo Relator)	I. O art.º 71º, n.º 2, da Lei dos Acidentes de Trabalho (Lei n.º 98/2009 de 4/09, LAT) adoptou um conceito de retribuição mais abrangente do que o previsto no art.º 258º do CT, abarcando, para além do salário normalmente auferido pelo trabalhador, tanto as prestações pecuniárias de base, como as acessórias que correspondam a uma vantagem económica do trabalhador. II. Não tendo a trabalhadora no ano que precedeu o acidente prestado a sua atividade, nos termos dos n.º 5 e 1 do art.º 71 da LAT, e portanto sendo indeterminada a retribuição global do ano anterior, a indemnização, seja decorrente de incapacidade temporária, seja de incapacidade permanente, absoluta ou parcial, é calculada segundo o prudente arbítrio do juiz, tendo em atenção a natureza dos serviços prestados, a categoria profissional do sinistrado e os usos. III. Não merece censura a sentença que, em tal caso, para apurar a retribuição devida, lançou mão dos valores auferidos por duas colegas da trabalhadora com a mesma cate...	0.45

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 10
• warmup_ratio: 0.05
• fp16: True
• load_best_model_at_end: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	spearman_cosine
0.5155	1000	0.069	0.0362	0.6002
1.0309	2000	0.0336	0.0342	0.6699
1.5464	3000	0.0244	0.0272	0.7231
2.0619	4000	0.0213	0.0257	0.7418
2.5773	5000	0.0143	0.0237	0.7682
3.0928	6000	0.0144	0.0232	0.7753
3.6082	7000	0.0098	0.0243	0.7812
4.1237	8000	0.0098	0.0206	0.7931
4.6392	9000	0.0074	0.0204	0.7999
5.1546	10000	0.007	0.0212	0.7972
5.6701	11000	0.0055	0.0194	0.8042
6.1856	12000	0.0052	0.0199	0.8007
6.7010	13000	0.0045	0.0199	0.8031
7.2165	14000	0.0042	0.0192	0.8053
7.732	15000	0.0038	0.0189	0.8097
8.2474	16000	0.0033	0.0191	0.8106
8.7629	17000	0.0033	0.0187	0.8114
9.2784	18000	0.0031	0.0188	0.8115
9.7938	19000	0.0028	0.0186	0.8116

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 2.14.4
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}