Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 13
This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/mnrl_phobert-base-v2_v2")
# Run inference
sentences = [
"Khi phân_quyền cho nhân_viên , liên_quan đến quyền ' Tạo mới ' báo_cáo , tôi có những lựa_chọn nào ?",
'Tôi muốn nhân_sự chỉ xem được 1 vài báo_cáo trong tính_năng báo_cáo thì phải phân_quyền như_thế_nào ?\nĐể nhân_sự chỉ xem được 1 vài báo_cáo trong phân hệ báo_cáo , bạn sử_dụng tài_khoản có quyền cài_đặt hệ_thống thao_tác theo các bước sau :\nBước 1 : Ở phân_quyền tài_khoản cho nhân_sự đó , bạn tích vào quyền Báo_cáo nhưng chỉ để quyền " Tạo mới " hoặc " Không tạo mới " , Không chọn quyền quản_lý và quyền xem .\nPhân_quyền tạo mới báo_cáo cho người dùng\nBước 2 : Tại form tạo mới / sửa báo_cáo muốn chia_sẻ cho nhân_sự xem , bạn_điền tên nhân_sự đó vào trường " chia_sẻ cho " và Cập_nhật .\nNhân_sự đó sẽ chỉ xem được các báo_cáo mà bạn đã cài_đặt .\nCách thêm nhân_sự xem báo_cáo',
'Giao việc\nTạo mới công_việc thường\nGiao việc là tác_vụ nhằm xác_định mục_tiêu , yêu_cầu của công_việc .\nCó kênh giao_tiếp rõ_ràng về công_việc nhằm hỗ_trợ và theo_dõi tiến_độ của nhân_viên trong quá_trình làm_việc , giải_đáp thắc_mắc , giải_quyết vấn_đề và đưa ra góp_ý khi cần_thiết .\nTừ đó đánh_giá kết_quả công_việc , khen_thưởng hoặc phê_bình nhân_viên tuỳ theo hiệu_suất làm_việc của họ .\nĐể tạo mới công_việc thường , người dùng thực_hiện các bước sau :\n1 . Truy_cập phân hệ Công_việc\n2 . Ở góc trên cùng bên trái , chọn Tạo mới Chọn_Công_việc\n3 . Điền thông_tin vào form tạo mới và Cập_nhật\nTạo mới công_việc thường\nBảng mô_tả các trường dữ_liệu trong tạo mới công_việc :\nTrường dữ_liệu : Tên công_việc , Mô_tả : Mục_tiêu , yêu_cầu của công_việc\nTrường dữ_liệu : Bắt_đầu và Kết_thúc Giao việc theo giờ , Mô_tả : Thời_gian dự_kiến hoàn_thành công_việc\nTrường dữ_liệu : Người thực_hiện , Mô_tả : Người có quyền báo_cáo tiến_độ và cập_nhật thời_gian_thực_tế của công_việc\nTrường dữ_liệu : Người giao việc , Mô_tả : Là người có quyền quản_lý công_việc , chuyển trạng_thái công_việc và cập_nhật thời_gian công_việc\nTrường dữ_liệu : Người theo_dõi , Mô_tả : Là người được xem công_việc và nhận thông_báo liên_quan đến công_việc',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
question, positive, negative_0, negative_1, negative_2, negative_3, negative_4, negative_5, negative_6, negative_7, negative_8, and negative_9| question | positive | negative_0 | negative_1 | negative_2 | negative_3 | negative_4 | negative_5 | negative_6 | negative_7 | negative_8 | negative_9 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| type | string | string | string | string | string | string | string | string | string | string | string | string |
| details |
|
|
|
|
|
|
|
|
|
|
|
|
| question | positive | negative_0 | negative_1 | negative_2 | negative_3 | negative_4 | negative_5 | negative_6 | negative_7 | negative_8 | negative_9 |
|---|---|---|---|---|---|---|---|---|---|---|---|
Khi tạo kế_hoạch thu , tôi có_thể thiết_lập kỳ_hạn theo những khoảng thời_gian nào ( ví_dụ tháng , quý ) ? |
Kế_hoạch thu_chi |
Tôi muốn lên kế_hoạch định_biên cho cả năm ? |
Kế_hoạch vật_tư |
Kế_hoạch thu_chi |
Kế_hoạch thu_chi |
Quản_lý thu_chi |
Trên quy_trình mẫu , tôi muốn setup đặt lịch chạy vào ngày 15 hàng tháng thì có cài_đặt được không ? |
Kế_hoạch thu_chi |
Tôi có_thể lưu dữ_liệu báo_cáo vào 1 ngày cụ_thể hàng tháng được không ? |
Quản_lý thu_chi |
Kế_hoạch vật_tư |
Có những cách nào để tôi có được quyền tạo mới tài_liệu đính kèm trên 1 Office ? |
Khắc_phục sự_cố không tạo mới được tài_liệu đính kèm |
PHÂN HỆ TÀI_LIỆU |
Quy_trình tạo mới nguồn ứng_viên trong 1Office là gì ? |
Phân_quyền người dùng |
Làm thế_nào để tạo mới phụ_lục hợp_đồng trong hệ_thống 1 Office ? |
Phân_quyền người dùng |
Công_việc theo quy_trình |
Thư_viện tài_nguyên |
Tôi có_thể thêm mới các loại đơn khác theo mình mong_muốn không ? |
Nguyên_nhân nào dẫn đến việc không tạo được Tiêu_chí đánh_giá trong phần_mềm 1 Office ? |
Ứng lương 1Office |
Báo_cáo này xuất được ra file gì ? |
Báo_cáo 1 - IVAN |
Node_Tạo file |
Muốn xuất / in Bảng lương trên phần_mềm ra file theo mẫu của công_ty có được không ? |
Thuế_TNCN |
Có_thể xuất các thông_tin đã điền trong quy_trình vào các biểu_mẫu để in được không ? |
Biểu_mẫu khi xuất thông_tin Tài_sản cấp_phát có_thể xuất ra hình_ảnh tài_sản được không ? |
Để có_thể ký số trên các quy_trình công_việc , tôi cần cài_đặt các form báo_cáo và biểu_mẫu đúng không ? |
Xuất / Nhập máy chấm công |
Báo_cáo loại Bảng tính excel |
Khắc_phục sự_cố không hiển_thị thông_tin đã điền trong biểu_mẫu |
Báo_cáo loại Bảng tính excel |
MultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
question, positive, negative_0, negative_1, negative_2, negative_3, negative_4, negative_5, negative_6, negative_7, negative_8, and negative_9| question | positive | negative_0 | negative_1 | negative_2 | negative_3 | negative_4 | negative_5 | negative_6 | negative_7 | negative_8 | negative_9 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| type | string | string | string | string | string | string | string | string | string | string | string | string |
| details |
|
|
|
|
|
|
|
|
|
|
|
|
| question | positive | negative_0 | negative_1 | negative_2 | negative_3 | negative_4 | negative_5 | negative_6 | negative_7 | negative_8 | negative_9 |
|---|---|---|---|---|---|---|---|---|---|---|---|
Trong phân hệ Tuyển_dụng , làm thế_nào để tôi có_thể tạo mới một tiêu_chí đánh_giá ứng_viên ? |
Đánh_giá ứng_viên |
Những quyền nào cần có để thực_hiện đánh_giá một ứng_viên trong 1 Office ? |
Thêm mới danh_sách người nhận đánh_giá ở đâu ? |
Chiến_dịch tuyển_dụng |
Chiến_dịch tuyển_dụng |
Ai là người đánh_giá ? |
PHÂN HỆ ĐÁNH_GIÁ |
Hồ_sơ ứng_viên |
Nếu không có Định_biên thì có_thể tạo được Đề_xuất tuyển_dụng hay không ? |
Quản_lý tiêu_chí đánh_giá |
Cần khảo_sát Học_viên sau mỗi chương_trình Đào_tạo thì phải thiết_lập như_thế_nào ? |
Mẫu đánh_giá sau khi tạo xong có tự_động được áp_dụng cho chiến_dịch tuyển_dụng của vị_trí đó không ? |
Đánh_giá ứng_viên |
Mẫu đánh_giá KPI |
Mẫu đánh_giá |
Phiếu đánh_giá |
Hồ_sơ ứng_viên |
Đánh_giá ứng_viên |
Chiến_dịch tuyển_dụng được tạo ra từ Đề_xuất thì có_thể hoàn duyệt Đề_xuất tuyển_dụng để điều_chỉnh lại nội_dung bên trong hay không ? |
PHÂN HỆ ĐÁNH_GIÁ |
Những quyền nào cần có để thực_hiện đánh_giá một ứng_viên trong 1 Office ? |
Chiến_dịch tuyển_dụng |
Nếu không sử_dụng định_biên nhân_sự thì có_thể tạo Chiến_dịch tuyển_dụng mà không qua Đề_xuất tuyển_dụng hay không ? |
Có bao_nhiêu kiểu giảng_viên có_thể lựa_chọn và đó là những kiểu nào ? |
Đào_tạo |
Đào_tạo |
Quản_lý tiêu_chí đánh_giá |
Quản_lý tiêu_chí đánh_giá |
Lịch phỏng_vấn |
PHÂN HỆ ĐÀO_TẠO |
Cần khảo_sát Học_viên sau mỗi chương_trình Đào_tạo thì phải thiết_lập như_thế_nào ? |
PHÂN HỆ ĐÀO_TẠO |
Đào_tạo |
Tạo mới lịch |
Có thể_thao_tác chuyển trạng_thái 1 lần cho nhiều học_viên hay không ? |
MultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
overwrite_output_dir: Trueper_device_eval_batch_size: 32gradient_accumulation_steps: 8weight_decay: 0.01num_train_epochs: 20lr_scheduler_type: cosinewarmup_ratio: 0.05fp16: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Truedo_predict: Falseeval_strategy: noprediction_loss_only: Trueper_device_train_batch_size: 8per_device_eval_batch_size: 32per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 8eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.01adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 20max_steps: -1lr_scheduler_type: cosinelr_scheduler_kwargs: {}warmup_ratio: 0.05warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Truefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Falsehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseeval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Nonedispatch_batches: Nonesplit_batches: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseeval_use_gather_object: Falsebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportional| Epoch | Step | Training Loss |
|---|---|---|
| 0.4902 | 50 | 2.0092 |
| 0.9804 | 100 | 0.8311 |
| 1.4706 | 150 | 0.5996 |
| 1.9608 | 200 | 0.3643 |
| 2.4510 | 250 | 0.2565 |
| 2.9412 | 300 | 0.1597 |
| 3.4314 | 350 | 0.1212 |
| 3.9216 | 400 | 0.0771 |
| 4.4118 | 450 | 0.0608 |
| 4.9020 | 500 | 0.0433 |
| 5.3922 | 550 | 0.0368 |
| 5.8824 | 600 | 0.0237 |
| 6.3725 | 650 | 0.021 |
| 6.8627 | 700 | 0.0129 |
| 7.3529 | 750 | 0.0117 |
| 7.8431 | 800 | 0.0087 |
| 8.3333 | 850 | 0.0066 |
| 8.8235 | 900 | 0.0054 |
| 9.3137 | 950 | 0.0047 |
| 9.8039 | 1000 | 0.0041 |
| 10.2941 | 1050 | 0.0039 |
| 10.7843 | 1100 | 0.0035 |
| 11.2745 | 1150 | 0.0034 |
| 11.7647 | 1200 | 0.0031 |
| 12.2549 | 1250 | 0.0028 |
| 12.7451 | 1300 | 0.0028 |
| 13.2353 | 1350 | 0.0027 |
| 13.7255 | 1400 | 0.0026 |
| 14.2157 | 1450 | 0.0025 |
| 14.7059 | 1500 | 0.0023 |
| 15.1961 | 1550 | 0.0023 |
| 15.6863 | 1600 | 0.0024 |
| 16.1765 | 1650 | 0.0022 |
| 16.6667 | 1700 | 0.0022 |
| 17.1569 | 1750 | 0.0023 |
| 17.6471 | 1800 | 0.0023 |
| 18.1373 | 1850 | 0.0021 |
| 18.6275 | 1900 | 0.0022 |
| 19.1176 | 1950 | 0.0021 |
| 19.6078 | 2000 | 0.0022 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Base model
vinai/phobert-base-v2