yoriis/ce-tydi-tafseer

CrossEncoder based on aubmindlab/bert-base-arabertv02

This is a Cross Encoder model finetuned from aubmindlab/bert-base-arabertv02 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: aubmindlab/bert-base-arabertv02
• Maximum Sequence Length: 512 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("yoriis/ce-tydi")
# Get scores for pairs of texts
pairs = [
    ['ونزل في المنافقين الذين تخلفوا لو كان ما دعوتهم إليه عرضا متاعا من الدنيا قريبا سهل المأخذ وسفرا قاصدا وسطا لاتبعوك طلبا للغنيمة ولكن بعدت عليهم الشقة المسافة فتخلفوا وسيحلفون بالله إذا رجعتم إليهم لو استطعنا الخروج لخرجنا معكم يهلكون أنفسهم بالحلف الكاذب والله يعلم إنهم لكاذبون في قولهم ذلك', 'وما كنت ترجو أن يلقىٰ إليك الكتاب إلا رحمة من ربك ۖ فلا تكونن ظهيرا للكافرين'],
    ['اليوم تجزى كل نفس بما كسبت لا ظلم اليوم إن الله سريع الحساب يحاسب جميع الخلق في قدر نصف نهار من أيام الدنيا لحديث بذلك', 'لا يؤمنون به حتىٰ يروا العذاب الأليم'],
    ['ومن يهد الله فما له من مضل أليس الله بعزيز غالب على أمره ذي انتقام من أعدائه بلى', 'ومن يهد الله فما له من مضل ۗ أليس الله بعزيز ذي انتقام'],
    ['ذلك يقدر قبله الأمر مبتدأ ومن يعظم شعائر الله فإنها أي فإن تعظيمها وهي البدن التي تهدى للحرم بأن تستحسن وتستمن من تقوى القلوب منهم وسميت شعائر لإشعارها بما تعرف به أنها هدي طعن حديد بسنامها', 'ذٰلك ومن يعظم شعائر الله فإنها من تقوى القلوب'],
    ['أي الجزاء وهو يوم القيامة وخص بالذكر لأنه لا ملك ظاهرا فيه لأحد إلا الله تعالى بدليل لمن الملك اليوم لله ومن قرأ مالك فمعناه الأمر كله في يوم القيامة أو هو موصوف بذلك دائما كغافر الذنب فصح وقوعه صفة لمعرفة', 'فأوحينا إليه أن اصنع الفلك بأعيننا ووحينا فإذا جاء أمرنا وفار التنور ۙ فاسلك فيها من كل زوجين اثنين وأهلك إلا من سبق عليه القول منهم ۖ ولا تخاطبني في الذين ظلموا ۖ إنهم مغرقون'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'ونزل في المنافقين الذين تخلفوا لو كان ما دعوتهم إليه عرضا متاعا من الدنيا قريبا سهل المأخذ وسفرا قاصدا وسطا لاتبعوك طلبا للغنيمة ولكن بعدت عليهم الشقة المسافة فتخلفوا وسيحلفون بالله إذا رجعتم إليهم لو استطعنا الخروج لخرجنا معكم يهلكون أنفسهم بالحلف الكاذب والله يعلم إنهم لكاذبون في قولهم ذلك',
    [
        'وما كنت ترجو أن يلقىٰ إليك الكتاب إلا رحمة من ربك ۖ فلا تكونن ظهيرا للكافرين',
        'لا يؤمنون به حتىٰ يروا العذاب الأليم',
        'ومن يهد الله فما له من مضل ۗ أليس الله بعزيز ذي انتقام',
        'ذٰلك ومن يعظم شعائر الله فإنها من تقوى القلوب',
        'فأوحينا إليه أن اصنع الفلك بأعيننا ووحينا فإذا جاء أمرنا وفار التنور ۙ فاسلك فيها من كل زوجين اثنين وأهلك إلا من سبق عليه القول منهم ۖ ولا تخاطبني في الذين ظلموا ۖ إنهم مغرقون',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Classification

• Dataset: eval
• Evaluated with CrossEncoderClassificationEvaluator

Metric	Value
accuracy	0.9953
accuracy_threshold	0.9396
f1	0.993
f1_threshold	0.9252
precision	0.9949
recall	0.9911
average_precision	0.9991

Cross Encoder Classification

• Dataset: eval
• Evaluated with CrossEncoderClassificationEvaluator

Metric	Value
accuracy	0.9995
accuracy_threshold	0.9958
f1	0.9984
f1_threshold	0.9834
precision	0.9968
recall	1.0
average_precision	0.9952

Training Details

Training Dataset

Unnamed Dataset

• Size: 33,674 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 12 characters mean: 158.21 characters max: 1446 characters	min: 10 characters mean: 66.48 characters max: 400 characters	min: 0.0 mean: 0.16 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  ونزل في المنافقين الذين تخلفوا لو كان ما دعوتهم إليه عرضا متاعا من الدنيا قريبا سهل المأخذ وسفرا قاصدا وسطا لاتبعوك طلبا للغنيمة ولكن بعدت عليهم الشقة المسافة فتخلفوا وسيحلفون بالله إذا رجعتم إليهم لو استطعنا الخروج لخرجنا معكم يهلكون أنفسهم بالحلف الكاذب والله يعلم إنهم لكاذبون في قولهم ذلك	وما كنت ترجو أن يلقىٰ إليك الكتاب إلا رحمة من ربك ۖ فلا تكونن ظهيرا للكافرين	0.0
  اليوم تجزى كل نفس بما كسبت لا ظلم اليوم إن الله سريع الحساب يحاسب جميع الخلق في قدر نصف نهار من أيام الدنيا لحديث بذلك	لا يؤمنون به حتىٰ يروا العذاب الأليم	0.0
  ومن يهد الله فما له من مضل أليس الله بعزيز غالب على أمره ذي انتقام من أعدائه بلى	ومن يهد الله فما له من مضل ۗ أليس الله بعزيز ذي انتقام	1.0

• Loss: BinaryCrossEntropyLoss with these parameters:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": null
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	eval_average_precision
0.1884	500	0.3474	0.9981
0.3768	1000	0.1324	0.9988
0.5652	1500	0.0712	0.9984
0.7536	2000	0.058	0.9981
0.9420	2500	0.0466	0.9989
1.0	2654	-	0.9988
1.1304	3000	0.0426	0.9989
1.3188	3500	0.0357	0.9989
1.5072	4000	0.0362	0.9988
1.6956	4500	0.0314	0.9992
1.8839	5000	0.0273	0.9990
2.0	5308	-	0.9991
2.0723	5500	0.0302	0.9991
2.2607	6000	0.0265	0.9990
2.4491	6500	0.0262	0.9991
2.6375	7000	0.0249	0.9991
2.8259	7500	0.0284	0.9991
3.0	7962	-	0.9991
3.0143	8000	0.0252	0.9991
3.2027	8500	0.023	0.9991
3.3911	9000	0.022	0.9991
3.5795	9500	0.0244	0.9991
3.7679	10000	0.0219	0.9991
3.9563	10500	0.021	0.9991
4.0	10616	-	0.9991
0.2375	500	0.1926	0.9992
0.4751	1000	0.0086	0.9992
0.7126	1500	0.0048	0.9979
0.9501	2000	0.0042	0.9985
1.0	2105	-	0.9964
1.1876	2500	0.0039	0.9969
1.4252	3000	0.0034	0.9976
1.6627	3500	0.0038	0.9966
1.9002	4000	0.0035	0.9987
2.0	4210	-	0.9960
2.1378	4500	0.0028	0.9965
2.3753	5000	0.0029	0.9970
2.6128	5500	0.0025	0.9964
2.8504	6000	0.003	0.9967
3.0	6315	-	0.9951
3.0879	6500	0.0008	0.9952
3.3254	7000	0.0032	0.9972
3.5629	7500	0.0008	0.9949
3.8005	8000	0.0008	0.9952
4.0	8420	-	0.9952

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.54.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}