العودة إلى كل المقالات
برمجة وتطوير آخر تحديث: 3 نوفمبر 2026

البحث لا يجد اسم صورة متطابقاً بصرياً: وحّد Unicode دون حذف التشكيل

بطاقتان بلون كريمي تحملان كلمة أصل بجوار مكعبات خشبية وقلم أخضر على مكتب
بطاقتان بلون كريمي تحملان كلمة أصل بجوار مكعبات خشبية وقلم أخضر على مكتب.

كلمة أصل في الذاكرة قبل أن نراها على الشاشة

تبدأ المشكلة في هذا المشروع بسلسلتين مكتوبتين في ملف الاختبار نفسه. الأولى هي أصل، وفيها الألف المهموزة محرف واحد رقمه U+0623، ثم الصاد U+0635 واللام U+0644. الثانية تبدأ بالألف U+0627، وتتبعها الهمزة العلوية المركبة U+0654، ثم الصاد واللام. لذلك تحتوي الأولى على 3 نقاط شيفرة والثانية على 4. المقارنة الخام في test_raw_strings_differ تعطي اختلافاً، قبل أن نطبق أي سياسة للمفتاح. لا نحتاج إلى افتراض لوحة مفاتيح أو ملف تالف لإعادة إنتاج هذه الحالة.

المقارنة هنا بين سلسلتين من نوع str، وليست بين ملفي صورة أو بين بايتات محفوظة على القرص. قد يعرض خط مناسب التمثيلين بشكل متقارب، لكن الاختبار لا يشغّل محرك عرض ولا يقيس شكل الحروف. لهذا لا نستعمل التشابه المرئي دليلاً على تطابق القيمة البرمجية. عندما يبلغ مستخدم أن الاسم موجود ولا يظهر في البحث، يمكن أن تكون هذه إحدى الحالات التي نفحصها، إلى جانب احتمالات أخرى مثل البحث في فهرس مختلف أو تطبيق قاعدة مطابقة غير متسقة.

في الاختبار التالي نمرر السلسلتين إلى label_key ثم نقارن النتيجتين. يتطابق المفتاحان في test_arabic_canonical_pair، وهو الدليل المحلي على معالجة هذا الزوج المحدد. لا يتغير معرف الصورة بسبب هذه المطابقة، ولا نعيد تسمية أي ملف. ما نحتاج إليه في المثال هو مفتاح يمكن استعماله للوصول إلى قائمة المعرفات. يبقى الاسم الأصلي معلومة مستقلة يمكن الاحتفاظ بها للعرض أو لفهم طريقة إدخاله، بدلاً من استبداله بالقيمة المشتقة دون حاجة.

تظهر في الصورة الرئيسية بطاقتان تحملان كلمة أصل بجوار مكعبات خشبية وقلم أخضر. يصلح المشهد لتوضيح صعوبة الاعتماد على النظر وحده عند وصف المشكلة، لكنه لا يثبت أن كل بطاقة تمثل تسلسل Unicode مختلفاً. الأدلة الفعلية موجودة في السلاسل الحرفية والشيفرة والاختبارات المرفقة. هذا الفصل مفيد للقارئ الذي يريد تكرار المشكلة: انسخ قيم الاختبار أو تسلسلاتها الصريحة، ولا تحاول استنتاج نقاط الشيفرة من الصورة أو من لقطة شاشة.

عقد label_key يتكون من أربعة قرارات منفصلة

تدعم unicodedata.normalize الصيغة NFC للتطبيع وفق التكافؤ القانوني؛ وهذا مختلف عن حذف العلامات أو توحيد كل الحروف المتشابهة. Python 3.12 unicodedata reference

تتحقق الدالة أولاً من أن المدخل نص، وتثير TypeError إذا لم يكن من نوع str. في الاختبار الأصلي استعملنا None لهذه الحالة. لا نحوله تلقائياً إلى الكلمة النصية None، لأن ذلك سيصنع اسماً لم يختره صاحب السجل. إذا احتاج تطبيق لاحق إلى قبول أرقام أو كائنات أخرى، فعليه تحديد طريقة تحويلها قبل هذا الحد. وظيفة هذه الدالة أصغر: استقبال اسم نصي وإنتاج مفتاح غير فارغ وفق السياسة المعلنة.

بعد فحص النوع تأتي strip لإزالة المحارف البيضاء الطرفية، ثم casefold لطي حالة الحروف، ثم unicodedata.normalize بصيغة NFC. ترتيب هذه الاستدعاءات ظاهر في سطر واحد، لكنه يجمع قرارات مختلفة. يمكن لتطبيق آخر أن يختار الاحتفاظ بالفراغ الطرفي أو إجراء مطابقة تراعي حالة الحروف؛ لن يكون ذلك خللاً في Unicode بل عقد بحث آخر. لا تنسخ السطر إلى مشروعك قبل تقرير ما إذا كانت هذه الخيارات توافق معنى أسماء الصور عندك.

بعد تكوين المفتاح تفحص الدالة هل أصبح فارغاً. السلسلة المكونة من مسافتين نص مقبول من حيث النوع، لكنها تفقد محتواها بعد strip فتثير ValueError. هذه ليست نتيجة بحث فارغة. الفرق مهم عند بناء واجهة: قائمة بلا نتائج قد تعني أن الاسم الصحيح غير موجود، بينما المدخل الفارغ يحتاج قراراً آخر في الواجهة. يمكن منع الطلب قبل إرساله أو عرض رسالة إدخال؛ المثال لا يختار تصميم هذه الرسالة ولا يعيد قائمة بدلاً من الاستثناء.

لا تعدل الدالة النص الأصلي الذي استقبلته؛ إنها تعيد سلسلة تمثل المفتاح. وفي index_labels نستعمل هذه النتيجة كمفتاح قاموس ثم نضيف المعرف إلى قائمة. لا يظهر في الشيفرة اتصال بقاعدة بيانات أو عملية كتابة ملف أو استدعاء نموذج. يستطيع القارئ بذلك تتبع المسار دون إعداد خدمة خارجية: نص يدخل، مفتاح يشتق، ومعرف يضاف تحت ذلك المفتاح. أما تخزين الاسم للعرض أو اختيار ترتيب النتائج فخطوات يجب تصميمها حول هذه الوحدة الصغيرة.

label_index.py

import unicodedata

def label_key(text):
    if not isinstance(text,str):
        raise TypeError('Expected a label string')
    key=unicodedata.normalize('NFC',text.strip().casefold())
    if not key:
        raise ValueError('Empty label')
    return key

def index_labels(rows):
    result={}
    for ident,label in rows:
        result.setdefault(label_key(label),[]).append(ident)
    return result

اجتازت المجموعة الأصلية 9 طرق اختبار محلية في Python 3.12.3 مع قاعدة Unicode 15.0.0. أضيفت لاحقاً مجموعة مستقلة من 8 طرق لفحص حدود العقد والاستعلام. النتائج تخص السلاسل والفهرس الصغير في الذاكرة، لا عرض الخط أو قاعدة بيانات أو قياس أداء.

ما الذي أثبتته الاختبارات الأصلية التسعة

يشكل اختبارا test_raw_strings_differ وtest_arabic_canonical_pair زوجاً مفيداً: الأول يسجل اختلاف المدخلين الخام، والثاني يسجل تطابق مفتاحيهما. إبقاء الاختبار الأول ليس دفاعاً عن السلوك المعيب؛ إنه يحفظ السبب الذي من أجله نحتاج إلى سياسة المطابقة. لو استبدلنا السلسلتين في المصدر دون انتباه بتمثيل واحد، فسيفقد المثال حالة المشكلة الأصلية. لذلك تظهر السلاسل في الشيفرة، ويمكن فحص نقاطها إذا قام محرر نصوص بتغييرها أثناء النقل.

يفحص test_latin_canonical_pair زوج CAFÉ وcafe متبوعاً بالعلامة المركبة المناسبة. النتيجة تتطابق بعد خطوات الدالة مجتمعة. ومن المهم ألا ننسب كل ذلك إلى NFC وحدها، لأن طي حالة الحروف جزء من السياسة أيضاً. يوضح test_casefold_is_application_policy حالة أخرى هي Straße وSTRASSE. هذا اختيار واضح لطريقة البحث في هذا المشروع؛ لا يجعل الدالة مترجماً ولا مصحح تهجئة، ولا يعني أن كل كلمتين متشابهتين في لغة ما ستحصلان على المفتاح نفسه.

يحافظ test_marks_are_not_removed على الفرق بين عَلَم وعِلْم. ويحصر test_trim_policy أثر الفراغ الطرفي بمقارنة اسم تحيطه مسافات بالمفتاح أصل. وفي test_colliding_labels_keep_both_ids تدخل قيمتان بمعرفي 1 و2 فتعود القائمة [1, 2] تحت المفتاح المشترك. هذه نتائج مستقلة: عدم حذف الحركات لا يثبت ترتيب النتائج، وإزالة الفراغ الطرفي لا تثبت إزالة الفراغ الداخلي، وتجميع معرفين لا يثبت أن المعرفات المتكررة ستزال من القائمة.

يكمل test_empty_rejected وtest_nonstring_rejected العقد بفحص مسار الرفض. الأولى تمرر نصاً من المسافات فتتوقع ValueError، والثانية تمرر None فتتوقع TypeError. أجريت الطرق التسع محلياً في Python 3.12.3 مع قاعدة Unicode 15.0.0. العدد هو عدد طرق الاختبار، وليس عدد اللغات المدعومة أو المستخدمين أو حالات البحث في الإنتاج. نورد الأسماء والنتائج كي يستطيع القارئ معرفة ما شُغّل فعلاً، بدلاً من الاكتفاء بعبارة عامة عن نجاح الاختبارات.

الفهرس يحتفظ بالمعرفات ولا يقرر أنها صور مكررة

يبقى تمييز الأصل بمساره الكامل ضرورياً عند بناء الفهرس. مفتاح البحث المطبع يساعد الوصول إلى الأسماء، لكنه لا يحل محل معرف الأصل ولا يبرر دمج ملفين مختلفين لأن الاسم المعروض متشابه.

تستقبل index_labels صفوفاً من زوجين: المعرف والاسم. يبدأ القاموس فارغاً، ثم تحسب الدالة المفتاح لكل اسم وتستعمل setdefault للحصول على قائمته، وتضيف المعرف بواسطة append. إذا كان المفتاح جديداً تبدأ قائمة له؛ وإذا كان موجوداً تلحق المعرف بالقائمة السابقة. المثال الأصلي [(1, أصل), (2, التمثيل المفكك)] ينتج قائمة بمعرفين تحت أصل. لا يجري استبدال المعرف الأول بالثاني لمجرد أن المفتاح المشتق واحد.

أضفنا test_duplicate_id_is_not_deduplicated حتى لا تتحول هذه الملاحظة إلى وعد بإزالة التكرار. يدخل المعرف 1 مرتين مع التمثيلين المتكافئين، وتعود [1, 1]. هذا ما تفعله append في التطبيق الحالي. إذا كان تكرار المعرف داخل نتائج الواجهة غير مرغوب، فهناك قرار إضافي: هل يمنع عند الاستيراد، أم يزيله المستهلك، أم تعتبر كل مرة سجلاً مستقلاً؟ لم نغير الدالة إلى مجموعة لمجرد إخفاء هذا السؤال، لأن ذلك سيغير شكل الناتج ومعنى ترتيب الإدخال.

يمكن في تصميم تخزين مقترح الاحتفاظ بحقول منفصلة هي asset_id وoriginal_label وlookup_key. الأول يحدد الأصل في النظام، والثاني يحفظ الاسم كما ورد، والثالث مشتق لخدمة المطابقة. لا يكفي اشتراك أصلين في lookup_key لدمجهما أو حذف أحدهما؛ فقد يحمل ملفان مختلفان الاسم نفسه. ويظل المسار أو معرف الأصل مهماً عند فتح الصورة المقصودة. هذا التصميم ليس مخطط قاعدة بيانات جرى نشره، بل طريقة لعدم تحميل مفتاح البحث مسؤولية تعريف الأصل نفسه.

الاختبار test_original_rows_are_unchanged يمرر قائمة تحتوي الاسم محاطاً بمسافات، ثم يفحص أن القائمة الأصلية لا تزال تحتوي النص نفسه. الفهرسة تنتج بنية جديدة ولا تستبدل اسم الصف بهذه القيمة المطَبّعة. يبرهن ذلك على سلوك هذه الحالة في الذاكرة، ولا يحفظ نسخة دائمة نيابة عن التطبيق. عند الحفظ لاحقاً ينبغي أن يختار الكاتب الحقل الصحيح؛ فالخلط بين original_label وlookup_key في طبقة التخزين يمكن أن يفقد طريقة العرض حتى لو كانت دالة المفتاح سليمة.

ابن خطوة الاستعلام مع التمييز بين الفراغ وعدم العثور

يفحص test_canonical_query_gets_both_ids مساراً صغيراً كاملاً داخل الذاكرة. نبني الفهرس بمعرفي 1 و2، ثم نشتق مفتاح استعلام من التمثيل المفكك محاطاً بمسافات، ونمرره إلى index.get مع قائمة فارغة كقيمة افتراضية. النتيجة الفعلية [1, 2]. الاختبار لا يكتفي بفحص دالة المفتاح وحدها، بل يستعمل ناتجها للوصول إلى القاموس الذي بنيناه. مع ذلك يبقى هذا استعلام قاموس، وليس طلب HTTP أو محرك بحث جرى قياسه.

في واجهة مقترحة، يمكن أن يبدأ المسار بالاحتفاظ بالنص الذي كتبه المستخدم ثم محاولة استخراج المفتاح. إذا أثار label_key استثناء بسبب مدخل فارغ، تعالج الواجهة هذا الإدخال قبل البحث. وإذا عاد مفتاح صالح ولا يوجد في القاموس، تستطيع الواجهة عرض عدم وجود نتائج. لا تقل إن الدالة تعيد [] للمفتاح الفارغ: ذلك يخالف التنفيذ. القيمة الافتراضية في get تستعمل بعد نجاح توليد المفتاح، لا بديلاً عن فحصه، ولذلك يجب فصل الفرعين في تصميم المستهلك.

إذا أعاد المفتاح عدة معرفات، يمكن للواجهة المقترحة عرض صورة مصغرة واسم أصلي أو مسار مختصر لكل نتيجة. اختيار الأصل قرار للمستخدم أو لقاعدة أخرى معلنة، وليس امتداداً تلقائياً للتكافؤ القانوني. لا تختَر أول معرف ثم تصف البحث بأنه وجد الملف الوحيد الصحيح. في اختباراتنا القائمة تتبع عمليات الإضافة الموجودة في الصفوف؛ ولم نشغل واجهة فرز أو قياس صلة بحثية. يظل عرض النتائج وترتيبها جزءاً مستقلاً يمكن اختباره عندما يبنى.

يعود index_labels([]) بقاموس فارغ في test_empty_index، بينما يثير إدخال صف ذي اسم من المسافات ValueError في test_blank_label_stops_index_build. الفرق بينهما عملي: لا توجد سجلات في الحالة الأولى، ويوجد مدخل مخالف للعقد في الثانية. يتوقف البناء ولا تعيد الدالة القاموس الجزئي للمستدعي. إذا أردت استيراداً يتجاوز الصفوف المرفوضة ويسجلها، اكتب ذلك كمسار مختلف مع تقرير بالأخطاء؛ لا تنسب إلى هذه الدالة سلوك تجاوز لم تنفذه.

الهمزة والفراغ الداخلي وصيغ التوافق حدود مختلفة

أثبت test_hamza_is_not_removed أن أصل واصل لا تعطيان المفتاح نفسه. التطبيع المستخدم لا يحذف الهمزة ليحول كل الأسماء إلى نسخة بلا علامات. وقد يكون ذلك مناسباً إذا كان اختلاف الاسم مهماً عند اختيار الأصل. إذا أردت السماح باستعلام بلا همزة للوصول إلى اقتراحات إضافية، فهذه سياسة تقريبية أخرى ينبغي أن تظهر كاقتراحات، وأن تختبر تصادماتها. لا تغير المفتاح الدقيق بصمت ثم تفترض أن كل دمج جديد يحافظ على المقصود.

يختبر test_interior_space_is_not_removed الاسم أ صل مقابل أصل. تبقى النتيجتان مختلفتين لأن strip تعمل على الطرفين ولا تحذف الفراغ الواقع داخل النص. هذا حد يمكن أن يختلط على من يقرأ عبارة تنظيف المسافات دون النظر إلى الدالة. في أسماء صور تتضمن أكثر من كلمة، قد تكون المسافات الداخلية جزءاً من الاسم المقصود. وإذا قررت طي عدة مسافات داخلية أو تجاهلها، فأضف أمثلة تخص ذلك القرار بدلاً من اعتبار اختبار الفراغ الطرفي دليلاً عليه.

في test_nfc_is_not_compatibility_normalization نمرر المحرف U+FE8D ونقارنه بالألف ا. يظل المفتاحان مختلفين مع NFC. ويسجل الاختبار نفسه أن تطبيق NFKC على هذا المحرف يعطي الألف. قاعدة Unicode في البيئة المحلية تسمي المحرف ARABIC LETTER ALEF ISOLATED FORM. لا نبني من هذا المثال توصية عامة باستبدال NFC دائماً؛ نوضح فقط أن صيغ التطبيع ليست أسماء متبادلة للعملية نفسها، وأن تبديل الصيغة سيغير بعض المفاتيح التي ينتجها هذا المشروع.

هذه الحالات الثلاث تضيف معرفة مختلفة إلى الزوج الأصلي. التكافؤ بين الألف المهموزة المركبة والمفككة لا يثبت إزالة الهمزة، وإزالة المسافة الطرفية لا تثبت تجاهل المسافة الداخلية، ونجاح NFC في زوج لا يجعلها مساوية لـ NFKC. عند توسيع البحث إلى بياناتك الحقيقية، حول كل قرار قبول جديد إلى حالة محددة يمكن قراءتها. لا تجمع كل الخيارات تحت اسم توحيد العربية؛ سمِّ العملية التي قررتها حتى يستطيع من يصون الفهرس فهم سبب تطابق سجلين أو اختلافهما.

احتفظ بالنص المعروض وبالسياسة التي صنعت المفتاح

في مشروع معرض مقترح، قد يختار المصمم عرض الاسم تماماً كما أدخله صاحب الصورة، مع إبقاء مفتاح البحث حقلاً مشتقاً. عندئذ يمكن تعديل سياسة المطابقة لاحقاً دون الحاجة إلى إعادة اختراع الاسم الأصلي من المفتاح. يوضح اختبار عدم تغيير الصفوف لماذا يصلح فصل القيمتين: النص المحاط بمسافات يبقى في البيانات الأصلية، بينما يستعمل الفهرس النسخة التي اختارتها الدالة. لا يعني ذلك أن المسافات يجب أن تظهر في كل واجهة؛ العرض بدوره قرار يمكن اتخاذه دون محو المصدر.

يمكن أن يحتوي سجل السياسة المقترح اسماً مثل label-key-v1 ووصف العمليات الثلاث بالترتيب ونسخة التطبيق التي نفذتها. هذه التسمية ليست موجودة تلقائياً في ناتج index_labels؛ القاموس الحالي لا يحمل بيانات وصفية من هذا النوع. إذا احتاج النظام إلى الاحتفاظ بها، فليضعها في غلاف منفصل أو سجل بناء. ولا تعتمد على اسم الدالة وحده لتحديد السياسة، لأن تعديل سطرها مع إبقاء الاسم نفسه قد ينتج مفاتيح تختلف عن فهرس بُني في نسخة سابقة.

لا يحتاج تحسين مفتاح البحث إلى إعادة تسمية ملفات الصور الموجودة. في التصميم المقترح يستطيع النظام الاحتفاظ بمسار الأصل كما هو، ثم إعادة اشتقاق lookup_key من الاسم المحفوظ. هذا يفصل تعديل البحث عن تغيير الروابط إلى الأصول. المثال المحلي لم ينفذ أي إعادة تسمية، ولذلك لا نعد بأن خطة ترحيل معينة ستحافظ على كل الروابط تلقائياً. افحص طبقة الحفظ التي تربط المعرف بالملف، ولا تجعل التشابه في النص سبباً لتغيير مسار أصل مختلف.

عند مشاركة المشروع مع مطور آخر، أرسل أمثلة الإدخال بجانب وصف السياسة، خصوصاً أصل وتمثيلها المفكك وStraße والنص المشكول. الأمثلة تحدد معنى الاختيارات أفضل من وصف مبهم يقول إن البحث لا يراعي الفروق. ويمكن الاحتفاظ بالنتائج المتوقعة في الاختبارات المرفقة بدلاً من ورقة منفصلة قد تتأخر عن الشيفرة. وإذا تغيرت السياسة، راجع النتائج التي تغير معناها وسبب ذلك، لا عدد الاختبارات الناجحة وحده.

خطة ترحيل مقترحة تفحص التصادم قبل تغيير القراءة

إذا كان لديك فهرس قائم، ابدأ نسخة تجريبية من السجلات التي تملكها قبل استبدال مفاتيحها. احتفظ بالمعرف والاسم الأصلي والمفتاح القديم، ثم احسب المفتاح الجديد في حقل منفصل. بهذه الطريقة يمكن مقارنة التجميعات الناتجة دون أن يصبح الرجوع معتمداً على إعادة بناء أسماء فقدت. هذه خطة مقترحة، ولم نشغل هنا ترحيلاً لقاعدة بيانات أو عملية استيراد إنتاجية. فائدتها أنها تجعل السؤال عن أثر السياسة قابلاً للفحص على بياناتك بدلاً من افتراض أن كل تطبيع مجرد تصحيح بلا تبعات.

استخرج في النسخة التجريبية المفاتيح التي تجمع أكثر من معرف وقارنها بما كان موجوداً قبل التغيير. لا تفترض أن كل مجموعة تصادم خطأ يجب حذفه، ولا أن كل مجموعة صحيحة يجب دمج صورها. اختبار المعرفين الأصلي يحفظ الاثنين، واختبار المعرف المتكرر يبين أن الدالة لا تزيل التكرار. لذلك ينبغي لتقرير الترحيل المقترح أن يميز سجلين مختلفين يشتركان في المفتاح من تكرار إدخال المعرف نفسه، مع إبقاء القرار النهائي مرتبطاً بعقد البيانات لا بالتشابه المرئي وحده.

بعد مراجعة النسخة، يمكن اختبار مستهلك البحث المقترح ضد فهرسين معروفين قبل تحويل القراءة إلى الجديد. استعمل الاستعلامات التي تعرف نتائجها، ومنها الزوج العربي والفراغ الداخلي والاسم بلا همزة، وسجل ما تغير ولماذا. لا توجد مدة متوقعة بالدقائق في تجاربنا، ولا قياس لسرعة الاستعلام بعد إنشاء عمود أو فهرس قاعدة بيانات. يتحدد ذلك بحجم البيانات وبنية التخزين والتنفيذ الفعلي. الشيفرة المحلية تتيح فحص معنى المفتاح، ولا تقدم قياساً لهذه الطبقات التي لم تُبنَ.

خطط أيضاً لكيفية إعادة بناء الفهرس إذا اكتشفت أن سياسة جديدة تدمج أسماء تريد إبقاءها متميزة. الاحتفاظ بالاسم الأصلي وبنسخة السياسة السابقة يجعل خيار إعادة الاشتقاق أو المقارنة واضحاً، لكنه لا ينفذ الرجوع نيابة عنك. لا نحتاج في هذه المرحلة إلى تغيير الصورة أو وصفها البديل أو مسارها. حدد أولاً هل الخلل في الاسم المدخل أم في قاعدة المطابقة أم في المستهلك الذي اختار نتيجة من قائمة، ثم أصلح الطبقة المسؤولة بدلاً من تعديل الملفات عشوائياً.

شخّص نقاط الشيفرة وافصلها عن خطأ الترميز

عندما لا تكفي رؤية الاسم، يمكن استعمال تمثيل نصي واضح وفحص الأرقام التي تعيدها ord لكل محرف. سجلنا في بيانات التحقق تسلسل الأصل المركب U+0623 ثم U+0635 ثم U+0644، وتسلسل الأصل المفكك U+0627 ثم U+0654 ثم U+0635 ثم U+0644. هذه أرقام المحارف في السلاسل المستخدمة فعلاً. لا نقول إن اختلاف عددها وحده يثبت اختلاف المعنى، بل نستعملها لتحديد الحالة التي تدخل إلى دالة المطابقة ولمعرفة هل لدينا الزوج الذي يغطيه الاختبار.

أما إذا ظهر الاسم بعد قراءة ملف على شكل حروف غير مقصودة، فقد تحتاج أولاً إلى فحص طبقة فك الترميز التي أنتجت str. هذه الدالة لا تقرأ ملفاً ولا تختار ترميزاً، ولذلك لا ينبغي تقديم NFC كإصلاح لكل نص مشوه. احتفظ بتمييز واضح بين البايتات القادمة من مصدر وبين النص الذي صار داخل الذاكرة. تطبيق سياسة مفتاح على سلسلة أُنشئت بصورة خاطئة لا يخبرنا كيف كان النص الأصلي، ولا يبرر تخمين حرف مفقود أو تبديل حروف إلى أخرى تبدو أقرب.

يمكن أن يضم سجل تشخيص مقترح اسم السياسة ونوع المدخل ونقاط الشيفرة للجزء المسموح بفحصه ونتيجة المقارنة. لا يلزم تسجيل كل أسماء العملاء أو مسارات صورهم في تقرير عام. إذا كان المطلوب مشاركة حالة قابلة للتكرار، استعمل الزوج القصير الموجود في الاختبارات أو مثالاً منقحاً يحافظ على الخاصية البرمجية دون كشف بيانات خاصة. والتقط هل الرفض TypeError أم ValueError، لأن الأول يشير إلى نوع غير نصي والثاني إلى مفتاح أصبح فارغاً في العقد الحالي.

افحص أيضاً أن الكاتب والقارئ يستعملان السياسة نفسها. إذا بُني الفهرس بطي حالة الحروف ثم جرى البحث بالنص الخام، فلا تكفي سلامة كل استدعاء منفرد لربط الاثنين. الاختبار الإضافي للاستعلام يفعل الأمرين معاً على قاموس صغير، لكنه لا يراجع كل مستهلك في تطبيقك. عند ربط هذه الوحدة بطبقة أخرى، ضع اختباراً عند ذلك الحد يمرر الاستعلام إلى الفهرس المقصود. لا تختزل تشخيص نتيجة مفقودة في تغيير الخط ما دام التباين واقعاً في البيانات أو في مسار المقارنة.

شغّل المثال من الملفات الثلاثة واقرأ عدد الطرق بدقة

احفظ الوحدة الأولى باسم label_index.py، والاختبارات الأصلية باسم test_example.py، والإضافية باسم test_contract.py في مجلد واحد. لا تحتاج هذه التجربة إلى حزمة بحث أو اتصال شبكة؛ الوحدات المستعملة جزء من المكتبة القياسية في البيئة المسجلة. الشيفرة الاختبارية المرفقة أصلية، وقد شغلت محلياً قبل كتابة نتائجها. يمكن فحص ملفاتها ومقارنتها ببصمات السجل. لا نطلب من القارئ تنفيذ نص عابر أنتجه مقال أو مصدر خارجي دون مراجعته؛ اقرأ حالات الإدخال والنتائج المتوقعة أولاً.

لإعادة التجربة في نسختك، شغّل python -m unittest discover -s . -p test_example.py -v داخل مجلد الملفات، ثم شغّل الأمر نفسه مع test_contract.py. هذه صيغة مختصرة لتعليمات التكرار، بينما تحتفظ سجلات المشروع بمسار المفسر ومجلد الاكتشاف الفعليين اللذين استعملا عند التنفيذ. المجموعة الأولى تحتوي 9 طرق والثانية 8 طرق، فيكون المجموع 17 طريقة مختلفة. إعادة تشغيلها لا تصنع 17 حالة جديدة في كل مرة، ولا تعني أن كل احتمال لسلسلة Unicode قد غُطي.

تقيس الطرق الإضافية حدود الهمزة والفراغ الداخلي وصيغة التوافق وتكرار المعرف والاستعلام المطبع وبقاء الصفوف الأصلية والفهرس الفارغ ورفض الاسم الفارغ أثناء البناء. لكل واحدة مدخل واضح وassertion يمكن قراءته. إذا فشل اختبار بعد تعديلك للدالة، ابدأ بالمقارنة بين السلوك الجديد والعقد الذي أردته. قد يكون الفشل علامة على تراجع، وقد يكون نتيجة تغيير مقصود للسياسة يحتاج اسماً وإصداراً ونتيجة متوقعة جديدة. لا تمحُ الحالة الأصلية لمجرد الحصول على سطر نجاح.

القيم الرقمية المسجلة لبيئتنا هي Python 3.12.3 وقاعدة Unicode 15.0.0. الوثائق العامة تدعم تعريف عمليات التطبيع، لكن سجل التنفيذ هو الذي يحدد البيئة التي شغلت أمثلتنا. إذا نقلت المشروع إلى إصدار آخر، دوّن الإصدار الذي استعملته وأعد الحالات ذات الصلة. لا نصف هذا النقل كتجربة مكتملة قبل تشغيله، ولا نستنتج منه سرعة محرك بحث أو ثبات شكل النص في متصفح.

عند نسخ الحالة إلى بلاغ تقني، يمكن إرفاق التسلسل الصريح U+0627 U+0654 U+0635 U+0644 بجانب النص المرئي. يتيح ذلك لمن يقرأ البلاغ معرفة المدخل المقصود حتى لو لم يستطع تمييز العلامة في الخط المستخدم. افحص بعد النقل أن الحالة الخام لا تزال مختلفة عن السلسلة المركبة، ثم افحص تساوي المفتاحين. احتفاظك بالاختبارين يمنع مثالاً تغير أثناء النسخ من إعطائك نجاحاً لا يعيد إنتاج المشكلة الأصلية.

test_example.py

import unittest
from label_index import label_key,index_labels
class UnicodeTests(unittest.TestCase):
 def test_raw_strings_differ(self):self.assertNotEqual('أصل','أصل')
 def test_arabic_canonical_pair(self):self.assertEqual(label_key('أصل'),label_key('أصل'))
 def test_latin_canonical_pair(self):self.assertEqual(label_key('CAFÉ'),label_key('café'))
 def test_marks_are_not_removed(self):self.assertNotEqual(label_key('عَلَم'),label_key('عِلْم'))
 def test_trim_policy(self):self.assertEqual(label_key('  أصل  '),'أصل')
 def test_colliding_labels_keep_both_ids(self):self.assertEqual(index_labels([(1,'أصل'),(2,'أصل')]),{'أصل':[1,2]})
 def test_casefold_is_application_policy(self):self.assertEqual(label_key('Straße'),label_key('STRASSE'))
 def test_empty_rejected(self):
  with self.assertRaises(ValueError):label_key('  ')
 def test_nonstring_rejected(self):
  with self.assertRaises(TypeError):label_key(None)

test_contract.py

import unittest,unicodedata
from label_index import label_key,index_labels

class LookupContractTests(unittest.TestCase):
    def test_hamza_is_not_removed(self):
        self.assertNotEqual(label_key('أصل'),label_key('اصل'))

    def test_interior_space_is_not_removed(self):
        self.assertNotEqual(label_key('أ صل'),label_key('أصل'))

    def test_nfc_is_not_compatibility_normalization(self):
        self.assertNotEqual(label_key('ﺍ'),label_key('ا'))
        self.assertEqual(unicodedata.normalize('NFKC','ﺍ'),'ا')

    def test_duplicate_id_is_not_deduplicated(self):
        self.assertEqual(index_labels([(1,'أصل'),(1,'أصل')]),{'أصل':[1,1]})

    def test_canonical_query_gets_both_ids(self):
        index=index_labels([(1,'أصل'),(2,'أصل')])
        self.assertEqual(index.get(label_key('  أصل  '),[]),[1,2])

    def test_original_rows_are_unchanged(self):
        rows=[(1,'  أصل  ')]
        index_labels(rows)
        self.assertEqual(rows,[(1,'  أصل  ')])

    def test_empty_index(self):
        self.assertEqual(index_labels([]),{})

    def test_blank_label_stops_index_build(self):
        with self.assertRaises(ValueError):
            index_labels([(1,'أصل'),(2,'  ')])

أُعد المقال بمساعدة أدوات ذكاء اصطناعي ومراجعات آلية. شُغلت الشيفرة الأصلية محلياً ضمن نطاق الاختبارات المسجل. الصورة الرئيسية توضيحية، وليست تصويراً ميدانياً أو دليلاً على اختبار متصفح أو جدول بيانات أو فيديو.

التعليقات

كن أول من يعلّق على هذا المقال.

أضف تعليقاً

بريدك لن يُنشر. الحقول المطلوبة معلَّمة بنجمة.