في ترميز بايثون يشير أساسًا إلى تقسيم نص أكبر إلى أسطر أو كلمات أصغر أو حتى إنشاء كلمات للغة غير الإنجليزية.
كيف تستخدم Tokenize في Python؟
مجموعة أدوات اللغة الطبيعية (NLTK) هي مكتبة تستخدم لتحقيق ذلك. قم بتثبيت NLTK قبل متابعة برنامج python لترميز الكلمة. بعد ذلك نستخدم طريقة word_tokenizeلتقسيم الفقرة إلى كلمات فردية. عندما ننفذ الكود أعلاه ، فإنه ينتج النتيجة التالية.
ماذا يفعل رمز NLTK؟
NLTK يحتوي على وحدة تسمى tokenize والتي تصنف أيضًا إلى فئتين فرعيتين: Word tokenize: نستخدم طريقة word_tokenize لتقسيم الجملة إلى رموز أو كلمات. رمز الجملة: نستخدم طريقة sent_tokenize لتقسيم مستند أو فقرة إلى جمل.
ما المقصود بالـ Tokenize؟
Tokenization هي عملية لتحويل البيانات الحساسة إلى بيانات غير حساسة تسمى"الرموز" التي يمكن استخدامها في قاعدة بيانات أو نظام داخلي دون وضعها في النطاق. يمكن استخدام الترميز لتأمين البيانات الحساسة عن طريق استبدال البيانات الأصلية بقيمة غير مرتبطة بنفس الطول والتنسيق.
ماذا يعني Tokenize في البرمجة؟
Tokenizationهي عملية تقسيم سلسلة من السلاسل إلى أجزاء مثل الكلمات والكلمات الرئيسية والعبارات والرموز وعناصر أخرى تسمى الرموز المميزة.
