tokenization (টোকেনাইজেশন)

মিনিং

The process of breaking text into smaller units like words, phrases, or symbols for analysis.

উদাহরণ বাক্য

NLP uses tokenization to break text into smaller units.

এনএলপি পাঠকে ছোট অংশে বিভক্ত করতে টোকেনাইজেশন ব্যবহার করে।

NLP pathke chhoto ongse bibhokto korte tokenization byabohar kore.

সিনোনিমস

segmentation, fragmentation, parsing

অ্যান্টোনিমস

aggregation, whole text, non-division