tokenized
In der Informatik: Ein Text oder ein Datenstrom wurde in kleinere, sinnvolle Einheiten (Token) zerlegt.
Broken down into individual units (tokens) during data processing.
-
Der tokenisierte Text ist bereit für die Analyse.— The tokenized text is ready for analysis.
-
Die Daten wurden effizient tokenisiert.— The data were efficiently tokenized.
-
Ein tokenisierter Satz besteht aus vielen kleinen Einheiten.— A tokenized sentence consists of many small units.
Синонимы
Антонимы
ungetrennt