to tokenize (segmenting data)
In der Informatik oder Linguistik einen Text oder Datenstrom in kleinere, sinnvolle Einheiten (Token) zerlegen.
To break down text or data streams into smaller, meaningful units (tokens).
-
Der Algorithmus tokenisiert den Satz in einzelne Wörter.— The algorithm tokenizes the sentence into individual words.
-
Wir haben die Daten erfolgreich tokenisiert.— We have successfully tokenized the data.
Синонимы