токенизированный
In der Informatik: Ein Text oder ein Datenstrom wurde in kleinere, sinnvolle Einheiten (Token) zerlegt.
Разбитый на отдельные элементы (токены) в процессе обработки данных.
-
Der tokenisierte Text ist bereit für die Analyse.— Токенизированный текст готов к анализу.
-
Die Daten wurden effizient tokenisiert.— Данные были эффективно токенизированы.
-
Ein tokenisierter Satz besteht aus vielen kleinen Einheiten.— Токенизированное предложение состоит из множества мелких единиц.
Синонимы
Антонимы
ungetrennt