токенизировать (разбивать на токены)
In der Informatik oder Linguistik einen Text oder Datenstrom in kleinere, sinnvolle Einheiten (Token) zerlegen.
Разделять текст или данные на отдельные элементы (токены) для обработки.
-
Der Algorithmus tokenisiert den Satz in einzelne Wörter.— Алгоритм токенизирует предложение на отдельные слова.
-
Wir haben die Daten erfolgreich tokenisiert.— Мы успешно токенизировали данные.
Синонимы