Mik ezek?
Az AI-tokenek olyan szöveg- vagy egyéb adategységek, amelyeket az AI-modellek olvasnak és generálnak. Egy token lehet egy teljes szó, egy szó része, egy szám, vagy akár egy írásjel. Minden beírt prompt és minden kapott válasz ilyen kis adatrészekre van bontva.
Hozzávetőleges szabály: 100 token ≈ 75 szó
Minél több tokent használ, annál nagyobb a számla. A különböző modellek kicsit másképp számolják a tokeneket, de az elv ugyanaz. A tokenek az AI-t inkább az elektromos áramhoz teszik hasonlóvá, mint a szoftverhez. Mérőórás közszolgáltatássá.
