Pre nego što je Transformer arhitektura (i Mehanizam pažnje) preuzela primat, problem obrade sekvencijalnih podataka – kao što su tekst, govor ili vremenske serije – rešavali su Rekurentne Neuronske Mreže (RNN).