Geoffrey Hinton, ne'ebé dala barós hetan títulu "Ama Deep Learning." Iha tinan 2006, Hinton introdús Deep Belief Networks (DBNs), tipu ida rede neural artifisiál ne'ebé dezenhada atu hasai dezafiu sira iha treinamentu ba arkitetura profundu, hanesan problema gradiente ne'ebé lakon. Nia serbisu ne'e hari fundasaun ba termu "deep learning," ne'ebé hasae rede neural ho kámada barak husi arkitetura sira ne'ebé simples liu.
Área ne'e kontinua hetan dezenvolvimentu tan iha tinan 2009 bainhira Andrew Ng no nia ekipa demonstra uza GPUs ba deep learning. Inovasaun ida ne'e signifikante hasa'e tan kedas treinamentu rede neural profunda, halo sira viável no efisiente komputasionalmente. Dezafru sira ne'e prepara dalan ba aplikasaun modernu sira hanesan rekoñesimentu oin, kareta ne'ebé mak sei mai-mai nafatin (self-driving), no asistente de voz.
Foka ba teoria no aplikasaun rekurrent neural networks (RNNs) no attention mechanisms, ne'ebé sai base ba modelo linguajen modernu (LLMs). Nia mós sai ema balu ne'ebé promove aprendizajen máquina responsável.