Transformers, the tech behind LLMs | Deep Learning Chapter 5

Le iniziali GPT stanno per Generative Pretrained Transformer. La prima parola è abbastanza semplice: si tratta di bot che generano nuovo testo. Il termine "preaddestrato" si riferisce al fatto che il modello è stato sottoposto a un processo di apprendimento da un'enorme quantità di dati, il prefisso indica che c'è più spazio per perfezionarlo su compiti specifici con un addestramento aggiuntivo. Ma l'ultima parola è il vero pezzo chiave. Un transformer è un tipo specifico di rete neurale, un modello di apprendimento automatico, ed è l'invenzione principale alla base dell'attuale boom dell'IA. L'obiettivo di questo video e dei capitoli successivi è quello di spiegare visivamente cosa succede all'interno di un transformer. Seguiremo i dati che lo attraversano e procederemo passo dopo passo. Esistono diversi tipi di modelli che puoi costruire utilizzando i transformer. Alcuni modelli ricevono l'audio e producono una trascrizione. Questa frase proviene da un modello che fa il percorso inverso, producendo un discorso sintetico solo a partire dal testo. Tutti quegli strumenti che hanno conquistato il mondo nel 2022, come DALL-E e Midjourney, che accettano una descrizione testuale e producono un'immagine, sono basati sui transformer. Anche se non riesco a fargli capire cosa dovrebbe essere una creatura a forma pi greco, sono comunque stupito che questo genere di cose sia anche solo lontanamente possibile. E il transformer originale introdotto nel 2017 da Google è stato inventato per lo specifico caso d'uso della traduzione di testi da una lingua all'altra. Ma la variante su cui ci concentreremo io e te, che è quella che sta alla base di strumenti come ChatGPT, sarà un modello addestrato a recepire un pezzo di testo, magari con alcune immagini o suoni circostanti che lo accompagnano, e a produrre una previsione su ciò che viene dopo nel testo. Questa previsione assume la forma di una distribuzione di probabilità su diversi pezzi di testo che potrebbero seguire....