Transformers, the tech behind LLMs | Deep Learning Chapter 5

As iniciais GPT significam Transformador Generativo Pré-treinado. A primeira palavra é bastante direta, são bots que geram novo texto. Pré-treinado refere-se a como o modelo passou por um processo de aprendizagem a partir de uma enorme quantidade de dados, e o prefixo sugere que é possível ajustá-lo para tarefas específicas com treinamento adicional. Mas a última palavra é a verdadeira peça chave. Um transformador é um tipo específico de rede neural, um modelo de aprendizado de máquina, e é a principal invenção na base do atual crescimento de IA. O que quero fazer com este vídeo e com os capítulos seguintes é apresentar uma explicação baseada em gráficos sobre o que realmente acontece dentro de um transformador. Vamos seguir os dados que fluem por ele e seguir passo a passo. Existem muitos tipos diferentes de modelos que você pode construir usando transformadores. Alguns modelos captam áudio e produzem uma transcrição. Essa frase vem de um modelo que faz o contrário, produzindo fala sintética apenas a partir do texto. Todas aquelas ferramentas que conquistaram o mundo em 2022, como DALL-E e Midjourney, que captam uma descrição de texto e produzem uma imagem, são baseadas em transformadores. Mesmo que eu não consiga explicar pro modelo o que uma criatura "pi" deveria ser, ainda estou surpreso que esse tipo de coisa seja remotamente possível. E o transformador original introduzido em 2017 pelo Google foi inventado para o caso de uso específico de tradução de texto de um idioma para outro. Mas a variante na qual vamos nos concentrar, que é o tipo que dá base a ferramentas como o ChatGPT, será um modelo treinado para captar um pedaço de texto, talvez até acompanhado de algumas imagens ou sons associados, e produzir uma previsão para o que vem a seguir na passagem. Essa previsão assume a forma de uma distribuição de probabilidade sobre muitos trechos diferentes de texto que podem se seguir....