揭密ChatGPT運作原理：從神經網路到語境視窗看懂生成式AI

由中佛罗里达大学（University of Central Florida）的AI研究人员揭示，ChatGPT的运作机制涉及一系列先进的AI技术，包括大型语言模型（LLM）、自然语言处理（NLP）以及词元（Token）和语境视窗（Context Window）的概念。

LLM是ChatGPT的核心，其权重通过优化目标进行调整。在处理信息时，模型将文本分解为词元，并通过语境视窗来理解词元之间的关系。

在生成新对话时，LLM需要强大的计算能力，通常由GPU提供支持。其基础架构源于2017年提出的Transformer模型，该模型的核心是注意力机制（attention mechanism）。