BPE算法是一种常用的子词分词算法,通过逐步合并高频字符对来构建词汇表。
LLM的文本生成过程是基于next token prediction的方式进行的。
Tokenization是将文本转换为Token序列的过程。
BPE算法的核心思想是什么?
随机分词
逐步合并高频字符对
基于字典匹配
统计词频
LLM训练的第三阶段是?
预训练
监督微调
奖励模型
强化学习
LLM大模型的核心架构是什么?
RNN架构
CNN架构
Transformer架构
LSTM架构
以下哪种微调方式需要修改原始模型的参数?
Adapter
LoRA
Prompt Tuning
全参数微调
以下哪些属于大模型的三大要素?
数据
模型结构
训练方法
网络
LLM模型架构的主要类型包括?
Only Encoder
Only Decoder
Encoder-Decoder
RNN架构
Transformer结构的主要组件包括?
自注意力机制
前馈神经网络
残差连接
Layer Normalization