大语言模型的预训练[4]：指示学习Instruction Learning：Entailment-oriented、PLM oriented、human-oriented详解以及和Prompt Learning,In-content Learning区别1.指示学习的定义
Instruction Learning 让模型对题目 / 描述式的指令进行学习。针对每个任务，单独生成指示，通过在若干个 full-shot 任务上进行微调，然后在具体的任务上进行评估泛化能力，其中预训练模型参数是可更新的。
指示学习和提示学习的目的都是去挖掘语言模型本身具备的知识。不同的是 Prompt 是激发语言模型的补全能力，例如根据上半句生成下半句，或是完形填空等。Instruct 是激发语言模型的理解能力，它通过给出更明显的指令，让模型去做出正确的行动。通过下面的例子来理解这两个不同的学习方式：
提示学习：老师讲解的通俗易懂，学生很喜欢，这门课太____了。指示学习：这句话的情感是非常正向的：老师讲解的通俗易懂，学生很喜欢。选项：A = 好；B = 一般；C = 差。
对于任务指令学习，目标是通过遵循指令来驱动系统在给定输入的情况下达到输出。因此，数据集由三个项目组成：
三种不同类别的文本说明，如图所示：
Entailment-oriented：将原始输入作为前提，将每个预定义的标签转换为假设（即指令）。PLM oriented：使用模板将原始任务输入构建成完形填空题。human-oriented：利用足够的任务信息作为指导，例如定义和可选的小样本演示等2. 指示学习的指令种类2.1 任务指令
将这些指令概括为执行 T,X 和 Y 的不同组合的三类（ENTAILMENT-ORIENTED、 PLM-ORIENTED 和 HUMAN-ORIENTED）
2.1.1 I=T+Y:Entailment-oriented Instruction2.1.2 I=T+X:PLM-oriented Instruction2.1.3 Human-oriented Instruction2.2 如何建模指令Semantic Parser-based(基于语义解析器)：在机器学习的早期阶段，为了帮助系统理解自然语言指令，大量工作采用语义解析将指令转换为形式语言（逻辑公式），以便于系统执行。Prompting Template-based(基于提示模板)：对于基于神经网络的系统可以直接将自然语言指令编码到模型的嵌入中，而无需语义解析器的帮助。基于提示模板的方法的本质是使用模板将任务输入转换为提示格式（即完形填空）。Prefix Instruction-based(基于前缀指令)：与基于前缀指令的方法主要用于为 human-oriented 的指令建模，其中提供了足够的特定于任务的信息。HyperNetwork-based：使用基于前缀指令的建模策略有两个明显的问题。首先，它将任务级指令与每个实例级输入连接起来，重复过程显着减慢了处理 / 推理速度，冗长的输入也增加了计算成本的负担。其次，它可能会影响优化，因为模型无法明确区分任务输入 x 和前缀指令 I，因此模型可以简单地学习完成任务并忽略指令。为了解决上述问题，使用超网络对任务指令进行编码。使用基于超网络的方法的本质是：分别对任务指令 I 和任务输入 x 进行编码。将指令转换为特定于任务的模型参数。2.3 优点
指令通常包含比单独标记的示例更抽象和更全面的目标任务知识。随着任务指令的可用性，可以快速构建系统来处理新任务，尤其是在特定于任务的标注稀缺的情况，举例说明，例如，一个小孩可以通过从指导和一些例子中学习来很好地解决一个新的数学任务。
指示学习的优点是它经过多任务的微调后，也能够在其他任务上做 zero-shot组策略命令，而提示学习都是针对一个任务的。泛化能力不如指示学习。
3.与其他大语言模型技术对比3.1.Instruction Learning 与 Prompt Learning
相同之处：
不同之处：
3.2.In-content Learning 和 Instruction Learning4.关键知识点Instruction Learning建模指令有：基于语义解析器、基于提示模板、基于前缀指令Instruction Learning任务指令类型有：Entailment-oriented Instruction、PLM-oriented Instruction 、Human-oriented Instruction通过Instruction Learning给【题目叙述】回答问题以及In-context Learning给【范例】回答问题可以让语言模型变成一个通才。指示学习的优点是它经过多任务的微调后，也能够在其他任务上做zero-shot，而提示学习都是针对一个任务的，泛化能力不如指示学习。指示学习和提示学习的相同之处是：核心一样组策略命令，就是去发掘语言模型本身具备的知识。
更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。
娜娜项目网每日更新创业和副业项目
网址：nanaxm.cn 点击前往娜娜项目网
站 长 微 信： nanadh666
娜娜项目网每日更新创业和副业项目
网址：nanaxm.cn 点击前往娜娜项目网
站 长 微 信： nanadh666