Administrator
发布于 2024-08-08 / 9 阅读
0
0

lora不同任务类型的区别

SEQ_CLS (Sequence Classification):

  • 定义:序列分类任务。

  • 用途:将整个输入序列分类为一个类别标签。例如,情感分析(将一段文本分类为“正面”或“负面”)、垃圾邮件检测(将邮件分类为“垃圾邮件”或“非垃圾邮件”)。

SEQ_2_SEQ_LM (Sequence-to-Sequence Language Modeling):

  • 定义:序列到序列的语言建模任务。

  • 用途:生成一个输出序列,给定一个输入序列。例如,机器翻译(将句子从一种语言翻译到另一种语言)、文本摘要(将长文本总结为简短文本)。

CAUSAL_LM (Causal Language Modeling):

  • 定义:因果语言建模任务,自回归生成模型。

  • 用途:生成下一个词,给定前面的上下文。例如,文本生成(根据开头生成后续内容)、对话生成(生成回复)。

TOKEN_CLS (Token Classification):

  • 定义:标记分类任务。

  • 用途:将每个输入标记分类到一个类别。例如,命名实体识别(NER,将句子中的每个词分类为实体类别如人名、地点名等)、部分词性标注(POS,将每个词标注为词性如名词、动词等)。

QUESTION_ANS (Question Answering):

  • 定义:问答任务。

  • 用途:根据给定的上下文和问题,返回答案。例如,阅读理解(从文本中找出问题的答案)。

FEATURE_EXTRACTION (Feature Extraction):

  • 定义:特征提取任务。

  • 用途:从输入文本中提取特征表示。例如,将文本转化为向量用于下游任务如相似度计算或聚类分析。


评论