标签为“NLP”的页面如下
意图识别两条路:SLM 微调与 LLM Function-calling 横评与选型指南
意图识别(Intent Recognition)这件事,在 NLP 圈子里干了十几年,本来快成"已解决"的问题了。结果 2024 年 LLM Function-calling 起来之后,又被翻出来重新讨论——意图的边界变大了:以前只要分到 20 个固定类别,现在每个意图对应一个工具调用、一段 API 参数,甚至一个 Agent 子任务。
更关键的是多轮对话成了主流形态:用户说"查一下我上个月从深圳飞北京的那张机票,能改签到下周三吗?",这一句话里有"查询订单 + 修改订单"两个意图,还要继承上文的"深圳-北京"实体。多轮场景下的意图识别,跟单轮完全是两个问题。
本文从多轮对话视角出发,对比两条主流路线:微调 SLM(小语言模型)与LLM Function-calling + 结构化输出,最后给出选型决策树和混合架构。
一图看懂 Transformer 架构原理
Transformer 是当今大语言模型(GPT、BERT、T5 等)的基础架构,由 Google 在 2017 年论文 “Attention Is All You Need” 中提出。它彻底抛弃了 RNN 的递归结构,仅依靠注意力机制实现序列建模,在效果和效率上都带来了革命性突破。
本文通过一张架构图 + 核心公式 + 基础概念解释,帮你快速建立对 Transformer 的整体理解。
向量查询之跨语言语义搜索原理
用知识的摘要进行向量化查询的方式,找到相关知识。一篇英文的知识,也能找到相似的中文知识,这是为什么?
这是一个非常深刻且触及了现代自然语言处理(NLP)核心原理的问题。简单来说,之所以英文的摘要能搜索到中文的知识,是因为在向量化的世界里,语言不再是隔阂,“含义”(Semantics)才是坐标。
这种技术通常被称为跨语言语义检索(Cross-lingual Semantic Search)。其背后的原理可以拆解为以下几个关键层面: