AI蒸馏技术——文献(教材)研究新方法的思考
一、从一个问题说起
事情起于一个朴素的问题:读过的书不少,什么样的书值得“蒸馏”?
所谓蒸馏,是借AI领域的词。大模型教小模型,不教原始数据,只教判断——学生学的是老师“遇到同类问题怎么判”的那套功能,而不是把老师说的话背下来。我把这个思路移用到读书上:书里的事实和观点摘进笔记就够了,书里的方法和判据才值得固化下来,变成下次遇到同类问题能自动调用的东西。前者进知识库,后者成技能。
这个区分想通之后,一个更大胆的念头冒了出来:如果找三本同领域、同题目、不同作者的书,用同一套工艺分别蒸馏,再把三份蒸馏结果摆在一起对比——能不能出新的东西?
二、一次完整的实战检验
我选了管理学库里的三本研究方法教材:李怀祖《管理研究方法论》、西宝《管理科学研究方法》、卫田《管理学研究方法》。三本书,同一套蒸馏工艺,三个蒸馏员(AI子任务)分头作业,最后由我(AI)统一对齐比较。
先说仪器本身合不合格。西宝那本书此前蒸过一轮,留有存档;这次盲蒸重做,25项候选再现了22项,重合率88%。更有意思的是,没再现的3项恰好是上次人工验证时就被判“弱”的——盲蒸自己把弱候选滤掉了,和人工审判同向。仪器不但稳,还自带筛子。
再说研究成果。三份清单对齐之后,按“共识核/分歧点/独有项”分类,得到4个真分歧。其中证据最强的一个:什么是好选题?西宝给出四条标准——重要性、创造性、可行性、适宜性,缺一即废;卫田给出三条——反常识、影响力、实践意义。两套标准摆在一起,差别刺眼:一套强调“做得完、做得动”,一套强调“够新奇、能发表”。
三、分歧不是噪音,是省界
这是整个实验最让我信服的一个发现:分歧几乎全部可以归因到目标场域的差异——一套是学位论文的守门标准,一套是期刊发表的竞技标准。没有谁对谁错,是各管各的地界。
带着这个发现去做文献综述,又得到两层印证。第一层:这个分歧国际上早有公开争论——Davis 1971年提出“有趣的理论才是伟大的理论”(反常识标准的祖师爷),Tsang 2021年正面反驳,列出有趣性崇拜的五大危害,其中一条正是“损害博士教育”——逼着博士生追反常识,不追真问题。第二层:三套判据并存是事实,场域解释是合理推断,但“按场域分层比较判据”这件事,没有人系统做过;教材作为“学科判据的载体”,也从未被人这样提取过。
于是研究问题水到渠成:学位论文培养与期刊发表竞争两种场域,各用各的判据,中间地带谁来管?研究生要做“能达到发表水准的学位论文”,守门标准教不了他竞技,竞技标准不管他能不能毕业——这座桥,文献里还没有人搭。选题就此成立,四维评估(重要性、创造性、可行性、适宜性)全部通过。
四、这个方法到底新在哪
复盘整个过程,我认为“AI蒸馏对比”作为文献研究方法,新意有三层。
第一层,研究对象的转换。传统的文献综述,是研究者自己去读、去摘、去比,比的是“文献说了什么”。蒸馏法是先用统一工艺把多本权威文本加工成“判据清单”,比的是“各家怎么判断”。文本间的修辞差异、时代背景、例子堆砌,这些噪音在蒸馏环节就滤掉了,进入比较环节的已经是纯度很高的判断力本身。
第二层,问题提出的提速。研究方法课上讲,提出问题的常规路径是泛读文献找空白(gap-spotting)——靠运气,靠积累。而对比蒸馏是有目的的抽样:三本书摆开,分歧自己暴露出来,每一个分歧都天然是真问题——真有两位够分量的作者在这一点上判断相反,它就不可能是伪问题。这对应方法论里的“问题化”(problematization),比找空白高一个档次,而且快得多。
第三层,仪器化带来的可检验性。人工读书比较,结果不可复现,别人无法检验你的“读后感”。蒸馏工艺是明文规定的:五路提取、三重验证、复蒸信度门槛。同一本书隔段时间重蒸,重合率可以算出来——仪器合格不合格,有数可查。这是它区别于一切“读书心得”的根本之处。
五、边界与警惕
新方法越顺手,越要把它的边界说清楚。这一轮下来,我记下四条。
其一,蒸馏者偏差不抵消。三份蒸馏如果出自同一个AI之手,它的系统性偏差在三份里是同向的,比较消不掉。缓解办法是三重验证时刻意换角度,关键候选回原文核对——但这一条要永远悬在头上。
其二,伪独立是隐形陷阱。同领域的作者可能同出一门、互相转引,“三家共识”可能是一家之言被转述三次。这次三本书分属西安交大、大连理工、复旦,表面独立,但李怀祖的书是国内这个领域的奠基教材,后两本很可能承袭它——所以共识的成色要分级,独立表述互相印证的才算硬共识。
其三,文本截断会制造假分歧。这次有两本书在线拉取时被截断,导致“研究设计”“测量”两个主题证据不全。如果当时粗心,很可能把“书里没写到”误判为“作者不这么认为”。分歧成立前,必须先确认三家都真的回答了同一个问题。
其四,样本量的谦逊。三本书就是三个点,结论只能给区间和倾向,不能下定论。这是粗算的本分。
六、超出方法本身的一点感想
做了十年卫生管理与政策研究,我对“研究方法”这四个字是敬畏的——它是一套需要专门训练才能掌握的技艺。这次体验让我看到一种可能:AI没有取代这套技艺,而是把其中重复性最强的环节(逐字读、逐条摘、逐对对齐)接了过去,把判断性最强的环节(选书、裁决分歧、拍板选题)留给了我。
整个流程里,AI做了几乎所有“体力活”,但每一个关键节点都是人来定的:选哪三本书,是我定的;分歧点值不值得追,是我拍的;研究问题往哪个方向凝练,是我选的。AI是仪器,不是研究者——仪器再好,指向哪里,取决于用它的人问什么问题。
这也反过来解释了为什么“什么样的书值得蒸馏”是这一切的起点:方法密度高、会反复用、经得起验证的书,才经得起这台仪器的压榨。蒸馏这个词用得好——出来的东西体积小了,有效成分的浓度反而更高。读书如此,研究亦如此。
附记:本次实验的全部技术文档(蒸馏工艺规范、三份蒸馏清单、首验报告、选题与综述研究报告)均已存入个人知识库,可追溯、可复核。下一步计划把教材样本扩大到5-8本(含英文经典),并收集真实评审文本作对照。
AI 辅助声明:本文所记实验的构想,来自王老师的连续三问——什么样的书值得蒸馏、三本书分别蒸馏再对比能否得出新成果、把蒸馏当研究仪器而分歧点即问题的提出。三书蒸馏执行、文献检索与本文初稿由艾复思(WorkBuddy)完成,研究问题的凝练方向、分歧取舍与全部关键判断由王老师拍板。