学术研究 学术研究
儒学动态
专家观点
项目成果
研讨动态
分中心建设 分中心建设
分中心活动
传播普及 传播普及
交流互鉴 交流互鉴
尼山金年会|金字招牌|官网首页·文明论坛
机关党建 机关党建
廉洁文化建设
金年会|金字招牌|官网首页·文明建设
学术期刊 学术期刊
《孔子研究》
《中国儒学年鉴》
儒学名家 儒学名家

【文心一言】受资本青睐 长文本真的牛吗?

来源:金年会|金字招牌|官网首页  更新时间:2024-09-17 03:08:27

 

大模型长文本一度被吹捧为行业的受资未来,然而,本青这项技术是睐长否真的值得如此高度推崇?又或许,其中隐藏的文本只是一场资本的角力游戏。

长文本技术今年来风靡全球,受资一度被视为人工智能领域的本青文心一言重要突破之一,这项技术的睐长应用范围广泛,涵盖自动写作、文本智能客服、受资新闻报道等诸多领域,本青看似威力无穷。睐长

但对于大模型长文本的文本真实效果,事实上业内也有人质疑,受资认为部分大模型使用的本青并非真正的长文本技术,而是睐长RAG技术(即检索增强生成技术),可能存在逻辑错误、信息不准确甚至是庆余年完全虚构的情况。这种问题在某些场景下尤为突出,比如金融分析、医疗诊断等需要高度准确性的领域,一篇虚假的长文本分析可能导致严重的后果。

与此同时,资本市场对大模型长文本技术的热情却愈发高涨。一些知名的科技投资机构纷纷将目光投向这一领域,希望能够在这场技术革命中分得一杯羹。

资本赚钱才是真相?在这场大模型长文本的风暴中,或许是如此。技术的价值固然重要,但更重要的是能否为投资者带来可观的回报。或许,在技术和资本之间,还需要找到一种平衡,才能真正实现人工智能的鸣潮价值和意义。

长文本技术仍各有局限

长文本处理自年初突然成为人们关注的焦点之一。

然而,在现阶段的长文本技术主要依赖的三种方法,依旧存在各自的局限性。算力与硬件的限制、滑动窗口的信息丢失以及RAG技术的信息遗漏,都在一定程度上制约了长文本技术的发展。

堆算力、堆硬件是目前主流的一种方式。大模型底层技术transformer架构的限制使得对上百万长文本的阅读成为一项艰巨的任务。每一个“字”都会被换算成大模型能读懂的token(即最小语义单元)来计算,导致算力成本高昂。企业只能不断堆积算力和硬件,以支撑大规模的计算需求。然而,复杂外部因素导致资源有限,尤其是对于创业公司而言,实现算力自由成为一大挑战。

滑动窗口技术是另一种常见的处理长文本的方法。这种方法将长文本分割成一段一段,并分别进行总结和标记。然而,这种处理方式往往会导致信息的丢失,无法完整理解长文本的内容。最终的效果会大打折扣,无法达到理想的效果。

RAG技术(检索增强生成技术)被某些AI创业公司鼓吹为解决长文本处理的利器。RAG技术可以从文档中搜索出相关内容,并将这些内容提供给大模型进行推理。然而,这种技术可能只读取文档的部分内容,然后通过从互联网检索的信息进行总结和分析。这种方式往往会遗漏关键信息,导致回答的质量不高。

然而目前来看,RAG技术也暴露出了一些问题。首先,其对外部搜索的依赖性非常高,需要依靠庞大的文档数据库来支撑生成过程。这就意味着,若文档库的质量或覆盖范围不足,可能会导致生成的内容质量参差不齐。其次,由于检索结果是无法完全控制的,因此也存在着不可控的风险,可能会引入一些不准确或不相关的信息,影响最终的结果。

在这样的背景下,事实上一些从传统搜索引擎起家的大模型公司似乎具备了更强的竞争优势。这些公司拥有庞大的文档数据库和成熟的搜索技术,能够更好地支撑RAG技术的应用。同时,传统搜索公司在检索增强方面拥有更丰富的经验和资源,能够更好地控制检索结果,提高内容的质量和相关性。

大模型发展应回归用户需求

尽管长文本在某些专业领域有其独特之处,但在日常应用中,非长文本创作的需求实则更为广泛,而且上下文理解能力也显得更加重要。

目前来看,长文本处理的算力限制使得其对上下文的理解能力有所不足。尽管长文本能力对金融、法律、科研等领域的专业人士来说可能是不可或缺的工具,帮助他们快速阅读研究报告、分析财务数据、阅读科研论文等。然而,长文本处理需要大量的计算资源支持,这在一定程度上,依旧限制着对上下文的深度理解。

与此同时,长文本是否“越长越好”争议依旧存在。一些业内人士认为,今年大模型的开放文本长度并不具备太大的意义,据《经济观察报》报道,有投资人表示,“去年大模型公司都在卷参数,从千亿卷到万亿,意义并不大。”庄明浩称,今年大模型开卷的文本长度,可能也没有太大意义,“谁会经常把1000万字的文本喂给大模型?”

得益于在金融、法律、科研等领域,长文本的处理需求日益增加,长文本处理能力确实被认为是大模型的一大优势。然而,长文本处理能力在某些特定领域的突出表现并不意味着大模型发展应该完全偏向于长文本。相反,作为从业者而言,或许应该警惕技术发展的偏离,应该回归用户的实际需求,寻找更广泛、更实用的应用场景。

长文本处理能力固然重要,但并不是所有用户都需要长文本处理能力。在实际应用中,绝大多数用户更关心的是如何更高效地完成日常任务,如写作、搜索、语音识别等。因此,大模型的发展应该更加注重普适性,满足更广泛的用户需求。

随着AI普惠化成为主流趋势,对于大部分科技公司而言,让更多人能够分享到科技的成果是更加务实,同时也是更加可持续的选择。对绝大多数用户而言,日常非长文本创作需求更为迫切,提高创作效率是真正的刚需。在这方面,上下文理解能力的提升比长文本处理能力更为关键。未来,AI技术的发展方向应当更加注重满足日常生活中的实际需求,以推动技术的普及和应用的广泛化。

在AIGC时代飞速向前的关键时刻,大模型的开发者和研究者,也应当时刻审视技术的发展方向,回归用户需求,实现技术的真正价值。只有这样才能够实现技术的可持续发展,为人类社会的进步作出更大的贡献。