“越長”就越強(qiáng)？為何通義千問卷不動Kimi

　　今天咱們要干的第 一個長文本活兒，就是最常見的新聞?wù)�要歸納。

　　因為那些媒體搞的大新聞啊、深度調(diào)查啊，為了把事情說透徹，堆砌了一大堆事實、數(shù)據(jù)、例子，文章就賊拉長。

　　現(xiàn)在呢，咱們得把這些長文章濃縮一下，簡單直白地說說重點。

　　在這里，我們選擇的文章，是36氪的文章《卷進(jìn)前1%，誰能拿下新藥出海下一個百億美元交易?》

　　首先來看看通義千問的表現(xiàn)。

　　從這個總結(jié)的結(jié)果來看，通義千問基本覆蓋了文章的主要信息點，并簡要地對每個要點進(jìn)行了摘要，行文還算流暢。

　　但是，仔細(xì)看下來，這樣的總結(jié)長度較長，缺乏清晰的層次結(jié)構(gòu)，用戶需要投入更多時間和精力去梳理歸納要點。

　　此外，其在總結(jié)時，很多地方是直接摘錄了原文的風(fēng)格，沒有對內(nèi)容進(jìn)行高度壓縮概括，效率相對較低。

　　接下來再看看kimi的表現(xiàn)。

　　相較之下，Kimi的總結(jié)結(jié)構(gòu)層次分明，將要點分為多個方面進(jìn)行陳述，使得用戶可以快速掌握文章的框架和重點內(nèi)容。

　　同時，從覆蓋面來看，Kimi總結(jié)的要點一共有9個，涉及了出海形式、創(chuàng)新要求、BD對比IPO、長期發(fā)展等核心內(nèi)容，反映了對文章信息的更全面梳理。

　　而通義千問的總結(jié)雖然內(nèi)容也算完整，但遺漏了一些重點，比如沒有涉及創(chuàng)新和專利、國際化能力等等等。

　　2、研報分析

　　如果說，對長篇新聞的總結(jié)，體現(xiàn)的是大模型在長文本方面的主旨概括能力，那么接下來的研報分析，考驗的則是在長文本下，大模型推理能力的表現(xiàn)。

　　在這里，我們上傳了一份長達(dá)60頁的企業(yè)研報，來分別測試通義千問和Kimi的表現(xiàn)。

　　這份研報這份研報主要包括了一家名為元隆雅圖的企業(yè)的業(yè)務(wù)戰(zhàn)略、財務(wù)表現(xiàn)、以及市場前景。

　　在測試中，我們要求通義千問對該企業(yè)在AI時代可能具有的潛在優(yōu)勢進(jìn)行分析。

　　從結(jié)果來看，雖然其生成了一段“看似”詳細(xì)和具體的答案，但如果仔細(xì)觀察，就會發(fā)現(xiàn)這樣的回答，在很多要點上，都是比較重復(fù)的。

　　例如“IP資源智能化運營” 與“IP資產(chǎn)數(shù)字化轉(zhuǎn)型”，以及“新媒體營銷智能化”與“一體化營銷服務(wù)升級”，這些實際上都可以合并成一個點。

　　那相較之下，Kimi的表現(xiàn)怎樣呢?

　　可以看到，Kimi所分析出的要點，明顯比通義千問范圍更廣，維度更多，并且每個點都直擊主題。這點在進(jìn)行長文本分析時，就顯得尤為重要。

　　對短文本來說，集中精力、深入挖掘一兩個重點就可以搞定。但長文本就不一樣了，首先,長文本內(nèi)容豐富、層次繁多，單一視角顯然是捕捉不了全貌的。

　　再者，從概率上說，切入的角度越多，區(qū)別度越大，碰撞出新思路和想法的可能性也就越大。這也很符合某種智能的“涌現(xiàn)”規(guī)律。

　　3、小說閱讀

　　最后，咱們再來個有點挑戰(zhàn)的。

　　這不像之前某些簡單的測試，光讓模型復(fù)述下小說情節(jié)就完事了。還得在通讀全文的基礎(chǔ)上，按咱說的特殊文風(fēng)，把情節(jié)重新講出來。這考驗的就是一個指令遵循能力。

　　這里，我們選擇的是科幻小說《沙丘》

　　我們的要求是：《史記》的風(fēng)格，概述《沙丘》的主要情節(jié)。

　　雖然通義千問在剛開始時，勉強(qiáng)保持了相應(yīng)的文風(fēng)，但從第三段開始，整個文風(fēng)又變成了現(xiàn)代文，沒能一以貫之地保持。

　　可以看出，在這一回合，Kimi幾乎完勝，不僅情節(jié)敘述得更為完整、詳細(xì)，而且?guī)缀鯊氖贾两K地保持了接近《史記》的敘述風(fēng)格。

　　這顯示了Kimi在閱讀長文本時，強(qiáng)大的信息提取能力和指令遵循能

　　跟風(fēng)與內(nèi)卷，救不了國產(chǎn)大模型

　　可以看出，在長文本方面，Kimi無論是總結(jié)能力、分析能力，還是理解執(zhí)行指令的能力，目前都把通義千問給壓下去了。

　　以通義千問為代表的這類國產(chǎn)大模型，一上來就號稱數(shù)百萬，乃至上千萬的文本長度，結(jié)果在實測中搞出了“長文本室溫超導(dǎo)”的感覺，這說明了，長文本這事兒，還真不是“越長越強(qiáng)。”

　　之前，對于文本窗口的長度，月之暗面的CEO楊植麟就表示：“不能只提升窗口，不能只看數(shù)字，今天是幾百萬還是多少億的窗口沒有意義。你要看它在這個窗口下能實現(xiàn)的推理能力、the faithfulness的能力(對原始信息的忠實度)、the instruction following的能力(遵循指令的能力)。”

　　換言之，只有在這些核心能力方面展現(xiàn)出了真本事，你的長文本能力才真算數(shù)。

　　倘若不好好修煉“內(nèi)功”，對“片段級遞歸”、“相對位置編碼”等一系列重要的模型機(jī)制不夠諳熟，只是打激素式地增加文本長度，最終的結(jié)果，除了跟風(fēng)式地蹭蹭熱度，徒增些內(nèi)卷的負(fù)擔(dān)外，對中國大模型的發(fā)展實無裨益。