劍指GPT-4，百度文心4.0究竟有多強？

　　前幾天，百度世界大會上，文心大模型4.0發(fā)布。而李彥宏宣稱，新版本的文心大模型“綜合水平與 GPT-4 相比已經毫不遜色”，更是一石激起千層浪。

　　自此之后，在各家的評測中，文心大模型4.0已經與GPT-4的巔峰對決了N個回合，可以說難解難分。不過，GPT-4雖然是目前世界公認的一流水平，但收費價格不低，對國內用戶來說使用也不方便，文心一言卻已經面向全社會免費開放。

　　走路要一步一個腳印，今天DoNews就不整它倆的比拼了，而是測一測文心大模型4.0與目前仍免費的GPT-3.5的差別，看一看現在的文心大模型，是否明顯優(yōu)于后者，如果是的話，那對絕大多數用戶來說，選哪個就清楚了。

　　先說測評維度，這一次的大模型評測，按照業(yè)界普遍使用的語言理解、推理、生成、記憶這四個維度。俗話說因地制宜，DoNews安排的題目中，還包括今年國家公務員考試《行測》的真題，真實展現大模型在中文領域的實際水平。

　　一、理解能力

　　第一題，據說在中文考試中繞暈外國人的語言理解題目——說曹操到曹操就到了。

　　小明跟小亮說小剛昨天參加了百米賽跑，這個時候小剛正好經過，小亮就說：“說曹操到，曹操就到。” 分析一下，究竟是誰到了?

　　文心大模型4.0的回答如下：

　　GPT-3.5的回答如下：

　　可以看到，文心大模型4.0對于中文諺語理解非常到位，而再看GPT-3.5的回答，只能說一塌糊涂。這一題，文心大模型4.0明顯勝出。

　　剛剛的問題可能有點太欺負外國大模型了，緊接著，DoNews又從今年的國家公務員考試《行測》中扒來一道語言理解與表達試題。

　　每個企業(yè)都有自己的核心價值觀，它是企業(yè)一切理念、制度和技術的價值基礎。企業(yè)在重視財務、營銷、技術的同時，更應重視員工。員工是企業(yè)的主人，是企業(yè)的根本，只有建立起以“重視員工”為核心價值觀的企業(yè)文化，企業(yè)才能凝聚員工、創(chuàng)造個性，為自身的發(fā)展提供目標、方向和定力。 這段文字意在說明什么?(國家公務員考試《行測》語言理解與表達試題)

　　文心大模型4.0的回答如下：

　　GPT-3.5的回答如下：

　　這一題的結果，應該說是雙方勢均力敵，文心大模型4.0言簡意賅說出重點，GPT-3.5則條理清楚分析出結論。

　　二、邏輯推理能力

　　在這一維度，DoNews同樣在《行測》找來兩道真題，第一道是數學推斷計算題。

　　甲、乙等16人參加乒乓球淘汰賽。每輪對所有未被淘汰選手進行抽簽分組兩兩比賽，勝者進入下一輪。已知除了甲以外，其余任意兩人比賽時雙方勝率均為50%。甲對乙的勝率為0%，對其他14人的勝率均為100%。則甲奪冠的概率是多少?(國家公務員考試《行測》數量關系試題)

　　文心大模型4.0的回答如下：

　　GPT-3.5的回答如下：

　　不愧是國考題，文心大模型4.0和GPT-3.5都被整懵了，兩個答案全部錯誤。正確的答案是11/15，文心大模型明顯是沒理解題目的意思，想的過于復雜。GPT-3.5給出來的答案則讓人哭笑不得，思路直接就是錯的，又想的太過于簡單了，很難說哪個更強一點。

　　第2題就更加高端了，是看圖分析規(guī)律推理出答案，不過由于GPT-3.5不能查看圖片，這一題就只有文心大模型來作答了。

　　讓DoNews沒有想到的是，文心大模型4.0不僅可以識別圖片問題，還能準確的根據規(guī)律得出正確結果，可以說是碾壓性勝利。

　　三、生成能力

　　在這個維度，DoNews設置了根據描述生成文案、圖畫以及視頻三個測試題。第一題，請根據“吵架”生成一段文案，文心大模型4.0的回答如下：

　　GPT-3.5的回答如下：

　　兩者算是打了個平手，都是對于“吵架”這一負情緒詞進行正向引導。接下來的兩題，由于GPT-3.5無法生成圖片和視頻，可以說文心大模型不戰(zhàn)而勝了，來看下結果吧。

　　請根據“為有暗香來”生成一幅畫，文心大模型4.0的回答如下：

　　文心大模型4.0直接根據題意給出了四幅不同風格的畫作，可以說，在圖像生成上確實進步不少。

　　根據“雙十一”生成一段視頻，文心大模型4.0的回答如下：

　　不知道為何，文心大模型4.0也沒能直接呈現出一段視頻，只是根據指示詞給出了一個視頻腳本來，可能還有待進步吧。

　　四、記憶能力

　　最后一個維度就是十分重要的記憶能力。DoNews要求以“我喝了一口核污水”為開頭寫一篇小說。

　　文心大模型4.0的回答如下：

　　GPT-3.5的回答如下：

　　可以看到，在故事創(chuàng)造上，文心大模型4.0更偏重于結構框架，而GPT-3.5則偏重于故事內容。這讓DoNews有一個大膽的設想，用文心大模型4.0寫框架，用GPT-3.5填寫內容，是不是就能得到一部完整的小說?

　　言歸正傳，DoNews繼續(xù)提出增加人物背景、增加故事人物角色、增加冒險情節(jié)、豐富故事內容、增加具體情節(jié)等指令來。

　　文心大模型4.0的回答如下：

　　GPT-3.5的回答如下：

　　多輪問答后，文心大模型4.0和GPT-3.5都能根據給出指令適當增加內容，同時呼應之前給出的內容，但也會有一些細節(jié)遺忘，整體來看表現都不錯。

　　結語：

　　根據測評結果來看，文心大模型4.0整體水平優(yōu)于GPT-3.5，尤其在理解和生成兩方面，表現令人驚喜。

　　大模型目前處于高速發(fā)展階段，性能和應用效果都在不斷提升，也曾一度引發(fā)了國內對于是否會在大模型領域落伍的擔憂，不過從剛剛的對比結果來看，像百度文心這樣的國產大模型同樣表現優(yōu)秀，即使會有差距，也是可以追趕，甚至是在短時間內追趕上的，大家不必杞人憂天。

　　相信未來，我們也將看到能力更強的國產大模型，在各行各業(yè)落地生根，便利我們的生活。