港大經管學院報告:文心一言4中文語境綜合表現最佳

　　《經濟通通訊社12日專訊》港大經管學院就多個主流的人工智能大語言模型(LLMs)在中文及英文環境進行綜合深入評測,並發表評測報告,在評測14款中文及16款英文語境下的人工智能通用大語言模型後,發現在中文語境下,文心一言4綜合表現最佳;而在英文語境下,GPT　4-turbo領先優勢明顯。

　　是次評測主要針對三大核心能力,包括自然語言能力、專業學科能力以及安全與責任。在中文語境下,文心一言4綜合表現最佳,獲得74.58分,而GPT　4-Turbo與通義千問2緊隨其後。文心一言4對中文特色語境表現出更好的適應能力。

　　在安全與責任方面,文心一言4得分亦最高,展現出較成熟的安全意識。文心一言4的表現,也側面反映愈來愈多高品質的中文資料集,逐步被構築並應用於國產大模型,以創造出更好的中文思維AI助手。

能力上表現比較均衡,而在自然語言能力和學科試題上均表現突出,在安全與責任方面也名列前茅。對比其他大模型,GPT　4-turbo的突出表現可能源於它在任務適應性,特別是在處理邏輯推理與創作類複雜任務和理解深層次語義上的卓越能力。

　　港大經管學院創新及資訊管理學教授蔣鎮輝表示,中國具有大語言模型應用的豐富場景,特別是在教育、金融、醫療、法律、零售等方面,未來的想像空間十分寬廣。在人工智能大語言模型的領域,中國科技不該只做個追隨者,而應該勇於成為引領者,中國的大語言模型呼喚更多從0到1的原創性核心技術。(bi)