1月29日，由前搜狗公司CEO王小川創(chuàng)立的“百川智能”發(fā)布了超千億參數(shù)的大語言模型Baichuan 3。百川智能方面表示，Baichuan 3在多個權威醫(yī)療評測上的中文效果超過了GPT-4，是中文醫(yī)療任務表現(xiàn)最佳的大模型。
據(jù)介紹，百川智能在模型預訓練階段構建了超過千億Token的醫(yī)療數(shù)據(jù)集，包括醫(yī)學研究文獻、真實的電子病歷資料、醫(yī)學領域的專業(yè)書籍和知識庫資源、針對醫(yī)療問題的問答資料等。該數(shù)據(jù)集涵蓋了從理論到實際操作，從基礎理論到臨床應用等各個方面的醫(yī)學知識，確保了模型在醫(yī)療領域的專業(yè)度和知識深度。針對醫(yī)療知識激發(fā)的問題，百川智能在推理階段針對Prompt做了系統(tǒng)性的研究和調(diào)優(yōu)，通過準確的描述任務、恰當?shù)氖纠龢颖具x擇，讓模型輸出更加準確以及符合邏輯的推理步驟，最終不僅提升了Baichuan 3在多項醫(yī)療考試上的成績，并且在真實的醫(yī)療問答場景下也能給用戶提供更精準、細致的反饋。百川智能表示，Baichuan 3在數(shù)學和代碼等多個權威評測上接近GPT-4，證明了其強大的基礎邏輯推理能力。基于豐富高質量的專業(yè)醫(yī)療知識，通過調(diào)優(yōu)后的Prompt可對這些知識進行充分激發(fā)，再結合超千億參數(shù)的推理能力，Baichuan 3在醫(yī)療領域的任務效果提升顯著，在各類中英文醫(yī)療測試中的成績提升了2到14個百分點。不僅MCMLE、MedExam、CMExam等中文醫(yī)療任務的評測成績超過GPT-4，USMLE、MedMCQA等英文醫(yī)療任務的評測成績也逼近了GPT-4的水準。未來，百川智能將基于Baichuan 3打造“超級應用”，把大模型技術落地到諸多復雜應用場景。
