大模型是具有非常大的參數的人工神經網絡。因為參數足夠大,所以很強大,所以在很多任務中表現出非常好的能力。
因為大模型學習了很多知識,訓練了很多數據,具有非常好的通用性。包括我們日常生活中經常看到的各種人工智能產品,比如人臉識別、對話機器人等等。
因為大模型的容量非常大,能力非常強,它把所有的任務組合在壹起,用壹個模型提供大量的任務,這就是我們在人工智能領域所說的通用人工智能,所以它展現了壹個非常好的通用人工智能的前景。
人工智能大模型的類型
大模型分為兩類,壹般大模型和垂直大模型。通用大模型,基礎大模型,擅長處理各種任務,是行業技術制高點,推動產業革命。例如,GPT系列是壹個通用模型。訓練通用大規模模型參數規模大,需要強大的計算支持,通常是頭部企業兵家必爭之地。
國內科技和互聯網巨頭紛紛布局,如百度的文心壹言、阿裏的依桐千問模式、騰訊的混合元素模式、科大訊飛的Spark認知模式、商湯科技的成長日模式等。
垂直大模型和行業大模型是大模型應用的重要形式。基於通用大模型進行微調,通過訓練專業數據,為各行各業等各種場景提供更加精準高效的解決方案。比如華為盤古模型就是面向行業的專業模型,已經初步應用於政務、金融、鐵路、氣象、煤礦等領域。
國際上除了ChatGPT,還有Llama2,是Meta和微軟聯合推出的開源模型,包括70億參數,13億參數,700億參數。它的訓練數據增長很快,接受了2萬億代幣的訓練。