1月19日 消息 英偉達推出了ChatQA模型，據(jù)悉其性能可以對飚GPT-4，使用兩階段指令調(diào)整和改進的上下文檢索等高效的訓(xùn)練方法。
ChatQA是一組對話式問答 (QA) 模型，可以獲得GPT-4級別的精度。具體來說，開發(fā)團隊提出了一種兩階段指令調(diào)優(yōu)方法，可以顯著改善大型語言模型(LLM)的零樣本對話QA結(jié)果。
為了處理對話式 QA 中的檢索，在多輪 QA 數(shù)據(jù)集上微調(diào)了密集檢索器，這提供了與使用最先進的查詢重寫模型相當(dāng)?shù)慕Y(jié)果，同時大大降低了部署成本。值得注意的是，ChatQA-70B 在10個對話式 QA 數(shù)據(jù)集(54.14對53.90)上的平均得分方面優(yōu)于 GPT-4，而無需依賴來自 OpenAI GPT 模型的任何合成數(shù)據(jù)。
