博雅計劃—博雅計劃：菁英項目：人工智能 ChatGPT的算法原理： 基于深度學(xué)習(xí)的Bert, Transformer等預(yù)訓(xùn)練大模型研究 及其在智能會話等自然語言處理系統(tǒng)中的應(yīng)用【大學(xué)組】

開始日期：

2023年6月17日

專業(yè)方向：

計算機與人工智能

導(dǎo)師：

Pavlos（哈佛大學(xué) Harvard University 項目主任）

課程周期：

9周在線小組科研學(xué)習(xí)+5周不限時論文指導(dǎo)學(xué)習(xí)

語言：

英文

建議學(xué)生年級：

大學(xué)生

項目產(chǎn)出：

9周在線小組科研學(xué)習(xí)+5周不限時論文指導(dǎo)學(xué)習(xí) 項目報告 EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發(fā)表指導(dǎo)（共同一作） 結(jié)業(yè)證書 成績單

項目介紹：

項目內(nèi)容包括線性回歸、邏輯回歸、決策樹、SVM機器學(xué)習(xí)算法和自然語言處理中的文本分類問題。學(xué)生將深入探究Word2Vec詞向量嵌入、Doc2Vec文本向量生成、基于LSTM和其他RNN的分類算法，了解RNN模型缺陷以及基于Attention的Transformer語言模型如何彌補這些缺陷。學(xué)生將在項目結(jié)束時，提交個性化研究課題項目報告，進行成果展示。 個性化研究課題參考： 基于雙向LSTM語言模型的多義詞消歧 根據(jù)推文內(nèi)容語義與語言習(xí)慣分析判斷用戶所在城市 發(fā)表基于NLP的微博內(nèi)容調(diào)查報告 評估句子片段幽默程度的自注意力算法優(yōu)化 In this course, you will be taken from basic topics of neural networks to advanced topics such as auto-encoders and transfer learning. We will review the topics covered in [AI-1], feedforward networks, gradient descent etc and then dive into convolutional neural networks, transfer learning, and auto-encoders.?