課程介紹：

近嶼智能精心設(shè)計(jì)的多模態(tài)大模型應(yīng)用工程師課程，旨在帶領(lǐng)大家深入探索如何利用最前沿的人工智能技術(shù)，將簡(jiǎn)單的文字轉(zhuǎn)化為豐富多彩的多媒體內(nèi)容，包括文本、圖像、語(yǔ)音、音樂(lè)和視頻。課程從基礎(chǔ)的文本生成（文生文）起步，逐步引導(dǎo)大家邁向更高階的視頻創(chuàng)作（文生視頻），采用循序漸進(jìn)的教學(xué)方式，讓大家在輕松愉快的氛圍中掌握?qǐng)D像、語(yǔ)音、音樂(lè)和視頻的創(chuàng)作技巧。

學(xué)習(xí)內(nèi)容：

B1 階梯

熟練掌握各種多模態(tài)大模型工具（Qwen2-VL，GPT4o，可靈大模型等），完成短視頻文案、劇本創(chuàng)作，視頻剪輯、圖像創(chuàng)作、游戲設(shè)計(jì)、短視頻生成等工作，實(shí)現(xiàn)工作模式的升級(jí)和效率的提升。

B2 階梯

學(xué)習(xí)多模態(tài)大模型的通用理論基礎(chǔ)，獲得多模態(tài)大模型的高級(jí)認(rèn)知，在MLLM工具使用的基礎(chǔ)上，通過(guò)API調(diào)用完成批量化創(chuàng)作。

B3 階梯

能夠根據(jù)應(yīng)用需求，借助大模型應(yīng)用框架，集成語(yǔ)言模型以及多模態(tài)模型構(gòu)建應(yīng)用，擴(kuò)展大模型能力。

B4 階梯

針對(duì)多模態(tài)大模型能力的局限性，對(duì)多模態(tài)大模型的能力進(jìn)行可控調(diào)優(yōu)。

課程優(yōu)勢(shì)：

● 雙模式課堂：直播+錄播課程模式

● 線上自習(xí)室：騰訊會(huì)議線上自習(xí)室

● 線下自習(xí)室：近嶼智能上?？偛刻峁┚€下自習(xí)室

● 實(shí)戰(zhàn)檢測(cè)機(jī)制：每個(gè)學(xué)習(xí)階段都匹配對(duì)應(yīng)實(shí)戰(zhàn)作業(yè)

● 全程伴學(xué)服務(wù)：從入學(xué)到學(xué)籍期結(jié)束提供全程學(xué)習(xí)輔助及答疑服務(wù)

● 專業(yè)技術(shù)學(xué)管多對(duì)一技術(shù)答疑：多對(duì)一專屬學(xué)習(xí)群，專屬學(xué)管技術(shù)答疑幫助，針對(duì)性答疑更有效

● 多樣化積分獎(jiǎng)勵(lì)機(jī)制：通過(guò)學(xué)習(xí)和積極性行為獲取積分，學(xué)習(xí)激勵(lì)更有效

● 就業(yè)面試服務(wù)：幫助學(xué)員拿到至少5次崗位面試機(jī)會(huì)，全程匹配簡(jiǎn)歷優(yōu)化及面試指導(dǎo)服務(wù)，從此就業(yè)不再難

文生文

介紹如何使用開(kāi)源的Llama、ChatGlm或者閉源的蛙蛙寫作、通義、Kimi等進(jìn)行AI文本創(chuàng)作，如果你有一些可以模仿的作品集或者自己的歷史作品集，可以通過(guò)對(duì)開(kāi)源的Llama、ChatGlm進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的小說(shuō)、劇本、軟文和廣告腳本等。

文生圖

會(huì)用開(kāi)源的Flux、Stable Diffusion或者閉源的MidJourney進(jìn)行AI圖片創(chuàng)作，如果你有一些可以模仿的作品集或者自己的歷史作品集，可以通過(guò)對(duì)開(kāi)源的Flux或者Stable Diffusion進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的KV、電商詳情頁(yè)、海報(bào)和字體等。

AI語(yǔ)音生成

用開(kāi)源的GPTSoVits或者閉源的剪映進(jìn)行AI語(yǔ)音生成，如果你有一些可以模仿的人物音頻或者自己的歷史音頻集，可以通過(guò)對(duì)開(kāi)源的GPTSoVits進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的語(yǔ)音等。

AI音樂(lè)創(chuàng)作

用開(kāi)源的AudioLDM或者閉源的SunoAI進(jìn)行AI音樂(lè)創(chuàng)作，如果你有一些可以模仿的樂(lè)曲集、歌曲集或者自己的歷史作品集，可以通過(guò)對(duì)開(kāi)源的AudioLDM進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的純音樂(lè)或者帶歌詞的歌曲等。

AI視頻創(chuàng)作

用開(kāi)源的CogVideo或者閉源的極夢(mèng)、Dream Machine、Runway、Pika進(jìn)行AI視頻創(chuàng)作，如果你有一些可以模仿的視頻作品集、電影或者自己的歷史作品集，可以通過(guò)對(duì)開(kāi)源的CogVideo進(jìn)行微調(diào)（SFT），讓大模型生成海量的類似風(fēng)格的短視頻。

結(jié)合以上的一些或者全部的開(kāi)源算法，用Langchain等技術(shù)框架開(kāi)發(fā)一個(gè)集合AI文本創(chuàng)作，文生圖、文生音頻、文生音樂(lè)和文生視頻為一體的多模態(tài)大模型AI應(yīng)用，例如：AI自動(dòng)剪輯軟件筷子科技，非實(shí)時(shí)數(shù)字人合成軟件HeyGen和AI電商廣告生成軟件Fancy Tech等。

就業(yè)方向（部分）

多模態(tài)算法工程師

平面設(shè)計(jì)

UI設(shè)計(jì)

新媒體運(yùn)營(yíng)

游戲設(shè)計(jì)

品牌設(shè)計(jì)

電商

適合人群：

? 設(shè)計(jì)與創(chuàng)意行業(yè)從業(yè)者

○ 原畫師：需要利用AI來(lái)增強(qiáng)創(chuàng)作過(guò)程，提高效率和創(chuàng)意表現(xiàn)。

○ AI設(shè)計(jì)師：專注于使用AI工具進(jìn)行設(shè)計(jì)工作，創(chuàng)造視覺(jué)內(nèi)容。

○ AI美術(shù)師：結(jié)合美術(shù)功底與AI技術(shù)，進(jìn)行藝術(shù)創(chuàng)作和視覺(jué)設(shè)計(jì)。

○ AI視覺(jué)設(shè)計(jì)：利用AI進(jìn)行視覺(jué)設(shè)計(jì)，包括界面、插畫等。

? 媒體與娛樂(lè)行業(yè)從業(yè)者

○ 剪輯師：通過(guò)學(xué)習(xí)AI技術(shù)，提高剪輯效率，實(shí)現(xiàn)自動(dòng)化編輯流程。

○ 娛樂(lè)媒體行業(yè)從業(yè)者：需要掌握AI工具來(lái)創(chuàng)作或優(yōu)化娛樂(lè)內(nèi)容，如視頻、音樂(lè)等。

○ AI內(nèi)容運(yùn)營(yíng)：負(fù)責(zé)管理和運(yùn)用AI生成的內(nèi)容，進(jìn)行有效的內(nèi)容策略規(guī)劃和執(zhí)行。

? 技術(shù)開(kāi)發(fā)人員

○ 多模態(tài)應(yīng)用開(kāi)發(fā)工程師：開(kāi)發(fā)結(jié)合多種模態(tài)（如視覺(jué)、語(yǔ)音、文本）的AI應(yīng)用。

○ 多模態(tài)開(kāi)發(fā)工程師：專注于創(chuàng)造能夠處理和學(xué)習(xí)多種類型數(shù)據(jù)的AI系統(tǒng)。

? 市場(chǎng)營(yíng)銷與商業(yè)運(yùn)營(yíng)

○ 市場(chǎng)營(yíng)銷：利用AI進(jìn)行市場(chǎng)分析、消費(fèi)者行為預(yù)測(cè)和個(gè)性化營(yíng)銷內(nèi)容創(chuàng)作。

○ AIGC內(nèi)容運(yùn)營(yíng)：專注于運(yùn)營(yíng)由人工智能生成的內(nèi)容，包括社交媒體、廣告等。

? 教育工作者

○ 教育工作者：利用AI工具輔助教學(xué)，開(kāi)發(fā)個(gè)性化學(xué)習(xí)內(nèi)容，提高教學(xué)效率。

? 新人與轉(zhuǎn)行者

○ 想進(jìn)入設(shè)計(jì)行業(yè)的應(yīng)屆生：對(duì)于剛剛畢業(yè)、希望進(jìn)入設(shè)計(jì)行業(yè)的學(xué)生，學(xué)習(xí)AI技能可以增加就業(yè)競(jìng)爭(zhēng)力。

○ 創(chuàng)意設(shè)計(jì)相關(guān)崗位的AI設(shè)計(jì)師：對(duì)于希望結(jié)合創(chuàng)意與技術(shù)，從事設(shè)計(jì)行業(yè)的人員。

就業(yè)指導(dǎo)

就業(yè)準(zhǔn)備階段

● 確認(rèn)學(xué)員基本信息：了解學(xué)員的基礎(chǔ)信息及就業(yè)意向和具體要求。

● 制定個(gè)性化就業(yè)方案：針對(duì)學(xué)員個(gè)性需求，為學(xué)員規(guī)劃求職方向。

簡(jiǎn)歷與面試準(zhǔn)備

● 簡(jiǎn)歷檢測(cè)與修改：針對(duì)學(xué)員初始版簡(jiǎn)歷，指導(dǎo)并輔助學(xué)員優(yōu)化簡(jiǎn)歷并制作成品。

● AI模擬面試：提供多次AI模擬面試，豐富學(xué)員面試經(jīng)驗(yàn)并提升面試表達(dá)能力。

● 算法面試指導(dǎo)：課程提供2次算法面試指導(dǎo)直播課程。

面試能力提升

● 面試指導(dǎo)：可針對(duì)需面試崗位提供一對(duì)一視頻面試指導(dǎo)，包括技術(shù)能力溝通反饋。

● 面試技巧：提供面試禮儀與人事溝通技巧。

● 面試復(fù)盤：分析面試表現(xiàn)，并將在下一次面試指導(dǎo)中老師針對(duì)性給學(xué)員進(jìn)行提升優(yōu)化。

先行者面試題共享

● 面試題共享學(xué)習(xí)：提供學(xué)長(zhǎng)學(xué)姐整理的相關(guān)真實(shí)面試題與資料。

微軟證書

提供免費(fèi)的考試輔導(dǎo)服務(wù)：全面的微軟認(rèn)證考試準(zhǔn)備，包括技術(shù)考試流程指導(dǎo)、講師視頻教程、考試題庫(kù)等，幫助考生全面掌握考試所需技能和知識(shí)點(diǎn)。

結(jié)業(yè)證書

完成階段課程后頒發(fā)，由近嶼智能JYI頒發(fā)，行業(yè)認(rèn)可。涵蓋AIGC大模型實(shí)戰(zhàn)項(xiàng)目，在近嶼智能JYI的學(xué)習(xí)旅程中，學(xué)員將經(jīng)歷從基礎(chǔ)到進(jìn)階，再到實(shí)戰(zhàn)的全面訓(xùn)練，每一步都為學(xué)員的專業(yè)成長(zhǎng)和實(shí)際應(yīng)用能力的提升打下堅(jiān)實(shí)的基礎(chǔ)。

機(jī)構(gòu)優(yōu)勢(shì)：

上海近嶼智能科技有限公司

上海近嶼智能科技有限公司成立于2017年5月，她是一家以AI+RPA+BI技術(shù)為核心的人力資源方向的產(chǎn)品和解決方案提供商，擁有基于先進(jìn)的篇章級(jí)語(yǔ)義識(shí)別算法和多模態(tài)算法構(gòu)建的人力資源行業(yè)超腦-近嶼超腦。近嶼智能致力于通過(guò)先進(jìn)技術(shù)，逐步的將人類從繁重、重復(fù)的勞動(dòng)中解放出來(lái)，提升人類工作的效能。

其核心產(chǎn)品AI得賢招聘官是一款智慧招聘管理系統(tǒng)，區(qū)別于傳統(tǒng)的智能招聘ATS，AI得賢招聘官具有AI多模態(tài)算法核心，能夠替代人類面試官對(duì)候選人的核心價(jià)值觀，通用素質(zhì)，潛在領(lǐng)導(dǎo)力和專業(yè)素質(zhì)進(jìn)行基于視頻面試的判斷，是一款L5級(jí)別AIGC面試系統(tǒng)。該系統(tǒng)已經(jīng)被包括三星中國(guó)、招商銀行、西門子等眾多大客戶驗(yàn)證可以完全替代人類面試官進(jìn)行招聘面試場(chǎng)景的最終決策。

AI得賢招聘官已上架至SAP APP Center，在200個(gè)國(guó)家和地區(qū)，向SAP的全球客戶提供AI招聘和面試科技解決方案。AI得賢招聘官也已登錄釘釘開(kāi)放平臺(tái)，為3000多萬(wàn)家中小型客戶提供千企千面的招聘自動(dòng)化、AI視頻面試、模擬編程、認(rèn)知能力測(cè)試、職業(yè)性格測(cè)試、心理測(cè)評(píng)等服務(wù)。

【機(jī)構(gòu)榮譽(yù)】

【融資歷史】

AIGC多模態(tài)大模型應(yīng)用工程師