祝賀｜張康教授團隊項目入選2024年國家社科基金文化遺產(chǎn)保護傳承研究專項
近日，全國哲學社會科學工作辦公室公示了《2024年國家社科基金文化遺產(chǎn)保護傳承研究專項》立項名單，香港科技大學（廣州）信息樞紐計算機媒體與藝術（CMA）學域主任張康教授團隊的“文化遺產(chǎn)保護傳承中的前沿科技應用研究”項目入選。這是我校獲批的首個國家社科基金重大項目，標志著中外合作辦學（含內(nèi)地與香港合作辦學）在國家社科基金類項目申請上實現(xiàn)了重要突破。
文化遺產(chǎn)保護傳承中的前沿科技應用研究
文化遺產(chǎn)作為歷史文明見證，其保護傳承對文化連續(xù)性和歷史再現(xiàn)至關重要。該研究以中國文化遺產(chǎn)為研究對象，通過前沿數(shù)字技術對文化遺產(chǎn)進行保護、傳承和創(chuàng)新性傳播。整體框架涵蓋從數(shù)據(jù)收集及內(nèi)容創(chuàng)作、美學度量與分析、三維場景數(shù)字化重建及文化遺產(chǎn)傳承的全流程，旨在實現(xiàn)文化遺產(chǎn)的數(shù)字化、交互化和可持續(xù)性保護與傳承。
該項目由四個子課題構成。
子課題1：文化遺產(chǎn)視覺特征的精確內(nèi)容生成技術創(chuàng)新
負責人：計算媒體與藝術學域許丕文副教授
作為項目基礎，致力于解決當前生成性AI模型在中華文化遺產(chǎn)內(nèi)容復現(xiàn)與生成中的精度和真實性問題，通過融合前沿的大語言模型與圖像擴散技術，構建一個深度理解文化視覺特征的多模態(tài)數(shù)據(jù)集成與處理平臺，整合圖像、文本、視頻和音頻等多元數(shù)據(jù)，全面捕捉文化遺產(chǎn)的視覺特征，創(chuàng)新開發(fā)一系列帶有文化遺產(chǎn)視覺特征的內(nèi)容生成模型（圖1），實現(xiàn)對文化遺產(chǎn)內(nèi)容的精確復現(xiàn)與生動呈現(xiàn)，為后續(xù)子課題提供堅實的數(shù)據(jù)基礎和內(nèi)容資源，為文化遺產(chǎn)的數(shù)字化保護、傳承與創(chuàng)新提供強有力的技術支撐。
子課題2：美學度量與分析
負責人：計算媒體與藝術學域主任張康教授利用專家知識整合和美學特征提取技術，建立評分系統(tǒng)和數(shù)據(jù)驅(qū)動模型，解決當前美學評估方法主觀性強、缺乏系統(tǒng)性、技術手段單一、適用范圍有限等問題，為全面量化文化遺產(chǎn)的美學價值提供技術支持。本課題將為國畫（圖2）、書法、壁畫、浮雕、服裝設計、地毯、剪紙等領域的內(nèi)容生成提供美學標準，確保生成內(nèi)容的文化和藝術價值。
子課題3：三維場景與數(shù)字化重建
負責人：計算媒體與藝術學域、人工智能學域王澤宇助理教授計劃通過高精度的三維掃描設備和智能重建技術對文化遺產(chǎn)場景進行三維數(shù)據(jù)的采集與分析，為文化遺產(chǎn)保護傳承提供更加準確和高質(zhì)量的數(shù)據(jù)基礎。采用基于圖像的修復方法和半自動化的深度輪廓提取技術將實現(xiàn)對壁畫、雕刻、建筑結構的數(shù)字化修復和重現(xiàn)（圖3）。此外，結合數(shù)字人重建和VR/AR技術，將為參觀者構建更加真實的沉浸式互動體驗，提升文化遺產(chǎn)保護效果和公眾參與度。
子課題4：文化遺產(chǎn)傳承
負責人：計算媒體與藝術學域、數(shù)據(jù)科學與分析學域曾偉助理教授旨在構建一個能夠統(tǒng)一展示文本、圖像和三維模型的多模態(tài)數(shù)據(jù)可視化系統(tǒng)。利用數(shù)字化傳播手段和教育推廣，推動文化遺產(chǎn)的廣泛傳承。本課題通過研究多類型的原始數(shù)據(jù)整合，提取多模態(tài)數(shù)據(jù)的核心特征，并利用多模態(tài)嵌入技術將特征統(tǒng)一映射到同一空間，實現(xiàn)不同模態(tài)間的對齊。其次，在語義層面，該課題通過構建知識圖譜關聯(lián)文本、圖像和三維模型中的信息，并借助多模態(tài)注意力機制實現(xiàn)跨模態(tài)融合（圖4）。增強多模態(tài)數(shù)據(jù)的表達和互操作性，提升對文化遺產(chǎn)的數(shù)字化保護和傳播能力。
項目負責人，兼子課題2負責人：張康，教授，計算媒體與藝術學域主任
張康教授獲得多項國家級和省級人才稱號，目前擔任香港科技大學(廣州)信息樞紐計算媒體與藝術學域主任和教授，同時也是美國德克薩斯大學達拉斯分校計算機科學榮譽教授和中國美術學院文創(chuàng)中心客座教授。被列入2023/2024年斯坦福大學全球前2%頂尖科學家(World’s Top 2% Scientists)終身科學影響力榜單。他曾是Fulbright Distinguished Chair，在英國、澳大利亞和美國任教35年。發(fā)表過8本論著、120多篇國際期刊論文和200多篇國際會議論文。張康教授共直接指導并畢業(yè)了20多名博士和數(shù)十名碩士研究生。他的研究跨越計算機、心理學、建筑、管理、藝術和設計等學科，應邀在多個計算機科學、藝術、設計、圖書館學和管理科學國際會議上發(fā)表主旨演講?，F(xiàn)任VINCI國際會議的指導委員會主席，多個國際期刊副主編和編委。
子課題1負責人：許丕文，副教授
許丕文博士在加拿大滑鐵盧大學獲得了電子與計算機工程博士學位。目前在香港科技大學(廣州)擔任計算媒體與藝術副教授，博士生導師，研究興趣集中在人工智能和多媒體在藝術、媒體、文化和人類創(chuàng)造力方面的應用。他曾在卡塔爾博物館擔任訪問藝術家，其藝術作品曾在卡塔爾、阿聯(lián)酋、韓國、澳大利亞、泰國、中國和其他國家展出。他還擔任ACM多媒體計算、通信與應用期刊(2014年至今)和IEEE多媒體期刊(2015-2023)的副主編。他在多媒體、人工智能藝術和媒體、社交計算、媒體和交互系統(tǒng)、媒體藝術和應用等領域發(fā)表了50多篇頂級IEEE/ACM期刊論文、60多篇會議論文，其中有2篇在頂級會議中獲得了最佳論文獎。許博士在將研究成果應用到產(chǎn)生實際影響力的諸多領域成果頗豐，他策劃了13個藝術展覽，擁有11項專利，開發(fā)了2項軟件和硬件。受邀擔任多個國際會議主席和編委，如ACM Multimedia、IEEE ICME、ACM VINCI、IEEE SocialCom和IEEE PhoneCom等。
子課題3負責人：王澤宇，助理教授
王澤宇，香港科技大學(廣州)信息樞紐計算媒體與藝術學域、人工智能學域助理教授，香港科技大學新興跨學科領域?qū)W部、計算機科學與工程系聯(lián)署助理教授，創(chuàng)意智能協(xié)同實驗室(Creative Intelligence and Synergy Lab)負責人。于耶魯大學計算機科學系獲得博士學位，于北京大學智能科學系獲得榮譽學士學位。研究方向為計算機圖形學、人機交互、人工智能、數(shù)字文化遺產(chǎn)，已在包括TOG, SIGGRAPH, TVCG, CHI, CVPR, VR在內(nèi)的重要國際期刊和會議上發(fā)表40余篇學術論文。擔任Eurographics等國際會議的程序委員，CCF-CAD&CG, CCF-VRV, CSIG-3DV等專委會和GAMES執(zhí)行委員。入選國家級高層次人才計劃青年項目、CCF-騰訊犀牛鳥基金、Adobe研究基金，并獲得最佳論文獎、多項最佳提名獎等榮譽。
子課題4負責人：曾偉，助理教授
曾偉博士，香港科技大學(廣州)計算媒體與藝術學域、數(shù)據(jù)科學與分析學域助理教授，博士生導師，新加坡南洋理工大學計算機專業(yè)本科(2011)和博士(2015)學位。研究聚焦于交互式數(shù)據(jù)可視化方法，融合人工智能與人類認知推理能力，研究成果廣泛應用于智慧城市和AIGC等領域。發(fā)表論文80余篇，包括30余篇CCF A/B類和20余篇IEEE/ACM Transactions一作/通訊高水平論文，曾獲VINCI、ChinaVis、ICIV最佳論文獎及提名獎?，F(xiàn)任The Visual Computer、Visual Informatics編委，VINCI 2023國際會議程序委員會主席，并長期擔任IEEE VIS、ChinaVis、VINCI等國際會議的程序委員會委員。
