他的代碼在NASA上天，在港科廣落地
“港科廣er說”
信息樞紐人工智能學(xué)域 2023級博士生邱迪聰
隨著AIGC的普及，人們對于AI的未來也產(chǎn)生了更多的討論。英偉達(dá)創(chuàng)始人黃仁勛曾表示，AI下一個浪潮將是“具身智能”。創(chuàng)業(yè)者們爭相進(jìn)場，而在香港科技大學(xué)（廣州）信息樞紐的人工智能學(xué)域里，去年入學(xué)的博士生邱迪聰憑借一款具身智能商超機器人屢次斬獲創(chuàng)業(yè)比賽獎項，他的公司成立僅4個月即完成種子輪融資，投資者包括百度前COO、YC中國創(chuàng)始人陸奇。這款具身智能機器人展示了最前沿的技術(shù)如何在商超零售的場景中得以應(yīng)用：語音控制機器人補貨和揀貨。
在這期“港科廣er說”中，邱迪聰將為我們介紹他在港科大（廣州）進(jìn)行具身智能機器人創(chuàng)業(yè)的想法和經(jīng)歷。
在港科廣創(chuàng)業(yè)是一種什么樣的體驗？
Q:?請簡單地做個自我介紹吧！
邱迪聰：我是土生土長的廣州人，之前在中山大學(xué)讀本科，后來去了美國卡內(nèi)基梅隆大學(xué)攻讀機器人研究生，也是雅可比機器人 Jacobi.ai 的創(chuàng)始人兼CEO，致力于結(jié)合多模態(tài)機器人AI與跨形態(tài)運動控制技術(shù)，打破機器人場景與形態(tài)的邊界，讓智能機器人走進(jìn)各行各業(yè)、千家萬戶，把AGI（通用人工智能）帶到物理世界。我的研究方向主要在 AI/AGI 與機器人的結(jié)合上，包括具身智能、機器人行為決策與規(guī)劃、不確定性與非線性控制等，在 RSS、AeroConf 等會議和 SCI 期刊上發(fā)過表多篇論文，并有多項國內(nèi)、美國和國際專利。曾經(jīng)在 ISEE AI、美國宇航局噴氣動力實驗室（NASA JPL）、大疆創(chuàng)新（DJI）、PIX Moving 等公司和研究機構(gòu)擔(dān)任過高管或工作過，有多年的技術(shù)與產(chǎn)品研發(fā)經(jīng)驗，參與過廣州市政府自動駕駛商業(yè)化運營、L4級自動駕駛系統(tǒng)全技術(shù)棧研發(fā)、火星探測車開發(fā)等項目與工作。
Q:?你在機器人和人工智能的學(xué)習(xí)道路上不乏名校大廠，為什么最后選擇在港科廣讀博和創(chuàng)業(yè)？
邱迪聰：選不選擇創(chuàng)業(yè)，這是一個很慎重的事情，創(chuàng)業(yè)是要天時地利人和，缺一不可。
可以這樣去理解，我們要做嚴(yán)謹(jǐn)?shù)膭?chuàng)業(yè)，就必須要考慮到很多的因素，但是，我本身也非常希望去創(chuàng)造一些新的東西，所以我選擇加入的這些公司都很有創(chuàng)新性，甚至都是創(chuàng)業(yè)公司。
來到了港科廣后，港科廣本身對于產(chǎn)學(xué)研結(jié)合，對于技術(shù)要用到實際處，對社會產(chǎn)生效益和對這個行業(yè)產(chǎn)生實際價值這一點，是與很多其他大學(xué)為了純粹做學(xué)術(shù)研究發(fā)論文很不一樣，從我的感觸來說，學(xué)校非常希望師生能夠產(chǎn)生對社會有益的研究，這一點是我覺得非常獨特，而且也非常適合我們的。港科廣也對我們這個項目有很多支持，所以就能以非常良性的正循環(huán)一直走下去。
目前學(xué)校給我們團(tuán)隊提供了一個在紅鳥創(chuàng)客空間的實驗室，主要是用來做研發(fā)和技術(shù)驗證的，叫研發(fā)模塊化的驗證。有整機的驗證、機器人的搭建調(diào)試，以及對整個系統(tǒng)在實驗室環(huán)境下的全流程的驗證等等。同時也會結(jié)合學(xué)校產(chǎn)學(xué)研和其他學(xué)校團(tuán)隊的研究進(jìn)行很多項目合作。
在實驗室里，我們會設(shè)置不同的元素，例如，超市里面肯定有貨架，實驗室可以通過貨物和機器人的搭建來做這種實驗，從分模塊的驗證到整合整個系統(tǒng)的驗證，再到實驗室級別的全流程推進(jìn)，我們?nèi)挤诺絼?chuàng)客空間的實驗室里面去做，以后就可能需要更大的地方，才能夠去做更好的實驗室驗證和持續(xù)迭代了。
而且我們現(xiàn)在的實驗場地，已經(jīng)不止是學(xué)校給我們提供的紅鳥創(chuàng)客空間里面的一個實驗室，還有在真實場景里面的實驗。比如在校內(nèi)超市，我們也有做在真實場景的技術(shù)驗證。
學(xué)校的知識轉(zhuǎn)移辦公室創(chuàng)業(yè)中心非常支持學(xué)生創(chuàng)業(yè)，之前他們在了解和洽談周邊地區(qū)的產(chǎn)業(yè)孵化中心，以達(dá)成合作，不只是幫助我這一個創(chuàng)業(yè)項目，還有對學(xué)校的其他所有創(chuàng)業(yè)團(tuán)隊進(jìn)行入駐，給到場地上的支持。這一塊一直在持續(xù)地推進(jìn)中。
現(xiàn)在每次港科廣，包括港科大，對外說科大體系下的創(chuàng)業(yè)項目時，我們也算是一個每次都會被拎出來的項目之一，這一點我也挺榮幸的。
Q:?目前你的團(tuán)隊規(guī)模是什么樣的呢？公司處于一個什么樣的階段？
邱迪聰：除了我以外，公司還有兩位聯(lián)合創(chuàng)始人，分別是同樣于卡內(nèi)基梅隆大學(xué)獲得博士學(xué)位的人工智能學(xué)域助理教授梁俊衛(wèi)，也就是我的博士生導(dǎo)師，和在機器人運營和商業(yè)化方面擁有豐富經(jīng)驗的湯安。包括在港科廣，我也認(rèn)識到了一些其他領(lǐng)域志同道合的同學(xué)，他們都陸續(xù)地加入了我們的團(tuán)隊。
我長期專注于 AI 和機器人技術(shù)的結(jié)合。梁俊衛(wèi)老師則在視頻大模型和具身智能兩方面擁有深厚積累，湯安曾具備數(shù)百臺量級的無人車車隊運營和落地經(jīng)驗。
團(tuán)隊核心成員的結(jié)合，給公司提供了前沿的技術(shù)積淀和良好的商業(yè)化能力，進(jìn)而推動上述具身智能解決方案的誕生。不過，目前公司還處于初創(chuàng)階段，團(tuán)隊規(guī)模在 10 人左右，我們正在基于如上所說的種子輪融資，布局以下兩方面的事務(wù)。
第一，提升“大腦”J-Mind 的能力，讓機器人可以更加通用地理解開放場景，并將其轉(zhuǎn)化為抽象的行為執(zhí)行過程。
第二，基于共創(chuàng)模式，與來自商超、藥企、餐飲等領(lǐng)域的客戶共同打磨場景，以大幅地提升面向未來的具身智能機器人的行為能力，并走向真正的落地。
讀博，為創(chuàng)業(yè)賦能
Q:?你的博士研究方向和產(chǎn)品研發(fā)是怎樣結(jié)合在一起的？
邱迪聰：超市并不是我們天花板，而是我們的一個切入點，也就是說，我們要做的事情其實是具身智能，它能夠用在各種各樣的場景，包括超市、餐廳，甚至是一些辦公場所。
之前像Mobile Aloha火了一把，就是因為它給所有人看到了機器人可以進(jìn)入到我們?nèi)粘Ｉ钪械目赡苄?。這一點是讓我，還有全世界很多人，包括我的導(dǎo)師梁俊衛(wèi)教授，都倍感興奮的事情。我和梁老師也是非常希望能夠讓具身智能機器人進(jìn)入到家庭和生活場景之中的。當(dāng)然，我們會從一個能夠有PMF（產(chǎn)品市場契合度）的點優(yōu)先去切入。
所以我的其中一個研究方向，是怎么才能夠喚醒大語言模型以及多模態(tài)大模型的潛在能力，讓機器人可以自主推理，并想出一些新的技能去有效地解決遇到的問題，讓機器人擁有開放的認(rèn)知、推理和決策能力。
第二個方向的研究是在全開放場景之下的機器人任務(wù)執(zhí)行能力，以及是在面向更復(fù)雜的環(huán)境下機器人的操縱能力。這個也是我在港科廣的主要方向之一，也就是在具身智能體系之下，面向未來的機器人要在開放場景去執(zhí)行任務(wù)，研究機器人的智能和運動模態(tài)能力上的結(jié)合。
Q:?可以說說你們是怎么在公司剛成立4個月的時候就拉到種子輪融資的過程嗎？
邱迪聰：我們這個項目發(fā)起的時候，其實是自己投了一些錢，想做這個方向，后來我們也在思考具體怎么做。我們希望能夠找到一個非常有行業(yè)眼光的人，跟我們一起去聊一聊，但這種人其實一般很難找得到。剛好那個時候，我們其中一名最早期的合伙人有一些奇績創(chuàng)壇（YC中國）的人脈，我就跟他討論了很多相關(guān)的想法。他說要不你就寫一個策劃案投給陸奇（Y Combinator中國CEO），如果成功進(jìn)面，你就能夠跟陸奇聊一聊。我們就抱著這樣的一個目的去把我們的想法寫了一個一、兩頁的A4紙。
我們也是通過了一輪輪的面試，最終見到了陸奇和他的合伙人，也跟他聊了我們的想法，不僅實現(xiàn)了我們最初的目的，而且他還說我們團(tuán)隊的這些想法都很好，我們就覺得這是一個意外之喜。他后來投資我們的種子輪，包括他的另外三位合伙人，在他的創(chuàng)業(yè)營和其他各方面都幫了我們很多。
Q:?那你現(xiàn)在作為一個創(chuàng)業(yè)者的日常是什么樣的呢？
邱迪聰：作為一個創(chuàng)業(yè)者，肯定要承受比正常的工作、學(xué)習(xí)更多的壓力和責(zé)任，以及需要做很多方面的努力。這些還遠(yuǎn)遠(yuǎn)不夠，還要有團(tuán)隊的各個小伙伴一起去共同的創(chuàng)造和創(chuàng)新。這個說實話肯定不是我一個人的努力能做到的。
很重要的一點是，其實工作也好，學(xué)習(xí)也好，是人家給了一張卷子，你去想辦法給一個答案，我們是要自己給自己出一張卷子，自己給一個答案，而這張卷子出的對不對，就是一個很大的考究了。這張卷子對于投資人來說，得是一張對的卷子，對于市場來說，得是一張對的卷子，之后你的回答才有意義。不然的話你努力了非常多，給了一張完美的答卷，但你自己的問題出錯了，就等于打水漂。
嗯，我的代碼確實上天了。
Q:?在你的過往經(jīng)歷里還參與了美國航空航天局（NASA）的火星探測車的相關(guān)工作，這應(yīng)該很少人能有這樣的經(jīng)歷，當(dāng)時是做了什么樣的工作呢？
邱迪聰：我當(dāng)時在卡內(nèi)基梅隆大學(xué)所做的項目與火星車有些相關(guān)。我們的項目是為了讓星球探測車（Planetary Rovers）在沒有人類協(xié)助的情況下進(jìn)行操作。簡單來說，就是如果一個星球探測車被卡住了，另一個星球探測車可以自動前去救援。比如說，月球車被卡在石頭上或者陷入坑里，另一輛車可以通過我們稱為“系統(tǒng)”的協(xié)同系統(tǒng)相互合作、自救和救援。同時，我們在項目中進(jìn)行了大量的強化學(xué)習(xí)和機器學(xué)習(xí)方面的工作。
在NASA實習(xí)時，我的工作就是讓星球探測車，例如月球車或火星車，能夠自主理解所看到的內(nèi)容，并通過自然語言描述出來。更重要的是，科學(xué)家能夠直接輸入一段話，告訴火星車要找什么樣的地理特征或者高價值數(shù)據(jù)，火星車就能夠根據(jù)科學(xué)家的話自主探索、優(yōu)先尋找相關(guān)的地理地貌特征，并把這部份數(shù)據(jù)以高優(yōu)先級傳回地球。我們通過AI驅(qū)動的方式讓星球探測車能夠?qū)崿F(xiàn)自主的地外探索。我的工作也被成功地部署到了多個火星車上，我的算法在2020年的時候應(yīng)該也跟著 “火星2020”（Mars 2020）的任務(wù)一起飛到火星上去了。
我做的系統(tǒng)除了可以在星球探測車上用，也用在了NASA的數(shù)據(jù)庫上?？茖W(xué)家能夠直接輸入一段話，告訴它想要找什么樣的數(shù)據(jù)，有什么樣的特征，我的算法搜索圖像內(nèi)容，直接就幫他把這些數(shù)據(jù)排序給找出來。所以就相當(dāng)于給NASA做了一個NASA版的Google Image。這個工作大大節(jié)省了科學(xué)家做數(shù)據(jù)分析、歷史數(shù)據(jù)回訪的時間，極大提高了他們的效率，所以挺有意義的。這個工作也成功地被延展到其他一些成果上，發(fā)了幾篇論文。
所以那個時候很多人說，你的代碼上天了。嗯，我的代碼確實上天了。
十年磨一劍迎接時代風(fēng)口
Q:?你從高中就開始接觸機器人，在這將近十年的時間里從機器人到現(xiàn)在大熱的具身智能機器人，你有預(yù)想過嗎？
邱迪聰：我認(rèn)為這種智能技術(shù)跟機器人的結(jié)合肯定是一個必然會發(fā)生的事情。十年之前，我就認(rèn)為：機器人和AI就應(yīng)該結(jié)合在一起。那個時候我就開始研究強化學(xué)習(xí)等一系列的技術(shù)了，我認(rèn)為AI的發(fā)展在那時看來已經(jīng)是一個很明顯的趨勢，因為它能夠拓展我們通過編程沒辦法得到的邊界，它能夠有自主的學(xué)習(xí)能力，所以我一直以來都是人工智能的一個有信念者，我也堅定不移地選擇了AI和機器人結(jié)合的道路。
我只是看上去幸運而已，其實每一步的選擇都做了很多思考。像我現(xiàn)在的創(chuàng)業(yè)項目，為什么要選擇這種大小腦的一個架構(gòu)？為什么要選擇我們能夠有數(shù)據(jù)遷移的能力，而不是直接做端到端的模型去指導(dǎo)機器人這種看著很流行的方式，其實都是通過非常多的調(diào)研、思考、討論、論證得到的結(jié)果，還要結(jié)合未來科技發(fā)展整個市場的動態(tài)，其他公司要怎么去做，他們下一步肯定會怎么做，用這些信息去推演出一個最適合我們生存和發(fā)展的最高效的路徑。
其實包括我自己的人生，每一步的選擇也都是要經(jīng)過很多很費神或者是徹夜難眠的考慮，這個東西不容易的，一方面運氣的成分肯定是挺重要的，但這個事情并不是人可以把握的，只能說謀事在人，成事在天，但是你首先得謀好，不然給機會又會抓不住。
那么怎么能夠把每一步要做的事情做到最好，或者說往你的目標(biāo)方向去驅(qū)使，每一步都需要做過仔細(xì)的思考，而不是拍腦袋就能拍出來的。
對未來加入港科大（廣州）的學(xué)弟、學(xué)妹們，說一個推薦他們來就讀的理由吧。
邱迪聰：港科大（廣州）有世界前沿的研究課題和匹配的師資力量，在產(chǎn)學(xué)研結(jié)合方面有著獨特的優(yōu)勢，學(xué)校也在大力支持創(chuàng)新創(chuàng)業(yè)工作，能夠讓最前沿的研究產(chǎn)生最大的價值，學(xué)校氛圍開放包容，能夠讓我們在自由的環(huán)境下實現(xiàn)科研和創(chuàng)造的抱負(fù)。
