91精品视频在线看_久久国产精品久久国产片_青春草在线视频精品_伊人天天躁夜夜躁狠狠

在回答問題時，男孩低頭看向左側(cè)，壓低聲音，回答非常簡短。系統(tǒng)立刻意識到，“他走神了”。男孩的這種反應(yīng)往往是求職面試中的大忌，而系統(tǒng)可以實時觀察到這種行為變化，幫助他在以后的面試中避免出現(xiàn)此類問題。

這套系統(tǒng)名叫 HALEF，基于實時多模態(tài)對話系統(tǒng)，通過接收不同模態(tài)的信息，實現(xiàn)更好的人機(jī)交互。這套系統(tǒng)的發(fā)明者是加州大學(xué)戴維斯分校（UC Davis）助理教授、語言、多模態(tài)與交互實驗室主任周宇。就在 11 月，周宇博士入選了福布斯 30 位 30 歲以下科學(xué)界杰出人物榜單，這是福布斯表彰年輕人的重要榜單，入選率一般不超過 5%。

在余博士獲獎后，機(jī)器之心聯(lián)系上了她并對她進(jìn)行了專訪，我們談到了余博士求學(xué)的心路歷程、在卡內(nèi)基梅隆大學(xué)攻讀博士學(xué)位期間對多模態(tài)對話系統(tǒng)的研究，以及她對未來職業(yè)的展望。

機(jī)器之心：恭喜您入選《福布斯》雜志 30 位 30 歲以下科學(xué)界杰出人士。這次入選對您近期的工作和生活有什么影響嗎？

于宙：因為我剛從卡內(nèi)基梅隆大學(xué)（CMU）畢業(yè)，1月份加入了UC Davis，從某種意義上來說，這給我?guī)砹撕芏嗪献鞯臋C(jī)會。比如其他公司的人認(rèn)識我之后，會邀請我去講課，進(jìn)一步合作。其他院系的老師認(rèn)識我之后，比如媒體系的老師，也會對這些計算模型很感興趣，跟我交流。另外，這對我招收學(xué)生也帶來了一些好處，其實也增加了一些宣傳，讓大家知道我的一些工作。

機(jī)器之心：入選這個榜單的概率應(yīng)該不到 5%，整個評選過程是怎樣的？

于宙：其他人可以提名你，然后通過電子郵件向你發(fā)送一份調(diào)查問卷，讓你填寫你的成就和背景。收集信息后，內(nèi)部委員會將進(jìn)行評估并做出最終決定。

機(jī)器之心：您目前擔(dān)任加州大學(xué)戴維斯分校語言、多模態(tài)和交互實驗室主任，能和我們分享一下您最近的研究項目嗎？

余舟：我一直在研究多模態(tài)對話系統(tǒng)。對話系統(tǒng)中有不同的模式，從不同的輸入模型來看，系統(tǒng)可以是簡單的基于文本的聊天機(jī)器人，也可以是像 Amazon Alexa 這樣的基于語音的系統(tǒng)，也可以是具有更多模式（比如視覺）的系統(tǒng)，比如機(jī)器人。輸出模型可以只是文本，語音，也可以是多模態(tài)。比如虛擬人，游戲中也會有這種由計算模型驅(qū)動的交互，虛擬角色可以做各種各樣的事情，比如教小朋友英語。輸出模式也可以是物理交互，也就是機(jī)器人。人與機(jī)器人如果進(jìn)行交流，也可以通過自然語言完成更多的任務(wù)。物理協(xié)作可以帶來更多的實用性，比如人可以指揮機(jī)器人去哪里，通過交流，機(jī)器人可以更好地完成任務(wù)，比如抓東西，搬運等。

我的主要工作是做交互，但是這個交互是多模態(tài)的，可以是自然語言，語音，或者基于視覺。比如我們之前做過面試的場景，我們很看重對話技巧。其中，engagement 非常重要。我們通過多模態(tài)效應(yīng)來預(yù)測這個 engagement，比如他是否經(jīng)常看你；他的聲音有沒有起伏（prosidy，比如音調(diào)變化）。根據(jù) engagement 的高低或者他是否 intention，我們的系統(tǒng)可以不斷實時調(diào)整目標(biāo)的行動規(guī)劃。比如你在某一部分 intention 不夠，我們會給你一些鼓勵，每個人的對話都會不一樣。所以我的很多工作是針對不同的用戶，每個人會有獨特的交互方案。我的很多對話模型也用到了強(qiáng)化學(xué)習(xí)。

機(jī)器之心：據(jù)我了解，您在浙江大學(xué)本科期間修的是計算機(jī)科學(xué)和語言學(xué)雙學(xué)位。為什么會做出這樣的選擇？

于舟：其實是這樣的，2007年我本科就讀于浙江大學(xué)竺可楨學(xué)院，當(dāng)時我選修了外國語學(xué)院的一些課程，對語言也很感興趣，而竺可楨學(xué)院正好有英語雙學(xué)位班，我是全班唯一一個選修計算機(jī)和英語雙學(xué)位的（我選的是語言學(xué)，浙江大學(xué)沒有單獨的語言學(xué)專業(yè)，是英語專業(yè)的一個分支）。

機(jī)器之心：您什么時候開始對計算機(jī)科學(xué)產(chǎn)生興趣的？

于宙：我從小學(xué)開始就喜歡這個，所以很早就有了編程的經(jīng)驗。

機(jī)器之心：您來到卡內(nèi)基梅隆大學(xué)攻讀博士學(xué)位后，是什么啟發(fā)您開始研究多模式對話系統(tǒng)呢？

于舟：我本科大三進(jìn)實驗室的時候，跟著何曉飛教授和蔡登教授做，他們一直在做機(jī)器學(xué)習(xí)、計算機(jī)視覺、數(shù)據(jù)挖掘的工作，所以很早就接觸到了 ML 和 CV。后來讀雙學(xué)位英語系的時候，我選擇做機(jī)器翻譯，和外語系的曲云華教授一起做中英翻譯，這個也是我非常感興趣的。

我申請 PhD 的時候，CMU 有個專門的學(xué)院叫語言技術(shù)學(xué)院，屬于計算機(jī)科學(xué)的范疇，主要研究計算語言學(xué)和自然語言處理。應(yīng)該是做 NLP 的最大的最好的一個團(tuán)體，有 20 多位教授。我當(dāng)時申請了，但是當(dāng)時并沒有抱太大的希望，因為我覺得我當(dāng)時只是個本科生，雖然我有一篇發(fā)表過的論文。不過 CMU 最終錄取了我，我的本科導(dǎo)師何曉飛教授也很驚訝我被錄取了。

來到 CMU 之后，我意識到自己的背景非常獨特。除了計算機(jī)科學(xué)之外，沒有多少人會選擇學(xué)習(xí)語言學(xué)，而且這兩個學(xué)科也有很大不同。后來我發(fā)現(xiàn)這個背景對 NLP 非常有用，因為我既懂語言學(xué)又懂計算機(jī)科學(xué)，而且可以把語言學(xué)應(yīng)用到各種計算模型中。因為我之前做過 CV，也有 NLP 經(jīng)驗，所以我想把這些結(jié)合起來。

你到了CMU之后才能找到導(dǎo)師。我找導(dǎo)師的時候，找到了Alan W Black教授和Alexander I. Rudnicky教授。他們之前沒有做過CV，但是做了很多口語對話系統(tǒng)。我去了之后，我們開始做多模態(tài)對話系統(tǒng)，慢慢的就成了我論文的題目。這也是當(dāng)時的一個機(jī)會。我去CMU的時候，蘋果的Siri還沒有發(fā)布，大眾還不明白這個對話系統(tǒng)是什么。然后慢慢到現(xiàn)在，大家才開始明白。那時候深度學(xué)習(xí)還沒有起飛（Pre-Deep Learning），我們很多自動語音識別（Automatic Speech Recognition）還不準(zhǔn)確。所以，這是一個非常好的機(jī)會。隨著底層技術(shù)的成熟，這種更高級的東西就有更大的空間。

在隨后接受 Alan W Black 采訪時，這位著名的 CMU 教授告訴《機(jī)器之心》：周宇最初從事基于視覺和語音的對話研究，但后來她專注于“非任務(wù)導(dǎo)向?qū)υ挕保ㄋ追Q聊天機(jī)器人）中的用戶參與。在過去，“非任務(wù)導(dǎo)向?qū)υ挕辈⒉皇且粋€真正的研究領(lǐng)域，只是一個有趣的方面，但她對這個領(lǐng)域很感興趣，我們幫助她找到資金來完成這項研究。現(xiàn)在，這項研究慢慢成為主流，也有很多人投身其中，但她是最早定義這個研究領(lǐng)域的人之一，發(fā)表了許多論文。

機(jī)器之心：所以正如你所說，2013 年，每個人都意識到深度學(xué)習(xí)非常有效。這種變化會對你自己的研究產(chǎn)生什么影響嗎？

余舟：不能說是正面還是負(fù)面，對于我們來說，深度學(xué)習(xí)只是一個模型，并沒有什么特別的。神經(jīng)網(wǎng)絡(luò)現(xiàn)在應(yīng)用到不同的領(lǐng)域，但從機(jī)器學(xué)習(xí)的角度看，沒有本質(zhì)的區(qū)別。現(xiàn)在深度學(xué)習(xí)的工具更好了，門檻也變低了。當(dāng)然在這個轉(zhuǎn)型過程中，有的人接受深度學(xué)習(xí)比較早，有的人接受得比較晚。在CMU，我們接受深度學(xué)習(xí)比較早，也沒有什么大的（轉(zhuǎn)型）障礙。

機(jī)器之心：那么在多模態(tài)對話系統(tǒng)領(lǐng)域有沒有比較主流、成熟的前沿系統(tǒng)呢？

于舟：其實對話系統(tǒng)本身沒有這樣的體系，因為還有很多問題。在我們的對話系統(tǒng)中，對話本身是有內(nèi)容的，每個事件都是不同的。比如訂機(jī)票和找酒店不一樣，教孩子英語和教孩子數(shù)學(xué)也不一樣。我們也有自己不同的工具和傳遞渠道。基本上每個做對話系統(tǒng)的研究組都會宣揚自己的體系。你如果要我遵循你的體系，會有很大壁壘。你得給我一個很大的理由讓我相信你為什么比我好，不然我們互相都說服不了。

世界上在多模態(tài)對話系統(tǒng)方面做得好的人不多，就五六個研究組，每個系統(tǒng)都有不同的約束，比如之前有一個遺留系統(tǒng)，組里不愿意更新或者遷移到其他系統(tǒng)。我們的受眾比較小，做的人也不多。系統(tǒng)本身的工程壁壘就很大。不像深度學(xué)習(xí)，現(xiàn)在很多公司都有這些工具，比如亞馬遜 Alexa，也有技能套件。這完全不符合學(xué)術(shù)界要求的靈活性，甚至連 ASR 都不提供給你，有各種各樣的問題。所以現(xiàn)在有很多人創(chuàng)業(yè)就是為了做這些工具包，但這其實有很大的問題。我們這個領(lǐng)域有很多東西，就是任務(wù)之間變化很大，各個部分的技術(shù)更新比較快，所以要達(dá)到很好的可維護(hù)性是相當(dāng)困難的。我們要做很多多模態(tài)感知和分析，這些東西要結(jié)合起來，最終才能完成一個策略。雖然我們現(xiàn)在可以做端到端的訓(xùn)練，但是很多時候，很多系統(tǒng)需要根據(jù)不同的數(shù)據(jù)重新進(jìn)行調(diào)整。

機(jī)器之心：總體來說，和基于語音或者文本的對話系統(tǒng)相比，這個多模態(tài)對話系統(tǒng)最大的結(jié)構(gòu)性區(qū)別是什么？

余舟：比如語音就只有一個模態(tài)，所以就用一個頻率采樣。當(dāng)你有視覺圖像、視頻的時候，采樣頻率和語音不一樣，而且視頻計算量比較大。你如何實時地把這些不同模態(tài)的信息融合起來？你需要做很多融合的工作，這在技術(shù)上是比較難的。比如你的系統(tǒng)必須實現(xiàn)很好的消息傳遞，否則根本做不到。

同時，多模態(tài)對話系統(tǒng)可以根據(jù)情境提供更多的信息，比如可以獲取更多的用戶信息，比如用戶是否在笑，多加一個模態(tài)的效果會好很多，包括了解情境，比如一個人、兩個人、三個人的關(guān)系，這些都可以用。

機(jī)器之心：您認(rèn)為目前多模態(tài)對話面臨的最大研究挑戰(zhàn)是什么？

余舟：三點，因為我們的對話是一個動態(tài)的交互，需要和人交互，但是這種交互是無法重復(fù)的，因為每個人的交互方式都不一樣。所以從某種意義上來說，我們的實驗是不可重復(fù)的，而且你也不能在現(xiàn)有的數(shù)據(jù)集上進(jìn)行訓(xùn)練，否則就變成了簡單的模擬。所以很多情況下，我們要做真實的用戶研究，也就是我們建好系統(tǒng)之后，要有真實的人和我們交互。但是招人的時候會有一個很大的問題，比如我們做深度學(xué)習(xí)的話，有一千個數(shù)據(jù)點，是不是要雇一千個人來做？這個效率很低，所以我們用強(qiáng)化學(xué)習(xí)來做很多的模擬，來降低這個數(shù)據(jù)的成本。

還有一點就是如何盡量降低多模態(tài)對話系統(tǒng)的數(shù)據(jù)收集和模型評估難度。我們的一個系統(tǒng)加入了視頻會議，比如 Skype。我們的系統(tǒng)可以實時錄制對話，關(guān)注視頻和音頻兩端，我們在云端實時處理。這樣在收集數(shù)據(jù)的時候可以減少一些人力成本（目前是在亞馬遜旗下的在線眾包平臺 Amazon Mechanical Turk 上收集的）。這些是我們最近對系統(tǒng)做的一些改進(jìn)。

最后一個問題是隱私。人臉是可以識別的，你必須獲得用戶的許可。另一個問題是用戶的意圖。例如，當(dāng)我們做教育時，我們測試的人真的愿意學(xué)習(xí)這個領(lǐng)域。但我在 AMT 上找到的人可能并不是真的想學(xué)習(xí)，所以這里仍然存在不匹配的情況。

機(jī)器之心：那么強(qiáng)化學(xué)習(xí)具體能做什么呢？

余舟：強(qiáng)化學(xué)習(xí)就是優(yōu)化這種交互的一個范例。從某種意義上來說，我和你的系統(tǒng)對話是一個連續(xù)的決策，我每一步的下一步?jīng)Q策都是基于你們之前的對話歷史。這樣我才能達(dá)到最好的效果，這也是為什么強(qiáng)化學(xué)習(xí)在交互中如此重要。

另外，如果我此時做出決策A，原本計劃做出決策B，那么我后續(xù)的數(shù)據(jù)就沒法用了，因為一旦我在后續(xù)的事件中選擇了另一個決策，情況就完全不一樣了。但我們可以做一些用戶模擬，假設(shè)他如果做出決策B，很可能也會這樣，這在某種意義上也降低了數(shù)據(jù)的成本。很多時候，兩方面都達(dá)到了。

機(jī)器之心：在您的研究中，您是如何將技術(shù)研究和應(yīng)用場景結(jié)合起來的？未來多模態(tài)對話系統(tǒng)會廣泛應(yīng)用于哪些應(yīng)用場景？

余舟：我覺得這個多模態(tài)對話系統(tǒng)有很多應(yīng)用，包括現(xiàn)在的亞馬遜 Alexa，它現(xiàn)在能做的事情很多都是單輪的，比如播放音樂。如果它能做多輪的事情，比如推薦電影或者商品，那它就取代銷售人員、客服了。我們現(xiàn)在做的是把你的用戶情緒納入到這個對話系統(tǒng)中，重新規(guī)劃。比如我知道你不開心，我會選擇安慰你或者馬上切換到人工，用多模態(tài)對話系統(tǒng)來更好地完善系統(tǒng)。

例如在教育領(lǐng)域，當(dāng)你觀看在線教育課程時，它可以實時向你提問。培訓(xùn)選項也更多，例如培訓(xùn)銷售技能和駕駛技能。我們之前的求職面試培訓(xùn)系統(tǒng)甚至可以幫助對面試者進(jìn)行初步篩選，收集更多信息，并為您的面試評分。

在醫(yī)療領(lǐng)域，我們創(chuàng)造了虛擬角色到目前為止英語的英文，可以和用戶進(jìn)行半建設(shè)性的對話計劃，了解用戶是否有心理問題，比如抑郁癥、創(chuàng)傷后應(yīng)激障礙（PTSD）等；也可以讓虛擬人與自閉癥兒童互動，讓他們通過與這些虛擬角色的交流，提高社交能力；對于老人的護(hù)理，我們可以讓虛擬人監(jiān)測老人的健康狀況，詢問老人是否吃藥，與他們聊天，了解老人的精神狀態(tài)如何。

另一件事是路徑規(guī)劃。我最近和卡內(nèi)基梅隆大學(xué)的一位教授合作，讓操作員和機(jī)器人在搜救中合作。人們可以有一些先驗知識，機(jī)器人可以提出問題，然后他們可以合作完成不同的任務(wù)。

我們之前也做過一個指路機(jī)器人，為什么做這個機(jī)器人呢？因為之前的交互界面很混亂，如果有手勢就很清楚了，左就是左。

機(jī)器之心：您在研究多模態(tài)對話系統(tǒng)，在用戶參與度方面也做了很多研究，我想知道您是如何研究和量化這個問題的？

于宙：我們之所以關(guān)注這個問題，是因為我們的定義是，你愿不愿意繼續(xù)這個對話，所有的對話都是需要參與的。

具體來說，我們會請專家做標(biāo)注貝語網(wǎng)校，我們會設(shè)置各種調(diào)查和標(biāo)注方案，我們也會請人們自己寫報告。在完成互動之后，他們會看視頻，并說出當(dāng)時是否非常投入。我們會根據(jù)這些標(biāo)注來訓(xùn)練計算模型。

機(jī)器之心：據(jù)我了解，您在研究這個多式聯(lián)運對話系統(tǒng)時，創(chuàng)造了 TickTock、指路機(jī)器人和 HALEF，這些都是您在攻讀博士期間的主要成果。能一一介紹一下這些系統(tǒng)嗎？

余舟：第一個系統(tǒng)是社交聊天機(jī)器人，我們把它部署在 Amazon Alexa 上。在任務(wù)方面，我們現(xiàn)在對其進(jìn)行了擴(kuò)展，將它與任務(wù)導(dǎo)向系統(tǒng)結(jié)合起來，做一些前沿的任務(wù)，比如電影推薦（見 Yu et al.，IJCAI 2017）。

第二是人機(jī)交互，這里面用到了很多注意力機(jī)制，這取決于用戶是否在注意。因為在這種引導(dǎo)任務(wù)中，沒有注意力就不會有認(rèn)知上的變化。比如我們用一些畫圖策略來獲得注意力，比如說“不好意思”、“重啟”、“你能告訴我嗎”，效果比較好。

第三個就是前面提到的面試系統(tǒng)，可以幫助人們提高會話能力。比如說，如果這個人是非母語人士，他就需要通過機(jī)器人互動來訓(xùn)練他的會話能力。比如說，如果我發(fā)現(xiàn)他在不投入的時候缺乏自信，我可以給他一些鼓勵，“我覺得你做得很好。”，這樣他就能更好地訓(xùn)練他的會話能力。

機(jī)器之心：目前為止您最滿意的研究論文是什么？

于宙：這個很難說（笑），應(yīng)該是我最近的一個研究，我最滿意的永遠(yuǎn)是最新的一個。

機(jī)器之心：多模態(tài)對話系統(tǒng)會成為您終生的研究目標(biāo)嗎？

于宙：那肯定是終身的，其實就是解決用不同的方式去利用信息，去更好的互動的問題，這是我們要解決的問題。

機(jī)器之心：基于文本和語音的對話系統(tǒng)已經(jīng)在工業(yè)領(lǐng)域得到廣泛應(yīng)用，您認(rèn)為多模態(tài)對話系統(tǒng)什么時候會在工業(yè)領(lǐng)域得到廣泛應(yīng)用？

于舟：大概五到十年吧。比如說亞馬遜Alexa出現(xiàn)的時機(jī)，因為它還是一個音箱，比如說，大家花那么多錢買一個音箱，還不如買一個亞馬遜Alexa。市場和調(diào)研是兩碼事，你需要找到一個非常好的切入點。

機(jī)器之心：據(jù)我了解，亞馬遜最近給你 10 萬美元，用于為 Echo 平臺開發(fā)一款社交聊天機(jī)器人。能和我們講講這個項目背后的故事嗎？

于宙：我是去年11月拿到這個項目的，是我在CMU的時候就在做的一個項目，今年我在戴維斯，每年都可以續(xù)簽研究合同。

機(jī)器之心：那么你會開發(fā)什么類型的社交聊天機(jī)器人？

余舟：其實它是一個非常全面的系統(tǒng)，可以跟你聊任何事情，它唯一的目標(biāo)就是讓對話者參與到對話中。我的論文很大一部分是開放域社交聊天，更偏向 NLP，比如如何利用知識庫來做更好的自然語言理解，如何利用計算語言學(xué)來實現(xiàn)對話，如何提升對話的效果。

我們最近在 IJCAI 2017 上發(fā)表的一項研究將社交聊天與任務(wù)結(jié)合起來，幫助人們更好地完成任務(wù)。這是因為具有社交屬性的任務(wù)具有很大的靈活性，可以幫助人們更好地理解和適應(yīng)對話。同時，加入社交成分可以更容易地影響對話者，增加更多的技能。

機(jī)器之心：語音識別的錯誤率實際上已經(jīng)下降到 5% 左右，但仍然存在很多挑戰(zhàn)，例如如何區(qū)分噪音和語音，如何區(qū)分多個聲音，比如在雞尾酒會上。多模態(tài)對話系統(tǒng)中的語音識別有什么獨特的挑戰(zhàn)嗎？

余舟：語音識別在交互上是非常難的，人不是一句話就說完的，說話中有很多不流暢的部分，比如說錯了，要重復(fù)，很多句子都是不符合語法的。這給語音識別帶來很多挑戰(zhàn)。我也做一些語音的工作，但我主要做增量語音識別。為什么這個很重要？因為在對話系統(tǒng)中，人跟機(jī)器交互的時候，你希望機(jī)器盡快給你回答。語音識別是需要時間的，我們希望盡快解碼，你說幾句話，我們就解碼幾句話。

對于我們來說，我們也想研究聲音事件，了解你的環(huán)境，比如學(xué)校、聚會、火車等的聲音，在語音識別之前把這些東西的噪音降低掉。包括說話人識別，這也是我們的研究方向。

Synced：自然語言理解中的非語法問題又如何呢？

余舟：我們做了很多語法分析。NLU在對話中非常重要。比如在意圖識別中，你只需要知道幾個詞就可以知道用戶的意圖。如果你在開放領(lǐng)域工作，這也是非常必要的。這也是我未來的研究方向：如何實現(xiàn)語義分析和意圖分析。比如“我有一只貓，我很喜歡它。”這是貓，對吧？再比如“我有一只貓，我很喜歡它。”我不知道賓語是什么，但是從上下文中我能理解我指的是貓。第一是共指，第二是省略的問題。這個語法分析非常難。

機(jī)器之心：增加對話系統(tǒng)的輪數(shù)，讓機(jī)器與人類進(jìn)行多輪長期交流是非常困難的。這一研究領(lǐng)域面臨哪些挑戰(zhàn)？

余舟：回合長度和對話系統(tǒng)的質(zhì)量是兩回事，這取決于設(shè)計過程的目標(biāo)。比如我們通常所說的獎勵函數(shù)，我的目標(biāo)是讓你跟機(jī)器人對話的時間越來越長，所以我建議優(yōu)化目標(biāo)是回合數(shù)盡量多一些；如果我想完成一個簡單的任務(wù)，其實你的目標(biāo)是盡可能有效。

機(jī)器之心：多模態(tài)對話系統(tǒng)是一個非常跨學(xué)科的領(lǐng)域。對于想要學(xué)習(xí)多模態(tài)對話系統(tǒng)的學(xué)生，您有什么好的建議嗎？

余舟：我的建議是先學(xué)對話，從單模開始學(xué)。我們這個專業(yè)是理工并重，有非常好的落地場景。而且你要做好準(zhǔn)備。這個專業(yè)的內(nèi)容很多，你不僅要設(shè)計和開發(fā)算法，還要在和人進(jìn)行真實對話的時候測試算法是否有效。

機(jī)器之心：您有什么參考資料或者書籍想要推薦給讀者嗎？

余舟：這個是挺讓人郁悶的一件事，就是這個領(lǐng)域一直沒有好的教材，因為發(fā)展得太快了。我其實很想寫一本書，但是沒時間，可能要兩年才能寫完。不過你可以從最基礎(chǔ)的學(xué)習(xí)開始，可以從 NLP 開始。比如 Daniel Jurafsky 和 ??James H. Martin 合著的《語音和語言處理》這本書，第三版草稿已經(jīng)在網(wǎng)上可以找到。

機(jī)器之心：哪些機(jī)構(gòu)和大學(xué)在該領(lǐng)域處于領(lǐng)先地位？

于宙：比如我曾經(jīng)實習(xí)過的微軟研究院，南加州大學(xué)創(chuàng)意技術(shù)研究院到目前為止英語的英文，KTH，歐洲的比勒費爾德等。

機(jī)器之心：在學(xué)術(shù)界工作了這么多年，有沒有想過將來加入工業(yè)界？

于宙：現(xiàn)在機(jī)會很多，但是最重要的是做自己感興趣的事。

機(jī)器之心：就您個人而言，由于從事多模態(tài)對話系統(tǒng)的工作可能需要您非常注重社交、交流和與他人打交道，那么您是一個善于社交的人嗎？

于宙：（笑）應(yīng)該還行吧，哈哈。我不是一個很外向的人，但是我覺得跟人交流能讓我得到很多信息，而且能從中感受到快樂。

機(jī)器之心：在學(xué)術(shù)界做研究項目時，尋求資金支持是一個非常重要的話題。您覺得這個任務(wù)相對容易還是困難？

余舟：其他人我不太清楚，但我覺得是有可能的。并不是說我做的事情超出了這個范圍。業(yè)界非常支持，包括 NSF 和 DARPA。他們也看到這是未來，這種互動對未來會有很大的影響。

機(jī)器之心：除了學(xué)術(shù)之外，您還有什么興趣和愛好？

于宙：我會看Youtube視頻，很喜歡看小動物的視頻（笑）。因為我覺得看小動物的視頻很解壓，而且很可愛。我很想養(yǎng)一只小動物，但是我經(jīng)常出差，沒辦法。我也會看書。

機(jī)器之心：你希望招收什么樣的學(xué)生？

首先我先說一下為什么想來我組讀Postdoc或者PhD。我們這個領(lǐng)域很有前景，我也花了很多時間指導(dǎo)學(xué)生做項目。我的組還在發(fā)展，現(xiàn)在有兩位博士生，四位碩士生。業(yè)界也很支持多模態(tài)對話系統(tǒng)的推進(jìn)，所以我很希望有能力的學(xué)生能進(jìn)入這個領(lǐng)域。我希望有博士后能來我的組里呆一兩年，現(xiàn)在組里有個空缺，在這個過程中，你總能接觸到前沿的研究，而且未來兩年會有很好的學(xué)術(shù)或者創(chuàng)業(yè)機(jī)會。至于學(xué)生的背景，我希望他有機(jī)器學(xué)習(xí)、自然語言處理、語音識別等相關(guān)專業(yè)的基礎(chǔ)，也有很好的工程能力。

機(jī)器之心：最后一個問題，您如何評價自己的作品？

我覺得我們的工作，包括我和我的博士，就是把這個方向往前推一點點，希望能夠做出更有意義的研究。因為我們的工作是非常跨學(xué)科的，所以我們也在慢慢的推進(jìn)我們的研究。我也經(jīng)常開學(xué)術(shù)會議，把不同領(lǐng)域的人聚集在一起工作，希望通過我們的努力，能夠把這個領(lǐng)域往前推一點點。