8年博士生涯“弱標(biāo)注下的音頻事件檢測”研究領(lǐng)先學(xué)界 可通過深度學(xué)習(xí)在海量音視頻素材中直接鎖定某些片段
近日，博士王赟在網(wǎng)絡(luò)上寫了一篇回顧8年留學(xué)生涯的帖子，道出他在星空人工智能相關(guān)領(lǐng)域求學(xué)的點(diǎn)滴、感悟和精彩生活，引起網(wǎng)友熱議。從 2010 年 8 月到 2018 年 10 月，王赟把最好的青春年華獻(xiàn)給了博士學(xué)習(xí)。“其中前兩年是碩士，但由于碩士生活跟博士并沒有太大區(qū)別，都要做研究，所以說八年博士也并不過分吧。”在就讀期間，他換了2個(gè)研究項(xiàng)目，做了3個(gè)項(xiàng)目，拿到博士學(xué)位時(shí)間略微超出平均值。
也正是走過這樣一段彎路，他在2014年搭上了深度學(xué)習(xí)的快車，也趕上2017年弱標(biāo)注事件大數(shù)據(jù)公布的風(fēng)口，做出了如今讓他滿意的“弱標(biāo)注下的音頻事件檢測”研究成果，震驚學(xué)界。“我并不覺得我前四年是荒廢了的。整整八年的學(xué)習(xí)，讓我對語音識別、深度學(xué)習(xí)等各個(gè)領(lǐng)域的理論基礎(chǔ)有了扎實(shí)的掌握。”這打仗般的8年沒有把他壓垮，他整天樂呵呵地把留學(xué)生活過得多姿多彩——他走進(jìn)社團(tuán)、周游城市、全世界旅游，結(jié)識了許多非常有趣的朋友。
王赟高中就讀于山東龍口一中，昔日的校友在網(wǎng)上直呼高中時(shí)代他就是一個(gè)學(xué)霸。
他的眼中只有語音
“像數(shù)學(xué)物理化學(xué)這方面從中學(xué)時(shí)代就已經(jīng)有比較濃厚的興趣了，高中參加過信息學(xué)競賽，編程算法這些學(xué)得比較早。”在高中的時(shí)期，他對語音方面就萌發(fā)了興趣，他記得，讀高一時(shí)了解到日本出的一款用電腦合成唱歌的軟件，“就覺得這個(gè)東西挺好玩，然后就想將來我也可以做一款類似的東西，然后從那個(gè)時(shí)候開始有了興趣。”在這背后還有他喜愛唱歌這一推動因，“我比較喜歡唱歌，學(xué)了好多首歌，這個(gè)東西正好可以合成歌曲。”為此，后來上了大學(xué)，他“自主研發(fā)”了一套系統(tǒng)。
在清華，他完成了這個(gè)深藏已久的心愿。2006年，王赟考入清華大學(xué)電子工程系，大一的時(shí)候，他就著手完成這個(gè)小心愿，“寫了一個(gè)簡陋的合成系統(tǒng)出來，還湊合，很明顯是合成音，不過能聽出是唱歌聲。”牛刀小試后，他感到一些成就感，當(dāng)時(shí)想如果以后有這種機(jī)會的話，希望往這個(gè)方向發(fā)展。
語音合成只是他縱身躍入興趣領(lǐng)域的入口，是語音識別還是語音合成都無所謂，“只要跟語音信號有關(guān)系的東西，我都比較有興趣。”電子工程系中的一門課信號處理，王赟學(xué)得比較扎實(shí)，“因?yàn)檎Z音本身就是一個(gè)信號，所以這個(gè)可以算是看家本領(lǐng)。”他說，語音本身就是一個(gè)信號，它是一個(gè)波形樣態(tài)，你怎么對它處理來提取里面有用的信息，經(jīng)過電子系的訓(xùn)練之后，這方面的功力會比較扎實(shí)一些。
8年博士生涯
在本科階段，王赟眼中關(guān)注的都是語音，也發(fā)表了第一篇署名為第一作者的論文。那時(shí)候星空人工智能還不是如現(xiàn)在這般火，他也陰差陽錯(cuò)成了星空人工智能領(lǐng)域最早的一批先行者。
本科畢業(yè)以后，王赟在發(fā)展語音興趣路上越走越遠(yuǎn)，走出了國門去留學(xué)。他申請到兩所大學(xué)的研究生。一般而言，攻讀碩士學(xué)位比較難拿到獎(jiǎng)學(xué)金，而其中一所大學(xué)的項(xiàng)目很特殊，給了獎(jiǎng)學(xué)金，于是他選擇了這所大學(xué)。
王赟前2年讀碩士，做的事跟博士幾乎沒有兩樣，一半時(shí)間上課一半時(shí)間做研究。從碩士到博士的中間需要再申請一次，但是因?yàn)樗呀?jīng)在那，教授們都見過，評價(jià)的依據(jù)就比較豐富，“就這樣自然而然申請上博士。”
從入學(xué)到 2012 年春天，王赟跟隨老師研究說話人識別（分為說話人辨認(rèn)和說話人確認(rèn)）。他說，做說話人識別，一般不管說的是什么內(nèi)容，哪怕你聽不懂，也能聽出來是誰在說話。在這將近兩年的時(shí)間里，王赟用 Matlab 語言親自實(shí)現(xiàn)了十幾種語音特征的提取。
“那時(shí)候博士申請結(jié)果已經(jīng)出來了，所以說不會有特別緊張，但從技術(shù)上來看是個(gè)遺憾，因?yàn)闆]有在市場上火起來。”后來，王赟轉(zhuǎn)到一位高高胖胖的德國教授名下攻讀博士，名字發(fā)音和英語的花朵有些相似，于是在中文的語境中，王赟稱導(dǎo)師為“花哥”。
博士三年仍未發(fā)論文
投身花哥門下，王赟做的第一個(gè)項(xiàng)目是Babel，其任務(wù)是在多種小語種語音里檢索關(guān)鍵詞，這個(gè)項(xiàng)目是由全世界許多大學(xué)和公司共同參與，大學(xué)或公司合作組隊(duì)伍，而隊(duì)伍之間互相PK，最后優(yōu)勝劣汰，留下好的項(xiàng)目。
這是一個(gè)規(guī)模很大的系統(tǒng)，前期要完成一個(gè)從無到有的過程，有了這個(gè)基礎(chǔ)之后，才能做研究。王赟形容前期搭建系統(tǒng)“與其說是像科研，不如說是像工作”。2014年6月，正當(dāng)王赟在韓國游玩的時(shí)候，實(shí)驗(yàn)室的同學(xué)發(fā)來噩耗：王赟所在的隊(duì)伍被淘汰。這猶如晴天霹靂。那個(gè)時(shí)候他在想下面做什么好。
“我一下子不知道將來的路該怎么走。”而此時(shí)是王赟留學(xué)的第四年，到此時(shí)為止，他只發(fā)出了一篇署名為第一作者的論文，另外一篇論文屢投屢不中，最后只能將其塵封。他當(dāng)時(shí)就知道這個(gè)博士可能會是一場馬拉松，經(jīng)過前面一兩年的熱身很正常，但到了第三年還沒科研產(chǎn)出，這對于博士來說，是一件很驚悚的事情。“知乎上有一個(gè)這樣的問題：博士第三年還沒有發(fā)論文是一種怎樣的體驗(yàn)？我想我是最適合回答的，但終究沒有勇氣回答。”那時(shí)起，他做好了讀博六年七年八年的準(zhǔn)備。
第四年的這篇論文讓他的焦慮得以緩解。“感覺就是從0到1的質(zhì)變。”2014年下半年，他經(jīng)歷了近乎搏命的半年。在這半年他閱讀了近百篇論文，還在網(wǎng)上學(xué)習(xí)了“深度學(xué)習(xí)”三巨頭之一Geoffrey Hinton的課程，系統(tǒng)地學(xué)了其中的技術(shù)。這得益于2013年、2014年在做項(xiàng)目過程中學(xué)習(xí)到的最前沿的東西。在2014年9月新加坡舉行的 Interspeech 會議上，他嗅到了“深度學(xué)習(xí)”正在崛起的信號。“這個(gè)工具我已經(jīng)掌握了，終究有爆發(fā)的一天。”
搶占學(xué)術(shù)榮譽(yù)高地
博士論文的最終選題王赟確定為事件檢測。他打比方說，事件有低層和高層之分，低層的事件，比如貓叫、狗叫、開關(guān)門；高層的事件，比如球賽、婚禮、聚會等。他的研究方向就是要在數(shù)以億計(jì)的海量音視頻素材中直接鎖定這些片段。當(dāng)時(shí)選擇這個(gè)方向，王赟沒感覺到它的魅力，現(xiàn)在看來，自己運(yùn)氣太好了。
在2016 年 3 月的 國際聲學(xué)語音與信號處理會議（ICASSP ）上，芬蘭坦佩雷理工大學(xué)的研究組與王赟同時(shí)發(fā)表了用深度學(xué)習(xí)做低層事件檢測的論文。在這場關(guān)乎學(xué)術(shù)榮譽(yù)的陣地戰(zhàn)中，王赟走在了前列。當(dāng)時(shí)，王赟關(guān)注到芬蘭那邊有個(gè)實(shí)驗(yàn)室也在做類似課題。最后他們平分秋色，“差不多同時(shí)發(fā)論文，所以在這個(gè)領(lǐng)域內(nèi)，我也是并列第一個(gè)做研究的，算是先行者之一。”
“就從這個(gè)時(shí)候開始，我覺得我這個(gè)博士研究算是走上正道了，開始以相對固定的節(jié)奏發(fā)論文了。”后來，他明顯感覺做研究的數(shù)據(jù)不足，總共就10多個(gè)小時(shí)的數(shù)據(jù)，在深度學(xué)習(xí)面前這點(diǎn)數(shù)據(jù)無疑是杯水車薪，“沒有數(shù)據(jù)，就是巧婦難為無米之炊！”
就在此時(shí)，他有如神助——每條長度為 10 秒的200 萬條視頻數(shù)據(jù)集被公布出來，這樣的大數(shù)據(jù)正合深度學(xué)習(xí)胃口。這組數(shù)據(jù)拯救了他的研究。
果不其然，后續(xù)的許多相關(guān)研究或是全部或是部分使用了這組數(shù)據(jù)集。王赟則全部使用了，光是下載數(shù)據(jù)就花了整整一個(gè)月。這組數(shù)據(jù)還有一個(gè)特點(diǎn)就是弱標(biāo)注——它沒有標(biāo)注事件的起止時(shí)間，而只標(biāo)注了每段音頻中的事件種類。這幾乎和王赟的博士論文不謀而合。他的目標(biāo)也就非常明確——如何在已有的檢測基礎(chǔ)上進(jìn)行方法創(chuàng)新。
從2007年10月開題以來，王赟在跟時(shí)間賽跑。“那時(shí)就想盡可能把東西往前趕，因?yàn)榈?017年已是留學(xué)第七年了，已經(jīng)開始超出（博士畢業(yè)時(shí)間）平均值了。” 8年的博士生涯，王赟走了不少彎路，但他沒有沉浸在失落的情緒中。
“正如吃完第三個(gè)包子飽了不代表前兩個(gè)包子就白吃了一樣，我并不覺得我前四年是荒廢了的。整整八年的學(xué)習(xí)，讓我對語音識別、深度學(xué)習(xí)等各個(gè)領(lǐng)域的理論基礎(chǔ)有了扎實(shí)的掌握。”
也正因?yàn)橛辛饲捌谇鄣缆返匿亯|，他在2014年搭上了深度學(xué)習(xí)的快車，也趕上2017年弱標(biāo)注事件大數(shù)據(jù)公布的風(fēng)口，而這些都需要時(shí)間的沉淀，“哪怕我前幾年沒走這些彎路，我如果（畢業(yè)）太早趕不上這兩波，也做不出現(xiàn)在這個(gè)成果了。”
事實(shí)上，他的留學(xué)生活并不是外界感覺的那般苦悶，他走進(jìn)社團(tuán)、周游城市周邊、全世界旅游，把生活過得多姿多彩。他參加中國學(xué)生學(xué)者聯(lián)誼會，在其舉辦的才藝比賽中，抱著吉他彈唱一曲《老男孩》，一炮而紅。
他參加pLayboycLub，與社團(tuán)成員一起打狼人殺、一起做飯、滑冰、逛博物館，一起去看櫻花。他還在日語角、西語角和法語角跟外國人談笑風(fēng)生。
“我沒有把留學(xué)的目的僅僅是學(xué)習(xí)知識，我確實(shí)不像有些同學(xué)那樣有比如說有經(jīng)濟(jì)壓力之類，我就覺得既然出來了就體驗(yàn)一下國外的生活，在讀書的同時(shí)，盡可能豐富體驗(yàn)。”
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁 > 新聞 » 工智能博士王赟：我搭上了深度學(xué)習(xí)的快車