從互聯(lián)網(wǎng)音樂的紅海中殺出,在網(wǎng)易云音樂CEO朱一聞看來(lái),自己做得最正確的事情就是堅(jiān)持社交的定位。從歌單、評(píng)論到音樂人計(jì)劃,網(wǎng)易云音樂被深深烙下了社交的印記。網(wǎng)易云音樂為什么能夠在短短的時(shí)間內(nèi)實(shí)現(xiàn)其商業(yè)閉環(huán)?謎底揭曉,其中一個(gè)重要原因就是網(wǎng)易云技術(shù)體系。
作為全面支撐網(wǎng)易互聯(lián)網(wǎng)業(yè)務(wù)的技術(shù)部門,網(wǎng)易杭州研究院(簡(jiǎn)稱 杭研 )基于網(wǎng)易互聯(lián)網(wǎng)業(yè)務(wù)的共性需求,利用最新的分布式、容器、大數(shù)據(jù)和深度學(xué)習(xí)等技術(shù)打造了一整套面向互聯(lián)網(wǎng)+的云服務(wù),涵蓋彈性伸縮、高效運(yùn)維等基礎(chǔ)服務(wù)以及視頻、消息推送、反垃圾等功能,為網(wǎng)易云音樂提供了一系列的技術(shù)支撐,讓朱一聞的團(tuán)隊(duì)得以全身心探索音樂社交平臺(tái)的差異化發(fā)展之路。
網(wǎng)易云音樂成長(zhǎng)的煩惱
互聯(lián)網(wǎng)音樂可謂近期互聯(lián)網(wǎng)領(lǐng)域的 軍事重鎮(zhèn) ,包括BAT和多家創(chuàng)業(yè)公司在這個(gè)領(lǐng)域頻頻布局,網(wǎng)易云音樂就在此背景下誕生于2013年4月。自正式發(fā)布產(chǎn)品以來(lái),網(wǎng)易云音樂一直就走在發(fā)展的快車道上,及至2016年7月,網(wǎng)易云音樂平臺(tái)上的用戶數(shù)量就突破了2億。
(網(wǎng)易云音樂日活用戶曲線)
拒絕成為播放工具,而是做音樂社區(qū),這是網(wǎng)易云音樂在同類產(chǎn)品中脫穎而出的原因。事實(shí)上,丁磊找到朱一聞團(tuán)隊(duì)來(lái)做網(wǎng)易云音樂,正是看中了團(tuán)隊(duì)的社交產(chǎn)品經(jīng)驗(yàn),以及朱一聞的社交情懷。
社交 這兩個(gè)字,落到產(chǎn)品卻是千頭萬(wàn)緒。且不說(shuō)連接內(nèi)容與用戶的商業(yè)模式的驗(yàn)證,新功能、新業(yè)務(wù)的拓展,哪怕產(chǎn)品設(shè)計(jì)已經(jīng)比較穩(wěn)定,健壯的基礎(chǔ)設(shè)施、消息推送、垃圾信息過(guò)濾、Android端的各種適配等等,都是橫亙?cè)谘邪l(fā)團(tuán)隊(duì)面前的大山,更何況快速迭代已經(jīng)是當(dāng)前互聯(lián)網(wǎng)產(chǎn)品運(yùn)營(yíng)的不二法門。網(wǎng)易云音樂技術(shù)負(fù)責(zé)人介紹,自確立目標(biāo)以來(lái),從產(chǎn)品功能到運(yùn)營(yíng)支持,網(wǎng)易云音樂面臨的技術(shù)難題隨處可見。
曲庫(kù)/MV的海量存儲(chǔ)。盡管主打社交,但網(wǎng)易云音樂的根基畢竟還是音樂,要滿足更多人的需求就要保證資源的豐富性,所以,從支持系統(tǒng)的角度,能夠隨著曲庫(kù)規(guī)模擴(kuò)展的存儲(chǔ)系統(tǒng),以及一個(gè)高性能的數(shù)據(jù)庫(kù)是必須的。目前,網(wǎng)易云音樂曲庫(kù)收錄正版高品質(zhì)音樂超1000萬(wàn)首,入駐的明星超過(guò)1500位,原創(chuàng)音樂人超2萬(wàn)人。而用戶自主創(chuàng)建的優(yōu)質(zhì)歌單總數(shù)超過(guò)1億個(gè),平均每天誕生42萬(wàn)優(yōu)質(zhì)新歌單,累計(jì)產(chǎn)生超2億條樂評(píng)。
大并發(fā)、高性能?;ヂ?lián)網(wǎng)音樂的競(jìng)爭(zhēng)日益激烈,用戶對(duì)產(chǎn)品體驗(yàn)的要求也越來(lái)越高,大高并發(fā)、高性能是當(dāng)前每一個(gè)面向大眾的消費(fèi)級(jí)互聯(lián)網(wǎng)產(chǎn)品必須面對(duì)的問題,更何況在朱一聞的理念中,唯有活躍的用戶才具有價(jià)值,所以對(duì)用戶訪問的響應(yīng),即便在流量洪峰下短期內(nèi)無(wú)法保持一流的性能,服務(wù)也是萬(wàn)萬(wàn)不能中斷的。這種情況下,負(fù)載均衡、性能監(jiān)控、日志分析、彈性擴(kuò)展,是統(tǒng)統(tǒng)都要上的。同時(shí),IM模塊也需要根據(jù)移動(dòng)網(wǎng)絡(luò)的特點(diǎn)進(jìn)行性能調(diào)優(yōu),包括優(yōu)化長(zhǎng)連接的健壯性。
如果說(shuō)團(tuán)隊(duì)面對(duì)這些 大山 還能有愚公移山的精神,那又錯(cuò)了 丁磊的一個(gè)硬性要求(其實(shí)也是當(dāng)前互聯(lián)網(wǎng)市場(chǎng)快速變化的要求),就是產(chǎn)品三個(gè)月之內(nèi)必須要上線,小步快跑。當(dāng)然,從網(wǎng)易一貫的風(fēng)格來(lái)看,網(wǎng)易云音樂上線的第一個(gè)版本也必須是精品,技術(shù)上的坑是要填好的。
與此對(duì)應(yīng)的是產(chǎn)品迭代的成本。網(wǎng)易云音樂最初為了快速上線采用單體架構(gòu),這就留下了弊端,一個(gè)微小的改動(dòng)也要整體重新部署,不僅麻煩,還容易出錯(cuò)。一個(gè)真實(shí)案例,就是出自一位新手的一行錯(cuò)誤代碼,曾導(dǎo)致整個(gè)應(yīng)用不可用,也正是這件事情,促使網(wǎng)易云音樂下定決心實(shí)施服務(wù)分拆。例如將曲庫(kù)、社交模塊、用戶信息、積分商城、歌單等分拆成獨(dú)立服務(wù),研發(fā)團(tuán)隊(duì)可以高頻度獨(dú)立更新各個(gè)微服務(wù),從而能夠控制變更范圍,極大加速產(chǎn)品的迭代。
直播模式的煩惱。在直播模式如日中天的當(dāng)下,網(wǎng)易云音樂也要試水在線直播,比如8月11日晚全程直播中國(guó)首個(gè)國(guó)民音樂頂級(jí)賽事 音樂大戰(zhàn) 。當(dāng)然,對(duì)于社交情懷的公司來(lái)說(shuō),互動(dòng)是直播題中應(yīng)有之義。不過(guò)直播很可能不是常態(tài),但對(duì)于技術(shù)團(tuán)隊(duì)來(lái)說(shuō)反而更為難:在網(wǎng)易云音樂快速發(fā)展的情況下,為一個(gè)可能不常用的場(chǎng)景去啃直播這塊對(duì)難以避免的網(wǎng)絡(luò)波動(dòng)極為敏感的硬骨頭,回報(bào)難以估量,研發(fā)人力卻是捉襟見肘。
Last but not least,社交氛圍純凈度的保證。UGC(用戶原創(chuàng)內(nèi)容)是社交類產(chǎn)品的重要方向,歌曲、歌單的用戶評(píng)論正是網(wǎng)易云音樂保持疆域和擴(kuò)張版圖的利器。然而UGC同時(shí)也導(dǎo)致內(nèi)容的不可控 2015年全國(guó)惡意網(wǎng)信辦全年受理的網(wǎng)民舉報(bào)案件多達(dá)3600多萬(wàn)件,可見網(wǎng)絡(luò)環(huán)境之惡劣。
朱一聞?dòng)?破窗理論 (環(huán)境可以對(duì)用戶產(chǎn)生強(qiáng)烈的暗示性和誘導(dǎo)性)來(lái)解釋保障網(wǎng)易云音樂社區(qū)評(píng)論純凈度的奧秘,但這對(duì)團(tuán)隊(duì)提出更高的要求:一定要杜絕 第一扇破窗 (如涉及黃賭毒暴恐的評(píng)論)的出現(xiàn),這是很大的工作量,尤其是當(dāng)前網(wǎng)易云音樂平臺(tái)日均評(píng)論數(shù)量已經(jīng)達(dá)到64萬(wàn),如果堆人力7*24小時(shí)一條一條地審核,需要的人數(shù)無(wú)疑是一個(gè)無(wú)底洞。即便結(jié)合一些過(guò)濾規(guī)則、舉報(bào)機(jī)制,工作量也不能減少多少,因?yàn)橐?guī)則并不能正確處理當(dāng)下的拆字、諧音等垃圾變種。所以,網(wǎng)易云音樂必須采用更先進(jìn)的技術(shù)手段來(lái)解決。
(網(wǎng)易云音樂的純凈評(píng)論氛圍)
解決的辦法就是云計(jì)算。事實(shí)上,而且當(dāng)前的互聯(lián)網(wǎng)產(chǎn)品或多或少都具有社交的屬性,以及圖片、視頻等功能,相應(yīng)的云服務(wù)模塊也就應(yīng)運(yùn)而生,故而完全重新開發(fā)一套體系來(lái)開展網(wǎng)易云音樂的業(yè)務(wù),并不是明智的選擇。那么,有符合網(wǎng)易云音樂需求的云計(jì)算服務(wù)嗎?
借力網(wǎng)易云
好在有杭研。作為網(wǎng)易互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展的技術(shù)支持部門,杭研成立之后不久就開始做分布式關(guān)系數(shù)據(jù)庫(kù)、分布式存儲(chǔ)的研發(fā),到2012年又開始大規(guī)模地將各業(yè)務(wù)部門的共性需求進(jìn)行云化,網(wǎng)易云音樂原本是網(wǎng)易杭州研究院的二級(jí)部門,自然而言地利用網(wǎng)易云技術(shù)體系帶來(lái)的利好,包括容器云、IM云、視頻云、反垃圾云等解決方案。
網(wǎng)易蜂巢:基于容器的彈性伸縮、敏捷開發(fā)
3年時(shí)間,網(wǎng)易云音樂用戶規(guī)模從0到2億,功不可沒的首先是網(wǎng)易蜂巢,基于容器的基礎(chǔ)服務(wù),包括單行擴(kuò)容的容器集群、關(guān)系數(shù)據(jù)庫(kù)服務(wù)、分布式存儲(chǔ)服務(wù)、負(fù)載均衡、性能監(jiān)控等。在網(wǎng)易云音樂技術(shù)負(fù)責(zé)人的印象中,網(wǎng)易蜂巢為網(wǎng)易云音樂帶來(lái)的價(jià)值體現(xiàn)在穩(wěn)定、可伸縮的容器集群環(huán)境,敏捷的開發(fā)模式,以及良好的運(yùn)維支持。
(支撐網(wǎng)易云音樂的云計(jì)算基礎(chǔ)服務(wù))
輕量級(jí)的Docker容器,可以把軟件架構(gòu)、緩存環(huán)境、數(shù)據(jù)庫(kù)環(huán)境、運(yùn)行環(huán)境快速裝進(jìn)來(lái),為彈性伸縮打下了基礎(chǔ),網(wǎng)易蜂巢團(tuán)隊(duì)利用Kubernetes容器集群管理技術(shù),從軟件架構(gòu)到IT基礎(chǔ)設(shè)施構(gòu)建了完整的彈性伸縮能力(Kubernetes對(duì)用戶暴露的是一個(gè)個(gè)服務(wù))。同時(shí),網(wǎng)易蜂巢提供了豐富的鏡像幫助開發(fā)團(tuán)隊(duì)快速完成新環(huán)境的搭建,讓網(wǎng)易云音樂團(tuán)隊(duì)無(wú)需為上線、預(yù)發(fā)布、測(cè)試、開發(fā)環(huán)境的配置和管理發(fā)愁,并提供了完整的DevOps工具鏈,包括豐富的診斷工具和監(jiān)控服務(wù),在提升效率的同時(shí)還降低了開發(fā)的成本。此外,基于Kubernetes的優(yōu)秀設(shè)計(jì),網(wǎng)易蜂巢提供的服務(wù)發(fā)現(xiàn)、服務(wù)編排、服務(wù)治理等能力,使得網(wǎng)易云音樂只需要完成自己業(yè)務(wù)的代碼實(shí)現(xiàn)即可享受到微服務(wù)帶來(lái)的益處。
網(wǎng)易云信 網(wǎng)易視頻云
IM 已經(jīng)成為當(dāng)下 APP用以提升用戶活躍率的必備模塊,推崇互動(dòng)的網(wǎng)易云音樂也不例外。然而,網(wǎng)易云音樂希望IM各環(huán)節(jié)各子系統(tǒng)都做到抗抖動(dòng)、抗單點(diǎn)風(fēng)險(xiǎn)和全面的實(shí)時(shí)監(jiān)控和自動(dòng)化應(yīng)對(duì),這是很大的技術(shù)難題。此外,從良心的角度,還需要考慮針對(duì)手機(jī)電量、流量的優(yōu)化。
網(wǎng)易云信在技術(shù)的選擇上穩(wěn)定可靠的服務(wù)品質(zhì)為最高優(yōu)先級(jí),根據(jù)16年來(lái)從網(wǎng)易泡泡、易信等產(chǎn)品研發(fā)的經(jīng)驗(yàn)來(lái)解決上述難題,支持海量并發(fā)和不丟消息,例如通過(guò)私有精簡(jiǎn)二進(jìn)制協(xié)議實(shí)現(xiàn)更快的速度和更好的性能,通過(guò)動(dòng)態(tài)智能DNS 掉線快速重連保障弱網(wǎng)消息必達(dá),同時(shí)通過(guò)私有協(xié)議加密和RSA+流式加密保障安全,從而讓網(wǎng)易云音樂可以放心采用。
(網(wǎng)易云信Android SDK架構(gòu))
而網(wǎng)易云音樂在直播方面的嘗試,以及MV的點(diǎn)播,就借助了網(wǎng)易云視頻云技術(shù)。網(wǎng)易視頻云的直播產(chǎn)品由專業(yè)的音視頻技術(shù)團(tuán)隊(duì)結(jié)合網(wǎng)易15年的音視頻實(shí)踐研發(fā)出來(lái),從采集、預(yù)處理、傳輸、編解碼到服務(wù)端處理,都進(jìn)行了精心的設(shè)計(jì)和優(yōu)化。同樣,針對(duì)復(fù)雜網(wǎng)絡(luò)環(huán)境,網(wǎng)易視頻云通過(guò)自研Dawn協(xié)議來(lái)傳輸實(shí)時(shí)音視頻流,以及實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)狀況,對(duì)直播流進(jìn)行智能調(diào)整,增加了抗丟包能力,使直播更加流暢。
此外,網(wǎng)易云信和網(wǎng)易視頻云還有一個(gè)特點(diǎn),也是網(wǎng)易云音樂的開發(fā)人員贊賞的,就是SDK的跨平臺(tái)和接入的便利性,因?yàn)橛性敿?xì)的開發(fā)文檔和入門教學(xué)視頻,新手也可以一天之內(nèi)完成接入。
網(wǎng)易易盾:來(lái)自人工智能的高效反垃圾
在網(wǎng)易云音樂的初級(jí)階段,用戶量和數(shù)據(jù)量相對(duì)比較小,垃圾信息、有害信息也相對(duì)較少,一般在情況下創(chuàng)業(yè)團(tuán)隊(duì)會(huì)讓運(yùn)營(yíng)人員人工審核,但朱一聞的理念迫使網(wǎng)易云音樂很早就考慮通過(guò)技術(shù)手段來(lái)過(guò)濾垃圾信息保障用戶體驗(yàn)。網(wǎng)易易盾反垃圾團(tuán)隊(duì)也為網(wǎng)易云音樂提供了一整套方案來(lái)快速過(guò)濾垃圾信息,所提供的服務(wù)包含廣告過(guò)濾、智能鑒黃、暴恐識(shí)別、謠言排查等。這一決策在2億用戶的條件下收到了很好的成效,僅在2016年上半年,網(wǎng)易易盾團(tuán)隊(duì)就為網(wǎng)易云音樂清理了2300萬(wàn)條垃圾信息,保證了良好的音樂社區(qū)環(huán)境。
簡(jiǎn)單說(shuō)來(lái),易盾反垃圾系統(tǒng),包括分布式對(duì)象存儲(chǔ)、分布式緩存、分布式數(shù)據(jù)庫(kù)、Hadoop、Storm等框架,但最核心的還是兩個(gè)人工智能組件,包括基于文本過(guò)濾組件和圖片識(shí)別組件。這兩個(gè)組件采用了前沿的深度學(xué)習(xí)算法,依托網(wǎng)易積累的深度模型,并針對(duì)不同場(chǎng)景進(jìn)行優(yōu)化,從海量數(shù)據(jù)中自動(dòng)學(xué)習(xí)垃圾信息的特征,為精確分類打下基礎(chǔ),從而實(shí)現(xiàn)更準(zhǔn)確地識(shí)別垃圾詞匯、色情圖片、廣告圖片以及一些違禁品圖片。同時(shí),依托網(wǎng)易云的動(dòng)態(tài)擴(kuò)容,彈性伸縮能力,網(wǎng)易易盾能夠滿足客戶單日十億級(jí)請(qǐng)求,所以完全可以滿足網(wǎng)易云音樂的需求。
(網(wǎng)易易盾反垃圾系統(tǒng)技術(shù)架構(gòu))
目前,網(wǎng)易云音樂也保留一個(gè)小型的人工審核團(tuán)隊(duì),因?yàn)槿斯ぶ悄芟到y(tǒng)是一個(gè)在自動(dòng)學(xué)習(xí)中不斷進(jìn)步的系統(tǒng)。不過(guò),相對(duì)于規(guī)則+人工審核的方案來(lái)說(shuō),網(wǎng)易云音樂的成本不可同日而語(yǔ)。至于清理的效果,看媒體評(píng)論:網(wǎng)易云音樂的社區(qū)評(píng)論堪稱中國(guó)最和諧的社區(qū)。如此的精確度得益于網(wǎng)易長(zhǎng)期積累的樣本庫(kù),因?yàn)樯疃葘W(xué)習(xí)還需要足夠的訓(xùn)練數(shù)據(jù)才能實(shí)現(xiàn)很好的模型性能,而網(wǎng)易易盾基于網(wǎng)易產(chǎn)品的龐大用戶群,每天新增特征超過(guò)4萬(wàn)。
小結(jié)
正如硅谷大佬的名言,互聯(lián)網(wǎng)經(jīng)濟(jì)的哲學(xué)是快魚吃慢魚,在競(jìng)爭(zhēng)日益激烈的今天,一個(gè)互聯(lián)網(wǎng)產(chǎn)品想要脫穎而出,其背后的戰(zhàn)略、產(chǎn)品、運(yùn)營(yíng)都不能存在短板,而這些都依賴于優(yōu)秀技術(shù)的支撐,才能輕裝上陣,以快制勝。網(wǎng)易云音樂背靠網(wǎng)易云的蜂巢、云信、視頻云、易盾等方案,解決了業(yè)務(wù)拓展、產(chǎn)品迭代、用戶激增、運(yùn)營(yíng)風(fēng)險(xiǎn)等多項(xiàng)挑戰(zhàn),突出重圍快速發(fā)展,并于2016年4月升級(jí)為網(wǎng)易集團(tuán)一級(jí)部門 網(wǎng)易音樂事業(yè)部 。事實(shí)上,網(wǎng)易云音樂還借助大數(shù)據(jù)挖掘技術(shù)做了個(gè)性化服務(wù)(網(wǎng)易云音樂3.0版本首頁(yè)所有內(nèi)容都是個(gè)性化的),底層也是杭研的大數(shù)據(jù)平臺(tái),而大數(shù)據(jù)體系也是網(wǎng)易云即將推出的云服務(wù)。
責(zé)任編輯:hang
文章編輯:CobiNet(寧波)
本公司專注于電訊配件,銅纜綜合布線系列領(lǐng)域產(chǎn)品研發(fā)生產(chǎn)超五類,六類,七類屏蔽網(wǎng)線/屏蔽模塊及相關(guān)模塊配件, 我們是萬(wàn)兆屏蔽模塊,10G屏蔽模塊,屏蔽線生產(chǎn)廠家。
歡迎來(lái)電咨詢0574 88168918,郵箱sales@cobinet.cn,網(wǎng)址www.10166888.com
?2016-2019寧波科博通信技術(shù)有限公司版權(quán)所有浙ICP備16026074號(hào)