1.這里是Qcon北京2017采訪間，我們邀請到了云之訊首席架構(gòu)師張修路老師接受我們的采訪，張老師，您好，請您先向大家做個自我介紹吧。
張修路：大家好，我是張修路。2002年，我從哈爾濱工業(yè)大學研究生畢業(yè)，并在畢業(yè)之后加入華為公司一直工作至2014年。在離開華為公司之后，我做過一些創(chuàng)業(yè)項目。去年年底，我收到了一位原同事的邀請，請求加入到云之訊公司擔任語音業(yè)務(wù)的架構(gòu)師。在華為工作的十幾年期間，我做過類似WAPGW、短信、彩信、IPTV的系統(tǒng)架構(gòu)設(shè)計，以及網(wǎng)絡(luò)安全與可靠性、可服務(wù)性等一系列各種各樣的專項系統(tǒng)設(shè)計。有很長一段時間，我在做整個解決方案的設(shè)計，因為在電信行業(yè)，我們需要提供客戶完整的解決方案，包括之前提及的短信、彩信、IPTV，還有彩鈴等業(yè)務(wù)。我們需要將所有的業(yè)務(wù)連貫起來，給它提供一個完整的一體化解決方案。最主要的是，在加入云之訊之后，我主要從事的工作是云呼叫中心的設(shè)計，而我想通過這種設(shè)計，將其與我在過去十幾年的電信行業(yè)背景相結(jié)合，因為在我離開華為之后，我曾在多家公司從事關(guān)于互聯(lián)網(wǎng)業(yè)務(wù)的工作，對互聯(lián)網(wǎng)的業(yè)務(wù)有了一定的了解，而今天的工作就能夠較好地結(jié)合我對電信行業(yè)業(yè)務(wù)的理解，以及對云計算和互聯(lián)網(wǎng)業(yè)務(wù)的理解。這恰恰也是我愿意加入這個團隊，且持續(xù)發(fā)展的一個原因。
2.您剛剛提到了，您曾經(jīng)負責多個產(chǎn)品的系統(tǒng)設(shè)計，那么您可以跟大家分享一下您的經(jīng)驗嗎？
張修路：在系統(tǒng)設(shè)計的過程中，很重要的一點就是對業(yè)務(wù)的理解。因為在過去的工作過程中，我發(fā)現(xiàn)很多同事他對技術(shù)的理解非常到位，但是對客戶的需求卻沒有理解到位，導(dǎo)致整個系統(tǒng)在設(shè)計的過程中出現(xiàn)問題。在我看來，系統(tǒng)設(shè)計過程中極為重要的就是要能夠深入理解客戶的需求，以及它的業(yè)務(wù)場景。我和我市場部門的同事談及的第一件事情，首先你能夠完整地描述我們客戶的業(yè)務(wù)需求以及它的業(yè)務(wù)場景，比如說我們的呼叫中心，對我們客戶、它的最終用戶、它的消費者是打電話步驟，在這個使用呼叫中心的過程中，會經(jīng)過什么步驟�；趯@個業(yè)務(wù)場景的深入分析，以及做場景的抽象和分析，然后開始做架構(gòu)設(shè)計，那么對一名架構(gòu)師而言，在系統(tǒng)設(shè)計過程中極為重要的就是盡可能多地了解技術(shù)。所謂架構(gòu)是一種選擇的過程，大多數(shù)架構(gòu)師不會選擇去發(fā)明一種新技術(shù)，更多的是整合已有的技術(shù)來完成客戶需求和業(yè)務(wù)場景的設(shè)計，因此需要對多個系統(tǒng)有足夠多地理解，在積累了眾多經(jīng)驗之后，就能夠選擇最合適的技術(shù)來滿足客戶的需求，并且設(shè)計出一個高可靠、高并發(fā)、穩(wěn)定的系統(tǒng)。如果想要設(shè)計一個類似電信級的系統(tǒng)，不僅要做到非常高并發(fā)、高可靠，還需要使用分布式的異步編程，以及一些扁平化的架構(gòu)設(shè)計。
3.您剛才也提到一些電信級的產(chǎn)品，您是如何看待電信級和云系統(tǒng)兩類產(chǎn)品的不同之處？
張修路：在過去的電信系統(tǒng)中，它極為強調(diào)可靠性，即對可靠性的要求非常高。舉個例子，光傳輸領(lǐng)域，如果說我們經(jīng)常出現(xiàn)光纖被挖斷，或者說它需要在極短的時間，可能是萬分之一秒完成主備的倒換，那么我們需要依靠它帶來的高可靠性；但另一方面，它引發(fā)了高成本，到達語音呼叫，或者云計算之后，尤其是以谷歌此類互聯(lián)網(wǎng)技術(shù)的發(fā)展，它盡可能會采用一些廉價的設(shè)備。在我剛參加工作之時，我們都會使用一些小型機，比如惠普、IBM、Sun，一方面它的可靠性，以及性能非常好；而另一方面，它的成本卻很高。而在谷歌、百度、騰訊、阿里巴巴等此類互聯(lián)網(wǎng)廠商發(fā)展起來之后，會因為為客戶提供一些免費的服務(wù)，而受限于技術(shù)，或者受限于成本的約束，使用廉價的X86的計算機和服務(wù)器，以及廉價的磁盤來提供相對可靠性比較高的服務(wù)，對于技術(shù)的選擇需要通過類似智能DNS，或者云服務(wù)呼叫中心所采用的分布式設(shè)計來保證它的可靠性。從技術(shù)角度來看，這兩者之間的區(qū)別在于一方面電信技術(shù)更多地依賴于底層的技術(shù)來提高它的可靠性，而互聯(lián)網(wǎng)和云計算更多地依賴于頂層的業(yè)務(wù)設(shè)計和分層設(shè)計來提高性能的可靠性，以及保證業(yè)務(wù)的連續(xù)性，甚至在出現(xiàn)某些故障時，做些降級服務(wù)來保證其基本的服務(wù)是可行的。
4.您曾經(jīng)提過“電信技術(shù)和IT技術(shù)的融合”，那怎么理解您說的這一點呢？
張修路：當年我在華為的時候，更多的是從事電信行業(yè)的發(fā)展，電信業(yè)務(wù)技術(shù)更多地依賴底層的硬件設(shè)計來提高它的可靠性，而互聯(lián)網(wǎng)和云計算更多的是依賴于業(yè)務(wù)，以及自身系統(tǒng)的設(shè)計來保障它的切換和可靠性。后來，來到云之訊之后，主要從事語音呼叫中心、短信平臺的系統(tǒng)架構(gòu)設(shè)計。我們的很多客戶，包括京東、58同城、唯品會、天機等，它們主要從事互聯(lián)網(wǎng)方面的業(yè)務(wù)，但在這個過程中，為了給客戶提供更好的服務(wù)，便需要將互聯(lián)網(wǎng)業(yè)務(wù)與電話、短信系統(tǒng)相結(jié)合，怎么樣把互聯(lián)網(wǎng)業(yè)務(wù)跟電信云技術(shù)相結(jié)合，是他們的一個需求。我在過去的十幾年從事電信方面的業(yè)務(wù)，最近幾年更多地從事互聯(lián)網(wǎng)業(yè)務(wù)，因此能夠較好地理解他們之間的差異，可以給客戶，利用底層的技術(shù)提供一個更好、更可靠、更穩(wěn)定的服務(wù)，又能夠通過他的業(yè)務(wù)設(shè)計來保障其在盡可能低成本的情況下提供業(yè)務(wù)的連續(xù)性，這樣就能夠較好地服務(wù)我的客戶，這也是我目前技術(shù)工作的重點之一。
5.您剛才也提到過扁平化的架構(gòu)設(shè)計，能不能給大家分享一下相關(guān)的經(jīng)驗?zāi)兀?/strong>
張修路：當我們在進行該系統(tǒng)設(shè)計的時候，我剛剛接觸這個團隊，然后我發(fā)現(xiàn)我的大多數(shù)同事對系統(tǒng)架構(gòu)設(shè)計理解不是特別地到位。比如說，他們會將每一個服務(wù)，或者每一個小功能設(shè)計成一個獨立的部署單元，導(dǎo)致多層次的設(shè)計。我們的目的在于設(shè)計一個大容量、高并發(fā)、高可靠的系統(tǒng)，為了實現(xiàn)高并發(fā)，每個系統(tǒng)都要部署一個機群，會導(dǎo)致每個獨立的功能在尋找另外一個業(yè)務(wù)的時候總要檢測它的可靠性，這種模式會帶來了整個運營成本的提升，而且可靠性難以被提高，任何一個部件出現(xiàn)故障，都會導(dǎo)致整個系統(tǒng)的切換。后來，我們和同事一起分析，將整個系統(tǒng)盡可能做扁平化的設(shè)計，并且我們也成功做到將業(yè)務(wù)與數(shù)據(jù)相分離，以及業(yè)務(wù)和前端的接入相分離，整個系統(tǒng)一般會通過兩層，第一層首先進來的是客戶的業(yè)務(wù)請求，通過LVS或者Nginx之后，做業(yè)務(wù)分發(fā)，在業(yè)務(wù)分發(fā)了之后，做到主備或者機群，而且它可以做到主備一旦出現(xiàn)問題能夠快速地切換，節(jié)點自身的容量也非常大，后面也會出現(xiàn)更多的對等機群。這些機群，因為業(yè)務(wù)之間完全對等，因此任何一個節(jié)點出現(xiàn)故障便能夠在很短的時間之內(nèi)切換到另外一個節(jié)點，為了更好地保證業(yè)務(wù)的連續(xù)性，我們把該業(yè)務(wù)和該數(shù)據(jù)邏輯相分離，且將業(yè)務(wù)內(nèi)存緩沖在類似redis這樣的內(nèi)存數(shù)據(jù)庫中，將持久化的數(shù)據(jù)放入主持人MySQL的數(shù)據(jù)庫集群，將數(shù)據(jù)扁平化。簡而言之，將業(yè)務(wù)和數(shù)據(jù)分離，能夠較好地做到扁平化，并保證其出現(xiàn)故障的第一時間能夠很好地做切換。
6.呼叫中心的分布式部署是重要的一部分，那您能跟大家分享一下相關(guān)的經(jīng)驗嗎？
張修路：好，關(guān)于呼叫中心，第一，我們要做到信令和媒體分離，因為如果我要真正做到完全分布，信令在那種情況下并不容易切換，并且信令在整個媒體的處理過程中所占流量比例非常��；第二，整個信令在接入過程中，它對網(wǎng)絡(luò)的抖動實驗的敏感度便降低，因此可以將信令做集中部署。比如說我們部署在北京，同時在深圳作為異地的載備節(jié)點，我們會把媒體進行分布式處理，目前我們在北京、上海、廣州、深圳等幾個節(jié)點進行部署，而用戶則通過分布式接入的方式載到系統(tǒng)內(nèi)。如果要想部署一個真正的分布式系統(tǒng)，首先需要考慮客戶如何切換，我們是通過信令來引導(dǎo)媒體地切換，比如說，當一個用戶注冊的時候，他會通過DNS查詢，注冊到北京的服務(wù)器，北京的服務(wù)器收到請求之后，根據(jù)該用戶所處地理位置和他所在的運營商選擇一個較好的媒體接入節(jié)點，將它引入到就近的媒體節(jié)點，通過呼叫中心的信令協(xié)商，就可較好地完成整個分布式的部署，即使某個節(jié)點出現(xiàn)故障，也可較快進行切換。假設(shè)現(xiàn)在在深圳有20個節(jié)點，如果其中一個節(jié)點出現(xiàn)了故障，那么我可以在幾秒，甚至更短的時間之內(nèi)切換到另外一個健康的節(jié)點，既使整個深圳市的機房出現(xiàn)了故障，我也可以通過信令來引導(dǎo)，把它切換到北京或者上海的機房；當信令節(jié)點出現(xiàn)故障或者機房內(nèi)的故障，我們可以做到自動切換；如果是整個機房出現(xiàn)了比較重大的南北互通問題，我們就可以把整個信令通過DNS引導(dǎo)把它切換到深圳。為了更好地保證業(yè)務(wù)的連續(xù)性，減少實驗抖動，我們所有的業(yè)務(wù)系統(tǒng)和所有的分布式節(jié)點都會通過專線來連接。
7.云呼叫中心和傳統(tǒng)呼叫中心是有區(qū)別的，即業(yè)務(wù)背景，能給大家介紹一下嗎？
張修路：傳統(tǒng)的呼叫中心往往都是以整個設(shè)備運營商為主導(dǎo)，整個設(shè)備的提供商也是些電信設(shè)備提供商，類似于華為的IPCC，這樣整個傳統(tǒng)的呼叫中心，它不僅需要客戶購買一整套（呼叫中心）硬件設(shè)備，還需要客戶自己部署和二次開發(fā)，因此整個系統(tǒng)部署周期和上線周期十分漫長，一般時長為三至六個月，而一些較大的呼叫中心僅在籌備期都需要三至六個月，那么整個系統(tǒng)建設(shè)和業(yè)務(wù)完整的提升將近一年時間。云呼叫中心，結(jié)合最近幾年云計算的發(fā)展，我們將一些系統(tǒng)分布式部署于云上，就像我們提供北京、上海、沈陽、深圳、廣州的一些節(jié)點，它們被分布在呼叫中心，那么客戶便不再需要購買完整的硬件設(shè)備，而是直接安裝其客戶端，甚至可以通過網(wǎng)頁直接使用服務(wù)。它的一個強大優(yōu)點在于（中小型客戶）不需要像過去一樣建立一個只可做基本業(yè)務(wù)的小呼叫中心，而可以通過云呼叫中心進行。其主要優(yōu)點有兩個，第一，不需要購買硬件，業(yè)務(wù)可快速上線，客戶可以在更短的時間，甚至一至兩周內(nèi)便把業(yè)務(wù)上線；第二，即使不購買硬件設(shè)備，也可提供一個較完整的業(yè)務(wù)，換言之，盡管他的業(yè)務(wù)代表只有幾十個，但他仍可以使用一個大型的完整呼叫中心，因為它具有較好的可靠性，過去當你買了硬件設(shè)備之后，他們會派專門的運維工程師對整個系統(tǒng)進行運行和維護，但小的公司很難有非常高水平的運維人員，它的業(yè)務(wù)自然連續(xù)性便會受到影響，而我們會有非常專業(yè)的團隊來保障業(yè)務(wù)可以真正做到每周7天每天24的運行時間，即使出現(xiàn)故障，我們也可以做到在多個分支的節(jié)點進行切換，而小公司卻不太可能部署此種系統(tǒng)。
8.業(yè)務(wù)背景肯定會面臨一些高并發(fā)和高可靠的要求，那么如何同時去滿足這種要求？
張修路：我們的系統(tǒng)去部署一個較大的系統(tǒng)確實會帶來一個處理很高的并發(fā)，比如說我們的系統(tǒng)設(shè)計要做到一百萬的并發(fā)，首先要做到高并發(fā)、高可靠。第一，在地域上需要做到分布式，那么在每一個機房里面需要多個對等的節(jié)點，一旦某個節(jié)點出現(xiàn)故障便可自動切換，當多個節(jié)點不斷堆疊的時候，便可達到高并發(fā)要求，但前提是系統(tǒng)架構(gòu)要能夠支持平滑、橫向的擴容；而橫向的擴容前提是，前面需有一個接入。其中有著專門做接入的設(shè)備，目前我們前端通過Opensips或者Nginx做接入，它可以支持幾十萬，甚至上百萬的并發(fā)，那么在多個對等的媒體節(jié)點之后出現(xiàn)故障也可進行切換。如果要想真正做到高可靠、高并發(fā)，低成本的系統(tǒng)，不能采用過去較多使用的同步編程，當一個用戶的請求過來，，即采用且用專門的線程來處理該請求，但該過程偶爾會出現(xiàn)等待狀態(tài)，造成阻塞，一旦形成阻塞，若要想服務(wù)一萬個用戶便需要提供一萬個線程，導(dǎo)致既使沒有業(yè)務(wù)進來，這一萬個線程之間的相互切換也會帶來超大負荷。那么如何解決這個問題？我們采用異步編程，比如說異步Servlet、異步Httpclient，或者是J張修路v張修路、C語言，利用各種各樣的異步技術(shù)保證其高并發(fā)性。通過異步技術(shù)實現(xiàn)用一個線程處理幾百個、甚至上千個連接，即使整個系統(tǒng)只有十幾個或者二十幾個線程也可處理幾萬的并發(fā)。
9.正如您剛才所說的，異步編程對大容量系統(tǒng)具有較大重要性，那么你覺得它具體會體現(xiàn)在哪些方面呢？
張修路：剛才我們所講述的異步編程涉及更多的是一個完整的業(yè)務(wù)連接，而異步編程也可能體現(xiàn)在具體的模塊之中。在具體的模塊之中，我們也會要求同事熟悉異步的編程模型，因為大多數(shù)同事之前用的是傳統(tǒng)的Servlet技術(shù)或者傳統(tǒng)的請求，比如說當它發(fā)送請求之后，對方可能需要三秒鐘才會響應(yīng)，這個時間它不得不進入等待狀態(tài)或者進入Sleep狀態(tài)，但現(xiàn)在我們讓同事熟悉異步的編程模型，比如C語言，以及異步的編程架構(gòu)，比如C語言的libevent、libev這樣的架構(gòu)，Java語言的VERT。X、netty等其它的NIO技術(shù)，通過第三方的模型對它進行再重裝，即不斷地教他如何做到一個線程同時處理幾百個或者上千個請求。在此過程中，不在于技術(shù)有多么難，而是一種觀念的挑戰(zhàn)，讓他熟悉，并且真正能夠接受異步編程，一旦我們的同事熟悉、接觸異步編程，并且看到它帶給整個系統(tǒng)的好處，就更為容易達到目的。整個系統(tǒng)逐步地架構(gòu)升級就采用異步編程，既真正地實現(xiàn)高并發(fā)，在出現(xiàn)問題又能自動切換，實現(xiàn)高可靠。
10.剛才我們聊了這么多，也感覺到您有十多年的工作經(jīng)驗，然后關(guān)注的技術(shù)也是非常豐富的，那您現(xiàn)在關(guān)注于哪些技術(shù)？
張修路：在去年年底加入云之訊之后，我主要負責語音業(yè)務(wù)，尤其是云呼叫中心的技術(shù)架構(gòu)發(fā)展，同時也要整合公司的所有業(yè)務(wù)。我們公司目前提供語音、短信、即時通訊、流量等，且現(xiàn)在較多客戶需要一套完整的解決方案。比如說我需要給客戶打電話，但客戶沒有接聽電話，或者接聽了之后，對于信息的獲取、了解不是那么深入，這該怎么辦？我們會再給他發(fā)個短信，這樣就把短信系統(tǒng)整合進來�，F(xiàn)在有些人，他更喜歡使用語音的電話服務(wù)，但另一些人更愿意使用即時消息，所以我們也提供了一個即時消息的解決方案，同時如果客戶使用我們服務(wù)的時候消耗了流量，我們也可以通過贈送流量的方式提供，相當于我們?yōu)槲覀兊目蛻籼峁┮粋�完整的解決方案，包括語音、短信、即時消息，以及流量，一體化和一站式的解決方案。
InfoQ：非常感謝您今天接受我們的采訪。
個人簡介
張修路，2002年哈爾濱工業(yè)大學研究生畢業(yè)加入華為公司，工作至2014年，任高級工程師，先后負責多個產(chǎn)品的系統(tǒng)設(shè)計。加入云之訊后，負責IPCC的研發(fā)與系統(tǒng)設(shè)計工作。有豐富的電信級產(chǎn)品系統(tǒng)設(shè)計經(jīng)驗，熟悉大容量、高并發(fā)和高可靠要求的產(chǎn)品設(shè)計。
QCon是由InfoQ主辦的全球頂級技術(shù)盛會，每年在倫敦、北京、東京、紐約、圣保羅、杭州、舊金山召開。自2007年3月份首次舉辦以來，已經(jīng)有包括傳統(tǒng)制造、金融、電信、互聯(lián)網(wǎng)、航空航天等領(lǐng)域的近萬名架構(gòu)師、項目經(jīng)理、團隊領(lǐng)導(dǎo)者和高級開發(fā)人員參加過QCon大會。
