2016q2總體培訓(xùn)052cloud平臺網(wǎng)絡(luò)設(shè)計

培訓(xùn)課程：2Cloud平臺網(wǎng)絡(luò)設(shè)計講師：向陽時間：17：00-18：00注意事項：請主講人使用電話進(jìn)行語音接入；請其他與會者將本地麥克風(fēng)靜音；課程結(jié)束后預(yù)留20分鐘答疑時間；

課程結(jié)束后請與會者參加課程調(diào)查反饋，反饋信息最有價值的前三位與會者將獲得云杉提供的精美獎品一份；CopyRight@云杉網(wǎng)絡(luò)2Cloud平臺網(wǎng)絡(luò)設(shè)計向陽目錄網(wǎng)絡(luò)設(shè)計總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計數(shù)據(jù)平面存儲平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺互聯(lián)網(wǎng)絡(luò)設(shè)計總覽網(wǎng)絡(luò)功能分離數(shù)據(jù)平面：租戶業(yè)務(wù)存儲平面：分布式存儲管理平面：云平臺管理控制網(wǎng)絡(luò)帶外管理網(wǎng)絡(luò)網(wǎng)絡(luò)高可用接入層網(wǎng)絡(luò)高可用：MLAG或堆疊匯聚層網(wǎng)絡(luò)高可用：MLAG或ECMPInternet接入點高可用：VARP按資源池擴展1個資源池=44臺服務(wù)器（42臺虛擬化服務(wù)器+2臺網(wǎng)關(guān)服務(wù)器）支持私有網(wǎng)絡(luò)跨資源池支持虛擬機池內(nèi)熱遷移，池間冷遷移一個資源池通常部署于相鄰的3~4個機架中網(wǎng)絡(luò)產(chǎn)品多ISP彈性公網(wǎng)IP私有網(wǎng)絡(luò)服務(wù)網(wǎng)絡(luò)微安全域VNF虛擬網(wǎng)關(guān)負(fù)載均衡器帶寬共享器虛擬防火墻…硬件設(shè)備接入管理員云租戶2-12-23-13-23-31-14-1存儲控制器計算控制器網(wǎng)絡(luò)控制器異構(gòu)接入串行/并行事務(wù)回滾門戶API

(CRUD)異步API

(回調(diào)/通知)KVM,ovs,Ceph計算、網(wǎng)絡(luò)、存儲Bare

Metal計算、網(wǎng)絡(luò)Service

Device網(wǎng)絡(luò)、安全、存儲Switch網(wǎng)絡(luò)狀態(tài)監(jiān)控API

LayerAPI

(CRUD)定期輪詢實時上報統(tǒng)計分析真實狀態(tài)期望狀態(tài)事件通告告警報表狀

用態(tài)

量異步API

(回調(diào)/通知)操作結(jié)果通告OpenStackVMwareAzureAMQP郵件/短信主動輪詢被動接收API

(CRUD)

狀態(tài)保序、并發(fā)

同步狀態(tài)同步目錄網(wǎng)絡(luò)設(shè)計總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計數(shù)據(jù)平面存儲平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺互聯(lián)數(shù)據(jù)平面功能說明承載Internet接入點承載租戶業(yè)務(wù)網(wǎng)絡(luò)用于網(wǎng)關(guān)服務(wù)器、虛擬化服務(wù)器、租戶物理設(shè)備接入云平臺承載VxLAN隧道封裝和解封裝，控制器實現(xiàn)交換機自動化配置VxLAN隧道端點VLAN-VNI映射關(guān)系接入租戶物理設(shè)備時，控制器實現(xiàn)交換機自動化配置接口VLANTAGARP/MAC/IP安全策略Ingress/Egress/Storm帶寬限制支持配置雙機高可用數(shù)據(jù)平面可選交換機超過1個資源池時需選購匯聚交換機若無需VxLAN和物理設(shè)備接入功能可選用華為S系列交換機，需支持VLAN、MLAG/堆疊、VARP、ECMP若無需VxLAN、物理設(shè)備接入、高可用功能可選用支持VLAN的其它三層以太網(wǎng)交換機，由客戶自行配置存儲平面功能說明承載存儲網(wǎng)絡(luò)；用于Ceph分布式存儲的客戶端網(wǎng)絡(luò)和集群網(wǎng)絡(luò)1個資源池內(nèi)的虛擬化服務(wù)器構(gòu)成一個分布式存儲池支持虛擬機池內(nèi)熱遷移可利用剩余端口互聯(lián)不同資源池的存儲平面交換機實現(xiàn)跨池冷遷移支持配置雙機高可用存儲平面交換機選擇若無需高可用功能可選用支持VLAN的其它以太網(wǎng)交換機，由客戶自行配置不足1/2資源池時存儲平面交換機可以和萬兆接入交換機共用，但未來擴展不便管理平面功能說明控制交換機：承載云平臺控制網(wǎng)絡(luò)對虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器操作系統(tǒng)的控制和監(jiān)控對裸金屬服務(wù)器操作系統(tǒng)的初始化、控制和監(jiān)控支持配置雙機高可用帶外交換機：承載云平臺帶外管理網(wǎng)絡(luò)對虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器、租戶硬件設(shè)備的帶外監(jiān)控對虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器、租戶硬件設(shè)備的帶外電源控制和監(jiān)控實現(xiàn)虛擬化服務(wù)器、網(wǎng)關(guān)服務(wù)器HA機制的STONITH過程對交換機的自動化配置和監(jiān)控云管理區(qū)交換機：連接2Cloud跳板機和控制器管理平面交換機選擇根據(jù)走線難度差異，控制交換機選擇24端口或48端口超過1個資源池時需選購控制匯聚交換機和帶外匯聚交換機，可共用小規(guī)模下，云管理區(qū)交換機的功能可由控制、帶外、接入交換機承載存在裸金屬服務(wù)器接入需求時，按需增加帶外交換機帶外交換機可選用百兆交換機，由客戶自行配置若無需高可用功能，可選用支持VLAN的其它交換機，由客戶自行配置千兆接入交換機虛擬化資源區(qū)萬兆接入交換機存儲平面交換機……物理資源區(qū)云管理區(qū)交換機控制交換機帶外交換機控制匯聚交換機帶外匯聚交換機匯聚交換機數(shù)據(jù)平面交換機連接兩臺萬兆云接管入理交區(qū)換機配置MLAG華為交換機需使用獨立的心跳線萬兆接入交換機承…載VTEP??????千兆接入交換機通過LACP連接到同一個資源池的兩臺萬兆接入交換機萬兆接入交換機使用MLAG或ECMP連接至匯聚交換機MLAG：接入層和匯聚層之間二層互聯(lián)，框式匯聚交換機，Scale

Up擴展ECMP：接入層和匯聚層之間三層互聯(lián)，盒式匯聚交換機，Scale

Out擴展千兆接入交換機虛擬化資源區(qū)萬兆接入交換機存儲平面交換機……物理資源區(qū)

…控制匯聚交換機帶外匯聚交換機云管理區(qū)交換機控制交換機帶外交換機匯聚交換機Internet接入點核心路由器使用二層Fa云br管ic時理，區(qū)Internet接入點可選位置?其中一組（或多組實現(xiàn)負(fù)載均攤）萬兆接入交換機上、所有匯聚交換機上使用三層Fabric時，Internet接入點可選位置其中一組（或多組實現(xiàn)負(fù)載均攤）萬兆接入交換機上云管理區(qū)Internet接入點可選位置與云平臺獨立、通過云平臺接入高可用方式：VARP千兆接入交換機虛擬化資源區(qū)萬兆接入交換機存儲平面交換機預(yù)留10G端口，用于資源池間虛擬機冷遷移……物理資源區(qū)

…云管理區(qū)控制匯聚交換機帶外匯聚交換機匯聚交換機帶外交換機云管理區(qū)交換機控制交換機存儲平面交換機連接千兆接入交換機虛擬化資源區(qū)萬兆接入交換機存儲平面交換機……物理資源區(qū)

…云管理區(qū)控制匯聚交換機帶外匯聚交換機匯聚交換機帶外交換機云管理區(qū)交換機控制交換機管理平面（控制交換機）連接千兆接入交換機虛擬化資源區(qū)萬兆接入交換機存儲平面交換機……物理資源區(qū)

…云管理區(qū)控制匯聚交換機帶外匯聚交換機匯聚交換機帶外交換機云管理區(qū)交換機控制交換機管理平面（帶外交換機）連接帶外交換機和帶外匯聚交換機使用SVI配置管理地址以外其它所有交換機都使用管理口配置管理地址，并就近連接至帶外交換機。服務(wù)器網(wǎng)絡(luò)連接高可用部署時，盡量選擇跨網(wǎng)卡的兩個網(wǎng)口作為一對高可用網(wǎng)口帶外交換機存儲交換機萬兆接入交換機控制交換機千兆接入交換機…虛擬化服務(wù)器物理設(shè)備網(wǎng)關(guān)服務(wù)器跳板機BOSSBOSS云管理區(qū)交換機存儲網(wǎng)絡(luò)規(guī)劃存儲網(wǎng)絡(luò)Client/Cluster網(wǎng)絡(luò)融合配置簡單Client/Cluster網(wǎng)絡(luò)分網(wǎng)段、網(wǎng)卡bonding避免Client

Network‘被’DoS適用于計算、存儲分離部署Client網(wǎng)絡(luò)限速Cluster網(wǎng)絡(luò)線速存儲池節(jié)點數(shù)量（OSD數(shù)量）——Traceoff44服務(wù)器，11x44=484

OSD保持存儲池大小是缺點存儲池過小存儲池過大熱遷移范圍過小運維壓力大Rebalance成為常態(tài)網(wǎng)絡(luò)設(shè)備投入大HDD和SSD數(shù)量0

HDD12345678910110

SSD√√√√√√√√√XXXXXXXHDD用于容量型存儲池，每4塊需要1塊SSD用于JournalSSD用于性能型存儲池，每塊20G用于Journal容14量型存儲池最√大可

2

1

DXD

T間X

務(wù)X

=X性能型存儲池最大可用空間：42服務(wù)器x

7

SSD

x

460G/3=45.08T單盤HDD順序讀寫100-160MB/s、單盤SSD

300-500MB/s,IOPS

20~100k。簡化起見認(rèn)為1

HDD

~

1Gbps，1

SSD

~

3Gbps。單服√務(wù)器1√0GE

NI√C1√√√單√服√服務(wù)器√10GE

x√2

NIC

√√√√√X2√√√√√√√√√√XX3√√√√√√√√√XXX4√√√√√√√√√XXX5√√網(wǎng)√網(wǎng)√絡(luò)成√為瓶頸√√√√XXXX6√√√√√√√XXXXX7√√√√√√XXXXXX8√√√√√XXXXXXX9√√√√√XXXXXXX10√√√√XXXX盤X

位不夠XXX11√√√XXXXXXXXX12√√XXXXXXXXXX13√XXXXXXXXXXX目錄網(wǎng)絡(luò)設(shè)計總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計數(shù)據(jù)平面存儲平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺互聯(lián)參考部署一：每資源池部署于四個機柜中*使用華為S5700-48TP-SI-AC作為控制交換機（每資源池1組），華為S5700-52P-LI-AC作為帶外交換機（每資源池1組）*萬兆接入和存儲平面交換機共用*控制交換機、帶外交換機端口足夠時，可替代管理區(qū)交換機5~22萬兆數(shù)據(jù)口

5~11萬兆數(shù)據(jù)口（Arista

DCS-7150S-24）目錄網(wǎng)絡(luò)設(shè)計總覽網(wǎng)絡(luò)平面劃分網(wǎng)絡(luò)平面設(shè)計數(shù)據(jù)平面存儲平面管理平面網(wǎng)絡(luò)連接方式典型網(wǎng)絡(luò)部署方案與其它平臺互聯(lián)綠色：2Cloud紅色：互聯(lián)VMware接入：ACCESS模式已有資源機架2Cloud資源/服務(wù)2Cloud資源/服務(wù)ToR萬兆接入交換機萬兆接入交換機萬兆接入交換機萬兆接入交換機2匯C匯Cl聚ou交d匯換聚機Trunk:所有VLAN2Cloud

OOB2Cloud

OOB…………VMware接入：GATEWAY模式，使用網(wǎng)關(guān)服務(wù)器至少2個網(wǎng)關(guān)服務(wù)器，千兆帶寬已有資源機架已有資源機架匯聚2Cloud資源/服務(wù)2Cloud資源/服務(wù)2Cloud網(wǎng)關(guān)服務(wù)器2Cloud網(wǎng)關(guān)服務(wù)器ToRToR萬兆接入交換機萬兆接入交換機萬兆接入交換機萬兆接入交換機2匯C匯Cl聚ou交d匯換聚機Trunk:控制、隧道、公網(wǎng)VLAN2Cloud

OOB2Cloud

OOB…………2Cloud

OOB…………2Cloud

OOBVMware接入：GATEWAY模式，使用萬兆接入交換機已有資源機架已有資源機架匯聚2Cloud資源/服務(wù)2Cloud資源/服務(wù)ToRToR萬兆接入交換機萬兆接入交換機2萬C兆lo接ud入T交o換R換R

機萬兆接入交換機萬兆接入交換機2Cloud

OOB2Cloud

OOB………………Trunk:所有VLANTrunk:控制、公網(wǎng)、隧道VLAN匯聚交換機2Cloud

OOBAzure接入：VPN2Cloud資源/服務(wù)2Cloud資源/服務(wù)2匯C匯Cl聚ou交d匯換聚機2Cloud

OOB2Cloud

OOB…………InternetAzurevFW虛擬化服務(wù)器vFW虛擬化服務(wù)器VPNOpenStack接入OpenStack控制器云平臺門戶……平臺管理員、租戶虛擬化管理2C