-
集群设计指引提纲
一、
设备介绍
1.1.
系统结构
系统组成：
CRS-1
是全分布式、
模块化的多机架系统。
支持单机架
（
Standalone
）
及多机架
（
Multi-Chassis
）
两种配置（
Configuration
）模式，以满足客户对不同容量的需求，单机架系统可以平滑地扩充成
多
机架配置。
CRS-1
的分布式体系
架构包括两个基本组成单元：
?
<
/p>
用户线卡机架
LCC
（
< br>Line Card Chassis
）
?
交换矩阵机架
FCC
（
Fabric Card
Chassis
）
其中，用户线卡机架装有路由处理器（
Route
Processor
）及所支持的用户线卡（
Line Car
d
）
和交换矩阵卡（
Fabric C
ard
）
。主要负责路由计算，三层的转发，控制平面的管理等
功能；
交换矩阵机架装有机架控制器（
Shelf
Controller
）及交换矩阵卡（
Fabric Car
d
）
。主要负责多
个用户线卡机架的互
联及交换。
集群系统至少包含一个交换框和两个线卡框。
常见的系统组成可以是
1+2
、
2+2
、
2+4
等。
系统交换和端口容量（单向）
CRS
-1
单机架系统具有
1.28T
的交换
容量，每个用户插槽支持
40Gbps
，每线卡机箱端口容<
/p>
量（单向）
640Gbps
。
2
个线卡机箱的
CRS
-1
集群
（
2+2
，
4+2
）
具有
< br>2.56T
的交换容量，
每个用户插槽支持
40Gbps
，
每线卡机箱端口容量（单向）
1280Gbps
。
4
个线卡机箱的
CRS-1
集群<
/p>
（
2+4
，
4+
4
）
具有
5.12T
< br>的交换容量，
每个用户插槽支持
40Gbps
，
每线卡机箱端口容量（单向）
2560Gbp
s
。
CR
S-1
集群系统最大可以包含
72
个用
户线卡机架和
8
个交换矩阵机架，具有
92T
的交换容
量。
目前，
CRS-1
集群可以支持
4+4
多机系统，
在即将发布的
IOS-XR
3.8
将支持
4+8
多机系统。
控制平面和转发平面
CRS-1
集群系统采用分布式、模块化控制平面，可以从可扩展性、高度可用性和业务灵活
性各方面有效地满足营运商的业务需求。
CRS
-1
集群系统每个线卡机箱配置
2
个冗
余的控制引擎，
执行控制平面的功能，
如路由计算，
1
流量工程的计算，生成并分发三层转发表等。随着用户线卡机架的增加
和系统的运算负载增加，
可以通过增加
CRS-1
特有的分布式路由处理器
DRP
（
< br>Distributed Route Processor
）的方法达到负
载均衡，消除运算处理瓶颈。与
IOS XR
分布式软件系统相配合，用户可以指定某个或某些消耗
CPU
资源的应用，
如
BGP
、
MPLS
流量工程的进程
（
Process
）
运行在单一的
DR
P
或者多个
DRP
上，从而提高系统的
整体工作效率。从硬件结构上来讲，
DRP
是一个加强版的
RP
，
DRP
卡上
配
有两个对称性多处理器集群
SMP
（
Symmetrical
Multiprocessor <
/p>
Complexes
）
(RP
卡上只有一个
SMP)
，与增加
< br>RP
只能构成主备用的工作方式不同，
DRP
卡可以插在任一用户线卡插槽，新增
加的每一张
D
RP
卡都可以以累加的方式提高系统的整体处理能力。
CRS-1
采用了全新的
IOS
XR
软件操作系统。
IOS XR
是一
个基于微内核架构（
Microkernel
）
的全分散式、模块化、针对多机架系统设计的软件操作系统。与传统的内核架构（
Monolithic
Kernel
）相比，微内核架构大
大精简了由内核完成的最基本操作，将传统的系统业务如设备驱动
（
Drivers
）
，文件系统（
F
ile
System
）和网络堆栈（
Network
Stack
）等移出内核之外，从而大大
提高了内核的工作效率以及健壮性（
Robust
< br>）
。
在
IOS
XR
软件系统中，采用了基于组元（
Component-ba
sed
）的开发模式，在这种模式下，
原来的每个功能（
Feature
）如
BGP
< br>、
ISIS
，
MPLS
TE
等就变成一个单一的软件组元。每一个软
件组元可以由一个或者多个进程（
Process
）来执行与之
相关的操作。这种软件设计方法带来的
好处是软件组元的颗粒性小（
Granularity
）
，可以将复杂的软件操作系统分
解成多个具有单一功
能的、具有清晰边界定义（
Boundar
y Definition
）的进程，其中每一个进程
Proc
ess
与某一个功能
相对应，
例如
BGP
就是一个进程。
IOS XR
软件操作系统支持对进程进行重启
（
Proc
ess Restart
）
，
关闭等操
作，同时可以实时监视每一个进程的
CPU
和内存的使用情况。
这种分散式的软件体系
架构提高了系统的可用性，
单一进程的故
障不会影响整个系统的运行，
同时出现故障的进程会尝
试通过自
动重启实现自我恢复。
这一特性使得对单一进程提供软件缺陷
（
Bug
）
的更正程序
< br>（
Fix
）
可以做到在不中断服
务的情况下进行，
因为它只会载入与故障进程相关的更正代码而不会重启与
之无关的进程。
另外这种分布式的软件架构可以按照功能相关的原则把相应的
代码封装成不同的
软件包（
Software
Package
）
。
IOS
XR
软件操作系统中包含的软件包有基础软件包（
Mini
Composite
）
< br>，
路由软件包
（
Routing
Package
）
，
MPLS
软件包
（
MPLS Package
）
，
组播软件包
（
Multicast
Package
）
，安全软件包（
Security Package
）以及管理软件包（
Manageability Package
）
。对单个软
件包进行升
/
降级的操作可以在线进行
ISSU
（
In-Service Software Upgrade
）
而无需担心业务中断。
2
在分布式的软件操作系统中，多进程之间的通信
IPC
（
Interprocess
communica
tion
）是个难
点，其设计的好坏直接影响系统的可靠性和有
效性。
IOS XR
软件系统针对不同的进程之间的通
信特点，分别开发了与之相对应的
IPC
通信方
式，包括轻量级
LWM
（
Light
Weight
Messaging
）
（专门针对驻留在同一节点的进程之间的
Unicast
通信方式）
，
Qnet
（
专门针对不同节点间的进程
之间的
Unicast
通信方式）
和组群服务
GSP
（
Group Service
）
（专门针对不同节点间的进程之间的
Multicast
通信方式）
。
IOS
XR
软件操作系统支持热备用（
Hot
Standby
）的路由处理器对（
RP pair
）以及分布式路
由处理器对（
DRP
pair
）
，支持不间断转发
NSF
（
Non-Stop
Fo
rwarding
）下的
RP
主备用倒
换
（
Switchover
）
以及应用级的渐进式重启
（如
BGP,
OSPF, ISIS, RSVP, MPSL LDP Graceful
Restart
）
。
IOS XR
是一个全分布式、模块化、分层次的软件操作系统
，各模块、各层次之间的边界定
义（
Boundary
Definition
）非常清晰，因此可以在不改变现有体系结构的
前提下方便的加入新的
业务单元，
并且新加入的单元不会影响原
有业务单元之间的相互作用关系。
我们只需要对新加入
的业务单
元和与之有相互作用关系的业务单元进行必要的应用接口
API
（
Application
Interface
）
定义就可以完成对新业务开发的支持。
CRS-1
集群系统的转发平面也采
用分布式设计。
每一张用户线卡上都有自己的转发处理器。对
一个拥有
N
张用户线卡的系统来说，它就有
N
个转发处理器。
与集中式转发模式相比，
这种分布式设计的好处是即使在业务量增大的情况下
也可做到对复杂业务的包处
理实现线性转发。
CRS-1
的用户线卡机架可以根据用户的实
际业务需
要从单一机架平滑地扩容到
72
个机架。
3
与以往的用户线卡（
Line Card
）设计不同，
CRS-1
的用户线卡采用了独特的中板设计（
Mid
Plane
）方式，每一张用
户线卡由两部分组成：完成相关三层转发功能的模块化业务卡
MSC
（
Modular Service Card
）和完成一
、二层相关功能的接口模块（
Interface Module
）
。这种将通用
的三层转发功能与不同的物理接口
（比如
POS
，
GE
或者
A
TM
）
分离开来的设计方法有助于加速
新业务的开发，实现跨平台的用户线
卡共享，
保护用户的投资。
整个用户线卡的智能控制，
对新
业务的支持都将做在通用的模块化业务卡
M
SC
上。这对减少板卡的种类，实现系统的可扩展性
具有重要意
义。
（关于
MSC
的体系结构设计将在
CRS
－
1
的
业务灵活性一节进行详细说明）
为
了更好的支持大容量的多机架系统，
CRS-1
采用了两级转发
（
Two-Stage
Forwarding
）的
体系架构，
入口处
（
Ingress
）
的包转发处理器只做部分
的查找
（
Lookup
）
并把包交给出口处
（
Egress
< br>）
的用户线卡，再由出口处的包转发处理器进行另一次查找并确定是由哪一个出口
接口（
Egress
Interface
）出去。与传统的单级转发模式需要在入口用户线卡处保存所有系统出口信息相比，两
级转发结构具有更好的可扩展性，
因为入口用户线卡不需要保存整个系统的出口信息。
传统的单
级转发结构无法支持大容量的多机架系统。
多个交换框之间是什么关系，当交换框发生故
障时，系统的故障恢复时间和整体性能的变
化情况。
思科
CRS
－
1
采用了
Benes
三级交换矩阵架构。其主要
特点是易于实现无阻塞的交换架构，
支持差异性服务，可扩充性好，并且可靠性高。考虑
到
IP
分组交换特有的并发（
Burs
ty
）特性，
CRS
－
1
的三级（
S1/S2/S3
）交换矩阵采用了
1296 x 1296
的带缓存的无阻塞架
构，并且在出口级
（
S3
）提供
2.5
倍的加速以进一步降低发生阻塞的可能性。在中间级（
S2
）提供组播复制功能
（
multicast replication
）
，从而在
不影响系统或者网络性能的情况下向大量用户提供统一服务（例
如
IPTV
）
。
此外
< br>CRS
－
1
的交换矩阵支持针对
不同优先等级，
如单播
（
unicas
t
）
、
组播
（
multicast
）
和控制平面消息
（
control plane message
）的队列机制
。这一点对提高系统工作效率并且保证系统
在
DoS
攻击下可靠工作非常重要。
< br>CRS
－
1
的三级交换矩阵可以
随着用户业务量的增加平滑地从单机架的
4
张交换矩阵卡扩充<
/p>
到独立的
8
个交换矩阵卡机架（每个满配
置机架装有
24
张交换矩阵卡）
。
4
交换矩阵由
8
个独立的平面（
plane)
组成<
/p>
160 Gbps
<--
80Gbps
-->
4 x OC192
Line Card
2
1
8
8 of
8
.
2 of 8
1 of 8
.
.
S1
S2
S3
S3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 x
OC192
Line Card
2
1<
/p>
8
S1
S2
S2
S2
.
.
.<
/p>
.
S3
S3
S3
S3
S3
S3
.
S1
S1
LC Chassis
–
S13 Cards
Cisco
CRS-1
?
2006 Cisco Systems,
Inc. All rights reserved.
Cisco Confiden
tial
.
.
Fabric
Chassis
–
S2 Cards
13
.
.
.
S
1
S1
S2
S2
S3
S3
S3
S3
< br>
CRS-1
交换矩阵由
8<
/p>
个独立的平面组成，在
CRS-1
集群系
统中多个交换框共同组成八个
平面的
S2
交换矩阵。每个交换框将平均分配八个平面的
S2
矩阵板卡。
当交换框上某个交换板
卡
S2
发生故障
，该板卡所连接的交换矩阵平面将失效。
S1
交换矩阵会立即发
现故障
S2
并不
再向该
S2
转发数据。短暂丢包可能会发生。如果只是
S2<
/p>
中的总线发生故障，
S13
会规避这些<
/p>
总线，该平面不会失效。
CRS-1<
/p>
系统交换矩阵
8
个交换平面实现
7:1
的冗余，
即一个交换平面故障不会影响系
统转
发性能。当故障交换平面超过一个时，性能下降呈线性递减，最低到
2
个交换平面系统仍可以
正常运行。
< br>
备注：统一采用交换框
+<
/p>
线卡框的写法，即第
1
个数字代表交换框
，第
2
个数字代表线卡
框。
1.2.
交换框
1.2.1.
交换框正视图
5
1.2.2.
交换框线卡组成（列表
）
，列明板卡的各类内存的默认
/
最大
可配值
以及所需的软件版本
模块型号
CRS-FCC-SFC
描述
Cisco CRS-1
Series Fabric Card Chassis
Switch
Fabric Card
CRS-1 Fabric Chassis
Integrated Switch
CRS-FCC-SC-22GE
Controller Card
2G
3.4.1
128M
3.3.1
内存
最小软件支持
CRS-FCC-SC-22GE
含
4
0G
硬盘，可以选择
1G
、
2G
、
4G
的
FlashDisk
1.2.3.
交换框物理参数
高度
: 213.36
厘米
宽度：
59.94
厘米
深度：
91.44
里面，
（
105.41
厘米
,<
/p>
含门）
其他详见第
7
部分
6
1.2.4.
交换框电源系统
矩阵机箱中一个有<
/p>
4
个供电区，如下图中所示，不同的颜色代表不同的区域。其中<
/p>
:
电源模块
A0 & B0
为区域
1 & 2
< br>内的板卡提供供电服务。
A0
和
B0
电源模块正常时，二
者一起供电，没有主备关系，提供
1+1
的备份冗余功能。
电源模块
A1 &
B1
为区域
3 & 4
内的板卡提供供电服务。
A1
和
B1
电源模块正常时，二
者一起供电，没有主备关系，提供
1+1
的备份冗余功能。
A0,A1
由一路直流列柜供电，
B0,B1
由另一路直流列柜供电。只要
A
和
B
两组不同时出现
断电故障时
< br>A
和
B
任何一路直流列柜供电的
断电，都不会影响系统的操作和正常运行。
7
1.3.
线卡框
1.3.1.
线卡框正视图
1.3.2.
线卡框线卡组成（列表）
，列明板卡的各类内存的默认
/<
/p>
最大可配值
以及所需的软件版本
最小软
模块型号
描述
Cisco CRS-1
Series 16 Slots Route Processor
CRS-16-RP-B
CRS-MSC-B
revision B
Cisco CRS-1
Modular Services Card Rev B
Cisco CRS-1
Series 1xOC768/STM256 POS
1OC768-POS-
SR=
1OC768-ITU/C=
Interface
Module/SR
Cisco CRS-1 OC768 (C-band)
DWDM PLIM
Cisco CRS-1 1xOC768 DPSK+
(C-band) DWDM
1OC768-DPSK/C=
PLIM
Cisco Carrier Routing
System SPA Interface
CRS1-SIP-800=
Processor Card
128M
3.3.1
128M
3.6.0
128M
128M
3.3.1
3.3.1
4G
2G
3.3.1
3.6.0
内存
件要求
8
SPA-OC192POS-XFP=
1-port OC192/STM64 POS/RPR XFP Optics
4-port OC48/STM16 POS/RPR Shared Port
n/a
3.3.1
SPA-4XOC48POS/RPR=
Adapters
2-port OC48/STM16 POS/RPR Shared Port
SPA-2XOC48POS/RPR=
Adapters
Cisco 1-port 10GE LAN/WAN-PHY Shared
Port
SPA-1X10GE-WL-V2=
Adapter
Cisco 1-Port 10GE
LAN-PHY Shared Port
SPA-1X10GE-L-V2=
Adapter
Cisco 10-Port
Gigabit Ethernet Shared Port
SPA-10X1GE-V2=
Adapter
Cisco 8-Port Gigabit Ethernet Shared
Port
SPA-8X1GE-V2=
Adapter
Cisco 5-Port Gigabit Ethernet Shared
Port
SPA-5X1GE-V2=
CRS-RP-B
含
40G
硬盘，可以选择
1G
、
2
G
、
4G
的
F
lashDisk
Adapter
n/a
3.3.1
n/a
3.3.1
n/a
3.3.1
n/a
3.3.1
n/a
3.3.1
n/a
3.3.1
n/a
3.3.1
1.3.3.
线卡框物理参数
高度：
213.36
厘米
宽度：
59.944
厘米
深度：
91.44
厘米
(100.844
厘米含门）
其他详见第
7
部分
1.3.4.
线卡框电源系统
< br>线卡机箱中一个有
6
个供电区，如下图中所示，不同的颜
色代表不同的区域。其中
:
电源模块
A0 & B0
为区域
1 & 2
< br>内的板卡提供供电服务。
A0
和
B0
电源模块正常时，二
者一起供电，没有主备关系，提供
1+1
的备份冗余功能。
电源模块
A1 &
B1
为区域
3 & 4
内的板卡提供供电服务。
A1
和
B1
电源模块正常时，二
者一起供电，没有主备关系，提供
1+1
的备份冗余功能。
电源模块
A2 & B2
为区域
5 & 6
< br>内的板卡提供供电服务。
A2
和
B2
电源模块正常时，二
者一起供电，没有主备关系，提供
1+1
的备份冗余功能。
9
A0,A1,A2
由一路直流列柜
供电，
B0,B1,B2
由另一路直流列柜供电。只要
A
和
B
两组不
同时出现断电故障时
A
和
B
任何一路直流列柜供电的断电，都不会影响系统的操作和正常
运行。
10
二、
集群系统容量扩展方式
在
40G
平台上系统容量扩容的方式：
目前
CRS-1
系统为
4
0G
平台，其系统容量扩容采用扩展线卡机箱的方式进行，每台线卡
机箱的端口容量（单向）为
640G
（每槽位单向
40Gbps
）
。
CR
S-1
系统最大可以支持
72
个线
卡机箱，
目前，
CRS-1
（
IOS-XR 3.6
及以后）
最大支持到
4+4
系统，
即支持
4
个线卡
机箱。
在即将推出的
IOS-XR
3.8
以后，可以支持
4+8
多机系
统，即支持
8
个线卡机箱。
扩展到
100G
平台的方式：
< br>
目前的
CRS-1 40G
平
台可以平滑扩展到
100G
平台。
扩展
时只需更换目前
40G
平台的交
换卡即
可，即把目前系统的（线卡机箱和交换机箱）
40G
交换卡更换
成
100G
交换卡，
CRS-1
系统即完成
40G
平台到
100G
平台的升级。在配置新的
100G
线卡（前卡）时，需要相应配置
新的
100G MSC
卡（后卡）
。新的
100G
线卡（前、后卡）和原
40G
线卡（前、后卡）可
以共
存。
思科公司在积极推动
100G
标准的最终形成，
并着手研制相应的
1
00G
产品，
但由于
100G
标准尚未正式出台，所以，
CRS-1
的
100G
产品的发布时间没有正式公布。
列明集群容量扩展时对软件版本的要求：
见在
40G
平台上系统容量扩容的方式和扩展到
100G
平台的方式详细内容。
11
三、
集群各类端口有效容量
CRS-1
线卡自身支持
Netflow
和
BFD
功能，不需要额外的业务板卡。
CRS
-1
系统
40G/10G POS/10GE/2.5G
POS/GE
端口的有效容量见以下表格：
端口类型
OC768 POS
OC192 POS
10GE
OC48 POS
GE
每线卡机箱
16
64
64
256
640
2+2
多机系统
32
128
128
512
1280
端口数量
2+4
多机系统
4+2
多机系统
64
256
256
1024
2560
32
128
128
512
1280
4+4
多机系统
64
256
256
1024
2560
注：
1. GE
、
10GE
端口数量为可保证限速转发的端口数量
2.
多机统一采用交换机箱
+
线卡机箱写法
CRS-1
针对每种类型的端口均可
支持每槽位
40Gbps
（单向）
的配
置，所以，
CRS-1
系统
40G/1
0G POS/10GE/2.5G POS/GE
端口的有效容量为：单机
640Gbps
；
2+2
、
4+2
多机
1280Gbps
；
2+4
、
4+4
多机
2560Gbps
。
12
四、
集群系统连接方式
以
VISIO
图表示。
CRS
集群系统线缆链接
CRS-1 MC
多机箱系统有两个层面的通讯路径
:
以太控制网络通道
(control
Ethernet network
path)
和交换矩阵通
道
(fabric
path)
。所有的机箱都是通过这两条路径来通讯的，其中：
1.
控制层面：
LCC0,
LCC1,LCC2
和
LCC3
通过
LCC RP
上的
GE
接口连接到
FCC
上集<
/p>
成的
GE
交换模块上，构成以太控制网络
通道。连接时采用全冗余的方式。
SCGE0
指的是插在
FCC
机箱上部槽位的卡
，
SCGE1
则是位于
FCC
机箱的下面部
分槽位
的卡。
2.
数据转发层面：通过光纤阵列线缆
(optical
array cables called fabric cables)
来连
接所有
LCCs
和
FCCs
上的矩阵卡来构成的数据转发通道。每个线卡机箱的
8
个转发<
/p>
平面都和矩阵机箱上的
8
个交换平面一一
相对应连接。
S2
的矩阵连接器在
OIM
卡上，
OIM
和相应的
FCC
上的
S2
卡相连，
每个
OIM
卡
有
9
个连接器，其标识为<
/p>
J0
到
J8
。<
/p>
LCC
机箱上的
S13
卡的连接器必须和
S2
卡上的
连接器的按同样的顺序连接。
S2
卡
应该均匀地分布在多个
FCC
中。
FC
C
电源分布系统将
24
个
S2
卡的槽位分成几
个
供电区域。为了让多系统能够操作，至少有一个奇数，一个偶数平面被激活。为了达
到最
大的系统冗余能力，
S2
卡应该被平均分布在多个供电区域，以
免一个供电区域的
失效不至于让所有的奇数或者偶数交换片面不能使用。
在一个
fabric
cable
的
LCC
端，
其所属的交换平面由线缆所连接的槽位来确定
，
其另外一端必须连接到同一个平面的
FCC S2
fabric card
上。
以后的版本将会支持更多的
LCC
，对于每
一个
fabric
plane
来说，
意味着需要增加额
外的
S2
卡。建议保
留相邻的空槽位，便于将来为在同一个
fabric
平面上增加
新的
S2
卡用。
集群系统连线比较复杂，
难以用
VISIO
图形表示，
所以，
提供
Excel
表格详细描述
CRS-1
集群系统的
连线方式。详细参见附件“附件
-1
集群系统连线”和“附件<
/p>
MC
connection
”
附件-1集
群系统连线.xls
13
附件 MC
转发层面连接：线卡框交换卡
->
交换框光子卡，精确到每块卡。
针对
CRS-1
2+2/2+4/4+2/4+4
分别说明
< br>由于转发层面光缆都为设备厂商自带，若有关于互联光缆的详细布放要求，要求设备厂家
< br>提供详细说明。
详细参见附件“附件
< br>-1
集群系统连线”
。
控制层面连接：
RP
间连接，
交换矩阵框间连接，
有没有其他连接。
还需说明每种连接的作用。
针对
CRS-1
2+2/2+4/4+2/4+4
分别说明
< br>详细参见附件“附件
-1
集群系统连线”
。
14
五、
集群系统链路设计方案
每个线卡框都
有一些上行链路和下行链路，
上、
下行链路尽量均分在各个线卡
框，
这样
一个框掉电也不会影响太大，避免同方向所有链路都在
一个线卡框上。
保证集群各线卡框上行带宽基本一致？
在安排各个线卡机框的链路带宽时，
建议上行链路带宽均匀分布在不同线卡机框上；<
/p>
建
议各个线卡机框承载的总带宽基本均衡。
相似功能的板卡尽量分布在不同线卡框。
比如出口
40G
连路需要分布
LCC0
和
< br>LLC1
上。
在同一线卡框内，
板卡尽量分布在不同的供电区域内，
特别是
功能相似的板卡。<
/p>
40G
和<
/p>
10G
混排，
N*40G
和
N*4*10G
作为等价路径。同城内彩光的应用。
可以补充其他链路编排的建议。
<
/p>
40G
和
10G
链路混排，
由于
IGP
（
ISIS
、
OSPF
）
无法支持不同链路带宽的负载均衡，
所以，建议在安排
40G
和
10G
链路时可以
考虑同方向路由器中同一节点使用同一类型的链路，
如都是
10
G
或
40G
链路。
如下图，
PoP1
中的路由器
R1
1
、
R12
分别和
PoP2
中的路由器
R21
、
R22
通过
N x 40G
和
N x 10G
链路连接，那么
R11
到
R2
1
、
R12
到
R22
间的流量就可以
平均分布在
N<
/p>
条
40G
链路和
N
条
10G
链路上。
< br>
PoP2
R21
R22
N x 40G
N x 10G
R11
PoP1
R12
在
40G
、
1
0G
链路混排时（同一方向）
，可以考虑使用
< br>MPLS TE tunnel
实现不同链
路带宽的负载
均衡，如在
10G
与
40G
链路之间实现
1:4
比例的流量负载分担。
如下图所示，如果在路由器
R11
和
R21
之间采用
1<
/p>
条
40G
和
3<
/p>
条
10G
链路连接，
15
在进行流量分配时，流量会均匀地分布在这
4
条链路上，即
1:1:1:1
（
40G
链路和
10G
链路<
/p>
承载的流量一样）
。
< br>PoP2
R21
R22
40G<
/p>
1
）一条
POS
链路对应一条
Tunnel
2
）
40G
链路对应的
TE
Tunnel
的
load-share
设为
4
，
10G
链
路对应的
TE
Tunnel
的
load-
share
设为
1
10G
N x 10G
R11
PoP1
R12
采用
Back-to-Back MPLS
TE
技术，可以解决
40G
和
10G
混跑时流量的非等价负
载分担：
1.
在直接相连的路由器
（
R11
和
R21
）
之间建立一对一的
TE
Tunnel
（
即一条
POS
链路对应一条
Tunnel
）
，
2.
< br>通过对
40GPOS/10GPOS
对应的
Tunnel
赋予不同
share weight
：
40G<
/p>
链路
对应的
TE
Tunnel
的
load-share
设为
4
；
10
G
链路对应的
TE
Tunnel
的
load-share
设为
1
。这样就实现了
4
条链路
4:1:1:1
的流量分配比例。从而
实现在
40G<
/p>
与
10G
链路上的
4:1
流量分担。
由于采用的是
Back-to-Back
的
TE
，在网络设备间流量转发还是
IP
方式，不存在额
外的
MPLS
标签转发。
针对
40G
端口作出专门说明，建议说
明端口的互通性，对传输的要求，城内彩光的应
用等。
CRS-1
支持
40G
白光和彩光两种接口。
40G
白光接口主要用于
POP
点内部的路由器互
联使用，当白光接口接入传输系统时，
必须先经过传输系统的波长变换器进行波长转换然
后才能接入传输系统的合波器进行传输。目
前，
CRS-1
40G (OC768/STM64 POS)
白光口模块支持短距（
SR
）
，最大距离可达
2km
。
16
CRS-1
的
40G
白光模块具有良好的兼容性，可以和符合标准
的产品互通。
Cisco 40G
彩光模块分
1OC768-ITU/C
模块和
1OC768-DPSK/C
模块。
1OC768-ITU/C
模
块在模块内部已经集成波长可调的
DWDM
接口模块，
并通过创新
的
Duo-
Binary
编码方式，在实现频宽的压缩的同时极大地减少了
PMD
色散对高速信号的畸
变，
实现在
ITU-T
标准
50GHz
间隔的
10G
波分系统通
道上传递
40Gbps
有效载荷数据。
40G
彩光方案不需要中国电信新建或升级传输系统支持
40G
传输，
40G
接口能够直接接入现有<
/p>
10G
传输系统的合波器进行传输，最大传输距离可达
1000KM
，系统总体成本低，管理成本也低。
1OC768-ITU/C
模块的光参数如下：
1OC768-ITU/C
：
1
端口
OC-768c/STM-256c (C-band)
DWDM
线卡
Parameter
Connector type
Target
distance
Transmitter
Power
range
Wavelength range
-19.0
to 1.0 dBm
Full Tunable from 1528.77 nm
to 1563.86nm
(C band - 50 GHz)
Wavelength stability
Extinction ratio (minimum)
Optical signal-to-noise ratio
SBS threshold
Optical
Bandwidth (FWHM) (maximum)
Receiver
Pr (Max) (minimum overload)
5 dBm
±
1.5 GHz
8.5 dB
45 dB
15
dBm
25 GHz
DWDM Line
Interface
LC
1000 km
17
Sensitivity (over DWDM
systems)
Chromatic
dispersion tolerance (1 dB
penalty)
PMD tolerance (2dB penalty)
OSNR (back to back) (0.5nm Res. BW)
-18.0 dBm
1
-22dBm, 2dB penalty
-150 to
+150 ps/nm
2.5 ps
13dB (1 X
10^-15 Post FEC BER)
Single-channel
optical link (without DWDM)
Fiber type
G.652 (SMF), G.653 (DSF) and G.655
(NZ-DSF)
Maximum dispersion
Sensitivity (over dark fiber)
Attenuation range
Optical
path penalty
Path length
Miscellaneous
Optical power
monitoring
Tx and Rx, ±
2 dB
accuracy
+150 ps/nm
-27
dBm
2
(1 X 10^-15 Post FEC
BER)
0-27 dB
1 dB
80 km (G.652/G.655); 100 km
(G.653)
3
Notes:
1) Must change default from -17dBm to -18dBm.
2) Must change default RxLOS to -30dBm.
Please contact your Cisco systems engineer for
support.
3) Proper system
design required; network may require Dispersion
Compensating Units
(DCUs).
1OC768-DPSK/C
模块在模块内部集成波长可调的<
/p>
DWDM
接口模块和色散补偿模
块，<
/p>
通过创新的
DPSK
编码方式，
可以实现在
ITU-T
标准
50GHz
间隔的
10G
波分系统
通道上
传递
40Gbps
有效载荷数据
，最大传输距离可达
2000KM
。
1OC768-DPSK/C
模块的光参数如下：
18
1OC768-
DPSK/C
：
1
端口
OC-768/STM-256c DPSK+ (C-band) DWDM
线卡
Parameter
Connector type
Target
distance
Transmitter
Power
range
Wavelength range
-19.0
to 1.0 dBm
Full tunable from 1528.77 nm
to 1563.86 nm across every
other
wavelength on the ITU 50-Ghz grid (for example,
196.10 THz, 196.00THz, 195.90THz,
195.80 THz, etc.)
Wavelength stability
+/-1.5 GHz
DWDM line
interface
LC
2000 km
(dependant on network configuration)
Optical signal-to-noise ratio
45 dB
SBS threshold
Optical Bandwidth
(FWHM)
(Max)
Receiver
P (RMax)
(minimum
overload)
Chromatic
dispersion
tolerance (1 dB penalty)
PMD tolerance (1dB
penalty)
OSNR (back to back)
(0.5nm
Res. BW)
Single-channel optical link
(without DWDM)
3
7.4dB (1 X 10^-15 Post FEC BER)
2.3 ps, 1 X 10
-5
outage probability
-700 to +700 ps/nm
5 dBm
15 dBm
30
GHz
19
Fiber type
Sensitivity (over dark fiber)
Link Budget (no
amplification)
Optical path
penalty
Path length
Miscellaneous
Optical power
monitoring
G.652 (SMF), G.653 (DSF) and
G.655 (NZ-DSF)
-27
dBm
4
(1 X 10^-15 Post FEC
BER)
27 dB
1 dB
80 km (G.652/G.655); 100 km
(G.653)
5
Tx and
Rx, ±
1 dB accuracy
1) All
specifications are worse-case for operational life
of product.
2) Must change RxLOS
threshold default from -19.5 dBm to -23.5 dBm.
3) Please contact your Cisco
representative for the Application Note on 40 Gbps
single-channel
CRS-1 interconnection
extending to 80 km and beyond.
4) Must
change default RxLOS to -30 dBm.
5)
Proper system design required; network may require
Dispersion Compensating Units
由于
40G
短距模块最大只能传输<
/p>
2
公里，所以，其多用于
POP
节点内部的互联。而
直接通过暗光纤互联
Cis
co 40G
彩光模块可以传送更远距离。
1OC768-ITU/C
通过暗光
纤可以传送
10-15KM(G.652)
、
< br>30-35KM (G.655)
，增
加功率放大器，可
以传送到
80KM
以上。
1OC768-DPSK/C
通过暗光纤可以传送
40KM(G.652)
、
80KM
(G.655)
。
所以，在城域网应用中，可以使用
Cisco
40G
DWDM
接口
+
暗光纤的方式实现同
城节点间的
40G
高速互联。
建议：
1
、
在
POP
节点内部，由于
40G
白光接口良好的多厂商兼容性，所以建议主要采用该技
术实现路由器互连；
2
、
在传输距离超过
2
公里的情况下，
40G IP over DWDM
系统的系
统设备投资效益远
高于
40G
白光接
口（
POS
接口）
+ 40G DWD
M
解决方案，建议在条件具备的节点
部署
40G IP over DWDM
解决方案。
20
3
、
在城域网应用中，使用
Cisco
40G
DWDM
接口
+
暗光纤的方式实现同城节点间的
40G
高速互联，可以取得很好的经济效益。
21
六、
集群系统割接方案
请列出详细的步骤。
单机
->1.28T
集群
CRS-1
单机框到
CRS-1 2+
2
集群（单向
1.28T
集群）升级步
骤：
1.
完成新增的
1
个线卡机箱
(LCC)
及
板卡的物理安装。需要时间大约
1
天。需要设备一套
完整的
CRS-1 LCC
单机系统的硬件配置，
相应的
8
块
S123
< br>换成
8
块
S13
卡。
2.
完成新增的
2
个矩阵机箱
(FCC)
< br>及板卡的物理安装。需要时间大约
2
天。需要设备
2
套
完整的
CRS-
1 FCC
系统的硬件配置，含
8
块<
/p>
OIM
卡，
8
块
S2
卡和
4
块
CRS-FCC-SC-22GE
。
3.
完成新增的
2+1
系统的控制以太网
(control
ethernet)
光纤的物理连接。
布放光纤大约需
2
小时，需要
14<
/p>
对
LC-
LC
单模光纤跳线。
4.
完成新增的
2+1
系统的矩阵线缆
(Fabric Cable)
的物理连接。布放光纤大约需
6
小时。
需要
48
条
Cisco
集群系统专用矩阵线缆
(Fabric Cable)
5.
将新增的<
/p>
2+1
系统加电，升级到推荐的
IOS-
XR
版本。大约需
2
小时。
6.
完成新增的
2+
1
系统的配置
,
安装软件补丁包，升级
相应板卡的
FPD,ROMMON
软件。
大约需
1~2
小时。
7.
备份原单机配置。大约需
2-5
分钟
。
8.
将现有运行的单机框所有流量转移，通过设置
IS-IS
的
overload
属性和关闭
BGP
连接
完成。大约需
5
分钟。
9.
关闭原单机框，大约需
2-5
分钟
。
10.
更换
8
个矩阵卡
S123
到
S13
卡（
CRS-16
-FC/M
），大约需
30
分钟，需要
8
个
CRS-16-FC/M
。
11.
完成线卡
机框和矩阵机框的矩阵线缆连接。大约需
30
分钟。
12.
完成线卡机框的控制以太网连接。大约
需
2-5
分钟
13.
启动原单机框，让单机线卡框和新增的
2+1
系统完成软件的同
步。大约需
40
分钟。
14.
升级相应集群原单机框板卡的
FPD,ROMMON
软件。大约需
5~20
< br>分钟。
15.
确认
2+2
集群系统正常运行。大约需
2
分钟。
16.
恢复原单机配置，恢复
IS-IS
和<
/p>
BGP
配置。大约需
5~10
分钟。
17.
对
2+2
集群系统的进程做分布式优化处理。大约需
< br>2
分钟。
18.
检查
2+2
集群系统流量。大约需
5
分钟。
22
1.28T
< br>集群
->2.56T
集群
CRS-1 2+2
集群（单向
1.2
8T
）到
CRS-1 2+4
集群（单
向
2.56T
集群）升级步骤：
1.
备份原
2+2
< br>集群系统配置。大约需
2~5
分钟。
2.
修改
2+2
集群系统的软件配置，将新的线卡机箱配置到已有的集群系统中。大约需
2~
5
分钟。
3.
完成新增的
2
个线卡机箱
(LCC
)
及板卡的物理安装。大约需要时
2
天
，需要设备
2
套完
整的
CRS-1 LCC
单机系统的硬件配置，相应的
8<
/p>
块
S123
换成
8
块
S13
卡。
4.
完成新增的
2
个线卡机箱的控制以太网
(control et
hernet)
光纤的物理连接，连接到已有
的
2+2
集群系统。大约需
5~10
分钟，需要
8
对
10M
左右的
LC-
LC
单模光纤跳线。
5.
关闭原有
2+2
集群系统的一个平面，修改矩阵
平面的软件配置。大约需
1~2
分钟。
6.
在原有
2+2
< br>集群系统的矩阵机箱的该平面上插入新增的
16
块
S2
矩阵板卡
CRS-FCC-SFC
。大约需
20
分钟，新增
16
块
S2
矩阵板卡
CRS-FCC-SFC
。
7.
调整原有集群系统
2
个线卡机箱的矩阵线缆
(Fabric Cable)
在该平面上的物理连接方式。
大约需
5~10
分钟。
8.
完成新增的
2
个线卡机箱的矩阵线缆
(Fabri
c Cable)
在该平面上的物理连接方式。
大约需
5
分钟，此时需要
6
条
Cisco
集群系统专用矩阵线缆
(F
abric Cable)
，加上后面的步骤共
需
48
条。
9.
激活该平面。大约需
1
分钟。
< br>
10.
按以上方法，
对剩余
的
7
个平面操作，
完成所有线卡机箱的
矩阵线缆
(Fabric Cable)
的物
< br>理连接。大约需
60~90
分钟。
11.
将新增的
2
个线卡机箱加电。大约需
20
分钟。
12.
完成相应新增线卡机箱板卡的
FPD,ROMMON
软件升级。大约需
20
分钟。
13.
确
认该
4+2
集群系统正常运行。大约需
2
分钟。
14.
< br>对该
4+2
集群系统的进程做分布式优化处理。大约需<
/p>
1~2
分钟。
15.
检查该
4+2
集群系统的流量。大约需
5
分钟。
补充说明从
2+4
到
4+4
的升级过程
CRS-1 2+4
集群（单向
2.5
6T
）到
CRS-1 4+4
集群（单
向
2.56T
集群）升级步骤：
1.
备份原
2+4
< br>集群系统配置。大约需
2~5
分钟。
2.
修改
2+4
集群系统的软件配置，将新增加的
2
个矩阵机箱
(FCC2
和
FCC3)
< br>配置到已有
的集群系统中。大约需
2~5
分钟。
23
3.
完成新增的
2
个矩阵机箱
(FCC2
和
FCC3)
及板卡的
物理安装。需要时间大约
2
天。需
要设
备
2
套完整的
CRS-1 FCC
系统的硬件配置，含
4
块
< br>CRS-FCC-SC-22GE
。
8
< br>块
OIM
卡，
8
块
S2
卡在后续的割接步骤中从
FCC0
和
FCC1
上平移过来。<
/p>
4.
完成新增的
2
个矩阵机箱
(FCC2
和
FCC3)
的控制以太网
(control
ethernet)
光纤的物理连
接，连接到已有的
2+4
集群系统。需要时间大约
5~10
分钟。
5.
将新增
的
2
个矩阵机箱加电，完成软件同步。需要时间大约
40~50
分钟。
6.
关闭原有
2+4
集群系统的平面
1
，
修改矩阵平面
1
的软件配置。
需要时间大约
2~5
分钟。
7.
断
开
4
个
LCC
机箱在该平面上的
S13
卡和相应的矩阵机箱
< br>S2
卡的连接。需要时间大
约
1
0~15
分钟。
8.
将原有
2+4
集群系统的矩阵机箱
< br>FCC0
的该平面上的矩阵板卡
3
块
S2
和
OIM
卡，移
到一台新加的矩阵机箱
FCC2
上。需要时间大约
10~15
分钟。
9.
在该平面上，
恢复刚才断开
的
4
个线卡机箱的
S13
卡和矩阵机箱
FCC2
上的
S2
卡的物
理连接。需要时间大约
5~
10
分钟。
10.
激活该平面。需要时间大约
1~2
分钟。
11.
按以上方法，完成平面
< br>3
从
FCC0
到
FCC2
的转移，平面
5
和<
/p>
7
从
FCC1
到
FCC3
的
转移。需要时间大约
60~90
分钟。
12.
完成相应新增矩阵机箱机箱板卡的
FPD,ROMMON
软件升级。需要时间大约
10~20
分
钟。
13.
确认该
4+4
集群系统正常运行，检查该
4+4
集群系统的流量。需
要时间大约
5
分钟。
24
七、
集群系统机房配套要求及设计
耗电量
（需占用直流开关数量及大小）
；承重要求；散热要求
耗电：
线卡框
线卡框的直流电源系统的输出功率为
13200
瓦，考虑
95%
的电源效率，需要为线卡
框
提供
13900
瓦的输入功率。
线卡框的直流电源系统包
括两个直流电源架，可以提供
2N
冗余：
?
每个直流电源架与独立电源系统连接
?
每个直流电源架包括
3
个直流电源模块（
PEM
）
?
每个
直流电源架和
PEM
均配备了短路保险，并支持现场更换
线卡框的两个直流电源架为负载均衡模式（没有主
< br>/
备关系）
。
?
所有电源连接布线应当符合国家电
气法规（
NEC
）和任何地方法规的规定
?
机房电源应当符合国家和任何地方法规的规定
?
机房电源应为每个直流电源架应当
独立供电，分别提供
13900
瓦的输入功率
< br>
线卡框直流供电需求
直流电源
指标
备注
输入功率要求
最大值：
13.9KW
考虑
95%
的电源效率
额定输入电压
-48 / -60V
范围：
-42 ~ -75 V
输入电流
最大值：
50A
输入电压为
-48
V
时
最大值：
40A
输入电压为
-60
V
时
瞬间电流
峰值：
168A -75V
电压，
1ms
内的最大值
线缆需求
线卡框正常配置共需要
24
条直流电源线缆和
3
条接地线缆。思
科建议您使用具有相
应额定电压的、含有多股线路的铜缆：
?
每个
DC
PEM
都需要两组
-48V
输入，即每
个
PEM
四条线路。
?
CRS-1
的每一个直流电源架需
要
12
条线路
?
CRS-1
共有两个直流电源架（
用于安装６个
PEM
电源模块）
，共需
要
24
条线路。
?
此外，每个直流电源架需要
1
条接地线，
CRS
机箱需要
1
条接地线。
交换框
交
换框的直流电源系统的输入功率为
9000
瓦。
交换框的直流电源系统包括两个直流电源架，可以提供
2N
冗余：
25
?
每个直流电源架与独立电源系统连接
?
每个直流电源架安装
2
个直流电源模块（
PEM
）
?
每个
直流电源架和
PEM
均配备了短路保险，并支持现场更换
交换框的两个直流电源架为负载均衡模式（没有主
< br>/
备关系）
。
安装交换框直流电源系统必须遵守下列指导原则：
?
所有电源连接布线应当符合国家电
气法规（
NEC
）和任何地方法规的规定
?
机房电源应当符合国家和任何地方法规的规定
?
机房电源应为每个直流电源架应当
独立供电，分别提供
9000
瓦的输入功率
交换框直流供电需求
直流电源
指标
备注
输入功率要求
最大值：
9.0KW
考虑
95%
的电源效率
额定输入电压
-48 / -60V
范围：
-42 ~ -75 V
输入电流
最大值：
46A
输入电压为
-48
V
时
最大值：
37A
输入电压为
-60
V
时
瞬间电流
峰值：
168A -75V
电压，
1ms
内的最大值
线缆需求
交换框正常配置共需要
16
条直流电源线缆和
< br>3
条接地线缆。思科建议您使用具有相
应额定电压的、
含有多股线路的铜缆：
?
每个
DC PEM
都需要两组
-48V
输入，即每个
PEM
< br>四条线路。
?
交换框的每一个直流电源架需要
8
条线路
?
交换框共有两个直流电源架（用于安装
4
个
PEM
电源模块）
，共需要
16
条线路。
?
此外，每个直流电源架需要
1
条接地线
，交换框需要
1
条接地线。
承重：
线卡框
测量条件
重量（公斤）
空机箱（包含运输包装）
518
空机箱（不包含运输包装）
477
满配置机箱
723
机框底面积
4385
平方厘米
交换框
26
测量条件
重量（公斤）
空机箱（包含运输包装）
487.6
空机箱（不包含运输包装）
385
满配置机箱
740
机框底面积
4385
平方厘米
散热：
散热说明
散热指标
外部冷却要求
3.4
吨
机箱散热
排气温度
部署
CRS-1
多机系统现场指标请参见附件：
1.
附件
最大
45,080 BTU/hour
最大
10,150 W/m2
54°
C
：
正常运行环境，室温
35 ~
39°
C
条件下
65°
C
：
极限运行环境，室温
50°
C
条件下<
/p>
附件-1-
LCC-Site-
Planning
2.
附件
附件-1-
FCC-Site-
Planning
27
八、
集群系统配置清单说明
针对典型的集群配置清单，逐行进行备注说明：
针对
CRS-1
2+2/2+4/4+2/4+4
分别说明
CRS-1 2+2
集群配置清单及说明：
产品号
产品描述
CRS-1
Multichassis System with
CRS-MC-FC24
24-Slot Fabric Chassis
Cisco
CRS-1 Series 16 Slots
CRS-16-LCC/M
Line Card Chassis/M
Cisco
CRS-1 16 Slot System
CRS-16-LCC-FNTR-B
Reduced-Noise Fan Tray
CRS
16 Slot LCC DC Power Kit
CRS-16-LCC-
DCKIT-B
Version B
Cisco
CRS-1 Series 16 Slots
CRS-16-RP-B
Route Processor revision B
Cisco IOS XR IP/MPLS Core
XC-RP-03.06
CRS-FLASH-
DISK-2G
Software
CRS-1 2GB
Flash Disk
Cisco CRS-1 Series LCC Drill
CRS-LCC-DRILLTEMP
Template
Cisco CRS-1 SeriesLCC Floor
CRS-LCC-FLOORTEMP
Template
Cisco CRS-1 Series Line Card
LCC/M-FC-FBR-20
Chass-Fabric
Chass Fiber 20m
Cisco CRS-1 Series Line
Card
CRS-16-LCC-DRS-F
Chassis Front Doors
Cisco
CRS-1 Series 16 Slots
CRS-16-LCC/M/B
Line Card Chassis/M/B
Cisco
CRS-1 16 Slot System
CRS-16-LCC-FNTR-B
Reduced-Noise Fan Tray
CRS
16 Slot LCC DC Power Kit
CRS-16-LCC-
DCKIT-B
Version B
Cisco
CRS-1 Series 16 Slots
CRS-16-RP-B
Route Processor revision B
Cisco IOS XR IP/MPLS Core
XC-RP-03.06
CRS-FLASH-
DISK-2G
Software
CRS-1 2GB
Flash Disk
Cisco CRS-1 Series LCC Drill
CRS-LCC-DRILLTEMP
Template
Cisco CRS-1
线卡机箱
LCC Drill
模版
套
1
Cisco IOS XR IP/MPLS
核心软件
CRS-1
2G
闪存卡
套
块
2
2
Cisco CRS-1
16
槽系统路由引擎
Version B
套
2
Cisco CRS-1
24
槽位交换卡机箱减噪风扇
Cisco CRS-1
系列
16<
/p>
槽位
LCC
机箱
DC
电源系统
version B
套
1
套
2
Cisco CRS-1 16
槽线卡机箱
/
多机
套
1
Cisco CRS-1
线卡机箱前门
套
1
Cisco CRS-1
线卡机箱到矩阵机箱
20
米光纤
套
24
Cisco CRS-1
线卡机箱
LCC
FLoor
模版
套
1
Cisco CRS-1
线卡机箱
LCC Drill
模版
套
1
Cisco IOS XR IP/MPLS
核心软件
CRS-1
2G
闪存卡
套
块
2
2
Cisco CRS-1
16
槽系统路由引擎
Version B
套
2
Cisco CRS-1
24
槽位交换卡机箱减噪风扇
Cisco CRS-1
系列
16<
/p>
槽位
LCC
机箱
DC
电源系统
version B
套
1
套
2
Cisco CRS-1 16
槽线卡机箱
/
多机
套
1
CRS-1
多机系统（含
24
槽交换矩阵机箱）
套
1
中文描述
单
位
数
量
28