-
DS5000
红皮书
(Redbook)
笔记
1/4
Introduction to the DS5000 Disk Storage
Subsystem
/abstracts/?Open
第
1
章
Introducing the IBM System Storage
DS5000
P19
1.1
Positioning the DS5000 Series
DS5000
的性能比
DS4000
有更好的性能和更大的
容量
中端
/
部门级存储；支持
FC/SATA
硬
盘
1.2 DS5000
models
前后端都是
FC
接口，
能在单个扩展柜中混合高性能的
FC
磁盘和高容量的
SATA
磁盘
支持
4G FC SAN,
支持
8G FC
和
10G iSCSI
DS5100
：
16
个
4G
FC
设备接口；
<
/p>
16
个
EXP5000
< br>扩展柜或混合
EXP5000
和
EXP810
扩展柜；最多
256
个磁
盘
4
个
4G FC
主机端口，
8G
缓存
???
这是单个控制器上的还是
2
个控制器上的
???
DS5300: 16
个
4G
FC
设备接口；
<
/p>
16
个
EXP5000
< br>扩展柜或混合
EXP5000
和
EXP810
扩展柜；最多
256
个磁
盘
最大吞吐量
400MBps
每个控制器有
4
个或
8
个
FC
主机商品；
8G
或
16G
缓存
???
这是单个控制器上的还
是
2
个控制器上的
???
1.2.1 DS5000 Expansion Enclosure
EXP5000: 4G FC
接口，
16
个
FC
或
SATA
硬盘
1.3 Storage Manager Software
SM
软件，同
DS4000
中的介绍
21:05 2009-4-6
第
2
章
Demonstrating the DS5000 technology
advances
P25
对比<
/p>
DS5000
和
DS4800
2.1 The Hardware
improvements
PCI-
Express
：支持设备之间点到点的直连
DS5000
使用的是
PCI-
Express
DS4800
使用的是
PCI-X
2.1.1 Specification
Comparison
DS5000
比
DS4800
的接口数量、最大硬盘数、
CPU
、缓存等均有较大提升
P27
表
2.2 Performance Comparison
P28
图
2.3 Storage Manager
SM10.30
和
微码
7.3
2.3.1 New Features to Storage Manager
V10.30
RAID6
支持
Support for more than 30 drives for
RAID 0 and 1
Support for greater than 2
TB logical drives
：要考虑主机是否支持
Increased maximum number of partitions
Support bundle collected on critical
events
Use Diagnostic Data Capture for
additional failure events
Increased
number of GHS (Global Hot Spares)
Unconfiguring Storage Subsystem and arr
ays
：如果有需要的话，可以清除存储子系统或以前
建立的阵
列
Drive Migration warning
Configurable failed drive replacement
RAID redundant data verification prior
to read
8 K cache block size
Increased number of FlashCopy’s per
logical drive
Increased
number of mirrors supported
Windows
RDAC no longer supported
21:26 2009-4-6
第
3
章
DS5000 Series hardware
P31
3.1 IBM System Storage DS5000 storage
server
DS5000
支持高
IOPS
和
/
或
MB/s
3.1.1
DS5000: features
DS5100
：
16
个设备接口；
8
个
主机接口，
8G cache
DS5300
：
16
个设
备接口；
8
个或
16
< br>个主机接口，
8G
或
16G
cache
这两种型号的具体区别在主机端口的数量和
cache
大小
共同特性：
DS5000
高
4U
(EXP5000
高
3U)
在
RAID
控制器上有第
7
代的专用
ZIP
ASIC
引擎
CPU: Xeon
2.8G
双控
PCI-Express
x8
总线技术
(DS4800
为
PCI-X)
专用的数据缓存
(DS5100 - 8GB, DS5300
- 8 or 16GB)
每个控制器有
2G
的控制器内存
支持
RAID0/1/3/5/6/10
(DS4800
不支持
RAID6)
两个控制器上共有
16
个设备端口
最多
16
个
EXP5000
扩展柜
< br>(
或混合
EXP5000
和
EXP810)
，最多
256
个硬盘
可混合
FC/SA
TA
硬盘
(
需要
license)
512
个存储分区
2048
个卷
2048
个主机
login
4096
个命令队列深度
(
每个硬盘最大
16
个
4096/256=16)
3.1.2 DS5000 controller architecture
DS5000
是双控制器的
第
7
代专用的
ZIP
ASIC
芯片，能更快更好的支持
RAID3/5/6
DS5000
是基于
PCI Express x8 2GB/s
(16Gbps)
总线的
CPU
是
Xeon 2.8G
，有专用的
2G
内存作
I/O
控制
---CPU
内存和数据缓
存是相互分开的
Data
cache memory
??? P38
Data
flow
??? P39
Write operation steps
数据从首选控制器的主机端口过来
--->
写到缓
存
--->
缓存镜像
--->
写到磁盘
--->
清除缓存块
< br>--->
主机收到完成信息
Read operation steps
读请求
--->
如果数据在
cache
中，数据发送给主机
,I/O
完成
--->
数据不在
cache
中，
从磁盘读
数据
--->
将数据
copy
到
cache
中
--->
发送给主机
,I/O
完成
--->
如果是顺序读，则将下一下<
/p>
segment
读到
cache
中
Cache
block states
??? P41
3.1.3 DS5000: chassis
design
▲ 2
个控制器
▲ 2
个控制器支持模块：电源和风扇
▲ 1
个互连模块
3.1.4 DS5000:
front view
当互连控制模块被移除后，
DS500
0
自动暂停控制器
B
，将所有的
LUN
移到控制器
A
上；
并禁用
write cache
(
这与
DS4800
是一样的
)
3.1.5
Interconnect module and battery packs
互
连模块用于连接控制器
A
和控制器
B<
/p>
，包含电池
3.1.6 DS5000: Rear view
后视图为
2
个控制器，上面的是控制器
A
，下面的是控制器
B
特别注意：如果将
DS5000
安装时倒置了，要保证在连线上不能出错
3.1.7 DS5000: LED
indicator lights
通过主机端口，设备端口，以太口上的灯可以看到速率是多少
P50
主机端口
/
< br>设备端口：
1G / 2G
，两个都亮为
4G
以太口
灯为
1G
，不亮为
10M/100M
在替换组件是，注意有指示灯指出是否可以安全移除组件
P50
控制器上数字灯显示不同的数字时的含义
P53
!!!
3.1.8 DS5000: host-side
connections
DS5100:
8
个
主机接口
DS5300
：
8
个或
16
个
主机接口
可以直连到主机
(
< br>必须同时连接到
2
个控制器，
不
支持只连接到
1
个控制器
)
或
连接到
SAN
当使用
ERM
时，使用最外面的接口
(DS4800
一样
)
当直连时，最先使用
A1-B1
端口，再使用
A3-B3
端口，再
A2-B2
，
A4-B4 ---
是否与设备端
口一样使用同一个
loop
芯片的原因
???
P56
3.1.9 DS5000: Drive-side
connections
DS5100
和
DS5300
都是
16
个设备接口
，每控制器
8
个
A8-A7
是
channel
group1
A6-A5
是
channel
group2
A4-A3
是
channel
group3
A2-A1
是
channel
group4
B1-B2
是
channel
group5
B3-B4
是
channel
group6
B5-B6
是
channel
group7
B7-B8
是
channel
group8
同一个
channel
group
中的两个端口的速率必须设置为一样的
P59/P62
DS4800
和
DS5000
< br>中的设备接口
(
扩展柜接口
)<
/p>
：
设备接口
(
扩展柜接口
)
：如
1 2
接口，在控制器内部
是通过一个环路交换芯片连接，因此，
1
2
接口在一个通道上，
A
控
4---
B
控
1
形成环路对
1 (Loop Pair)
A
控
2---
B
控
3
形成环路对
2 (Loop Pair)
A
控
3
---B
控
1
形成环路对
3 (Loop Pair)
A
控
1---
B
控
4
形成环路对
4 (Loop Pair)
...
在连接扩展柜时，
先使用环路对
1,
再使用环路队
2
，
再使用环路
对
3
，环路对
4
，用来负载均衡
3.1.10 DS5000: drive-side cabling
DS5000
能连接
16
个
EXP5000
或
EXP810
的扩展柜，可混合
FC/SATA
硬盘
DS5000
中每个控制器的设备端口对
最多连接
2
个扩展柜
DS5000
的设备端口
必须
连接到扩展柜的
1B
端口上
(
外面的端口为
1B
，里面的为
1A)
DS5000
最多能连接
1
6
个扩展柜
(
每个端口对
连接
2
个扩展柜
)
注意：同一对
channel
group
中的两个端口速率必须一致
P59/P62
3.1.11 DS5000: additional connections <
/p>
以太口的
IP
地址为默认地址
串口默认的设置是：
38400/8/
无
/1/
无
3.1.12 DS5000 physical
specifications
DS5000
重
40kg
，功率
580w
EXP5000
配置
16
个硬盘重量为
38kg
，不配硬盘重量为
31kg<
/p>
；功率
580w
3.1.13 DS5000 supported operating
systems
DS5000
支持
A
IX,Linux,Windows,HP-UX,Vmware
3.1.14 DS5000 disk enclosures
当
DS5000
的扩展柜中使用
S
ATA
硬盘时，每
48
个
SATA
硬盘需要一个
license
；
默认自带一个
lice
nse
，
当每超过
48
个
SATA
硬盘时，
需要另外
购买
license (
使用
FC
硬盘则
不受此限制
)
EXP5000
：
< br>3U
高，
16
个盘位，
4Gbps ESM
，双控，双电源，双风扇
EXP5000
前面板上有指示灯指
出当前速率是否是
4Gbps
的
P67
EXP5000
后面板有指示
灯指出是否可以移除相关模块
P68
EXP5000
扩展柜上虽然有
4
个
SFP
端口，
但是只有
2
个
SFP
< br>端口可用，
1A
和
1B
11:06 2009-4-7
第
4
章
DS5000 planning tasks
P71
4.1 Planning your SAN and
storage server
考虑
2
年内的存储需求
考虑
2
到
3
年内的硬件升级和更新
基于
IOPS
：如数据库，
exchange
等
基于吞吐量：如数据备份等
4.1.1 SAN zoning for DS5000
每个
HBA
卡连接到不同有控制器上
(
如
HBA1
连接到控制器
1
，
HBA2
连接到控制器
2)
连接到磁盘
和
磁带的
HBA
卡
务必要分开
!!!
当使用
ERM
时，
源和目标
的控制器必须相同
----
如源使用控制器
A
，
则目标也必须使用控制
器
A
第
1
个
ERM
zone
的源和目标都使用控制器
A
第
2
个
ERM
zone
的源和目标都使用控制器
B
4.2 Physical components planning
足够的空间：
在机柜前面需要
152cm
空间
在
机柜后面需要
76cm
空间
Cable types (shortwave or
longwave)
：
FC
线缆有单模
和多模之分
多模光纤有
2
种：
50um
和
62.5um
；
不能混用，否则将产生不可预知的错误
因此，
IBM
不支持不同直径的多模光纤混用
P76
单模光纤：
9um
9um
单模光纤速度在
2G
时，最远
10km
50um
多模光纤
速度在
4G
时，最远
150m
IBM DS5000
上只提供支持
4G
连接
50um
的短波多模光纤
(
与
DS4800
一样
)
P77
Interfaces,
connectors, and adapters
SFP: Small
Form Pluggable---
连接光纤线
(LC Co
nnector)
与
HBA
卡的那个小
设备
LC connector---
光纤线上的接头；其主要的优势在于体积小，在相同的空间中可容纳更多的
接头
所有的
DS5
000
系统提供
SFP
transceiver
和
LC Fibre Cable
(
与
DS4800
是一样的
)
当不再使用
SFP
时，要将其移除，避免灰尘
Interoperability of 1
Gbps, 2 Gbps, and 4 Gbps
devices
：速度是自动协商的
4.2.3 Cable management and labeling
线缆管理与标签化
很重要
站点规划，线路图，线缆标签化
4.2.4 Fibre Channel adapters
Host system bus:
将
HBA
放在不同的总线中
Failover
所有的
OS
都支持
2
条路径到
D
S4000
中
Windows/Li
nux/AIX
支持
4
条路径到存储控
制器中
在
AIX
中最好不要使用负载均衡，因为会引起磁盘问题
P82
Queue
depth
：相同的时间内系统能处理的命令数
每个
HBA
上的队列深度
=
存储最大队列深度
/
(
主机数
*
每个主机上
LUN
数量
)
如
4
个主机，每个主机
32
个
LUN
，则最大队列深度为
2048/(4*32)=16
4.2.5 Disk expansion enclosures
EXP5000
扩展柜：可用
FC/SATA
硬盘，可混用；
4Gbps
的扩展柜
Enclosure IDs:
扩展柜
ID
非常重要，必须唯一
< br>
控制器会自动设置扩展柜
ID
只能通过
SM
来改变扩展柜
ID <
/p>
扩展柜
ID
显示在扩展柜的背部
LED
上
Enclosure guidelines
：
EXP5000
会自动的分配扩展柜
ID
；
相同的
FC
环路中的扩展柜，
10
进制位相同，个位不同
(x00--x77
之间
)
4.2.6 Selecting drives
磁盘速度越快，性能越好，但成本也越高
SATA
硬盘没有
command q
ueuing(
命令队列
)
，避免在高
IOPS
环境中使用
SATA
硬盘
FC
硬盘的
command queu
ing(
命令队列
)
为
16
FC
硬盘
写的速度
比
SATA
硬盘快一倍以上
P85
7.2K
寻道时间
9ms
10K
寻道时间
5.5ms
15K
寻道时间
3.5ms
4.3 Planning your storage
structure
4.3.1 DS5000 Arrays and RAID
levels
RAID0:
性能好，但不推荐；适用于
快速的只读或快速的写
RAID1:
适用于数据高可用性
/
读操作的快速响
应
RAID1
适用于
< br>操作系统，事务日志
(
如数据库
)
等
;
在
RAID1
上启用写缓存
(
当启用写缓
存
时，要启用电池
)
RAID-3:
适用于大文件的顺序访问
;
如
CAD/CAM
，多媒体，医学图像
RAID-5: High availability and fewer
writes than reads; RAID5
适用于高可用性且写比读少的环<
/p>
境中，多用户的环境
RAID-6
：高性能，能容忍一个阵列中有
2
个硬盘失
效；适用于高速读
/
一般写
的环境中
;
RAID6
的可用性比
RAID5
高，但性能比
RAID5
略低
(P92)
RAID10
的性能接
近于顺序
I/O
的
RAID0
当随机写时，
RAID5
比
RAID 10
快
<
/p>
RAID10
的恢复比
RAID5
快
-
-
-
-
-
-
-
-
-
上一篇：全过程造价咨询服务方案51510
下一篇：A Mysterious Visit