Jerry's profile三角阳台的LIVE记事本PhotosBlogListsMore Tools Help

Blog


    6/25/2008

    VCP复习笔记(2) - Resource Management

    Resource Pool

    资源(resource)设置3要素:Limit, Reservation和Shares

    如果Resource会经常变化,应该使用share。这样当你升级Host的时候,虽然share值没变,但是每share份额所代表的资源会更大,这样所有VM将会按其所占的份额获得更多的资源。

    不要把VM的Reservation值设到和VM 配置的一样大。Reservation只是用来保留作为能够运行此VM的最小值。Reservation设置的越大,可灵活分配的资源就越少,这会影响Resource Pool的VM数量上限。

    Resource Pool的benefit
      - Flexible hierarchical organization
      - Isolation between pools, sharing within pools
      - Access control and delegation
      - Separation of resources from hardware
      - Management of sets of virtual machines running a multitier service

    2种Resource Pool: fixed 和Expandable (-- 指如果本Resource Pool资源不够,而其parent RP有资源,则会向上级RP请求资源)

    CPU Virtualization

    * CPU生产厂家的虚拟技术:Intel VT / AMD SVM

    * 在不同CPU构架之间不能migrate VM (因为安装VM Guest OS的时候,OS会知晓CPU构架,并且安装为此CPU特别优化的code)

    * ESX 3 支持每台虚机最多4颗vCPU

    * Best practice: 为单线程(single-thread)应用程序安排单vCPU的VM

    * CPU affinity指的是vCPU和物理CPU的捆绑关系

    * Best practice: 不要为1个vCPU仅绑定1个物理CPU,只是要为vCPU多分配一个物理CPU,比如1个vCPU要至少绑定2个物理CPU,一台2 vCPU的SMP虚机至少绑定3个物理CPU

    * 避免Affinity,Affinity有以下潜在问题
      - 会影响ESX的auto-load-balance能力
      - 无法保证资源的reservation和shares
      - migration以后affinity可能失效,因为新的HOST可能CPU数量不同
      - CPU admission control是不考虑affinity的
      - 在multi-core和hyper-thread cpu上,affinity会影响host充分利用cpu资源的能力

    * By default, Hyperthread is enabled

    * VM的Advanced CPU设置中HT有3个选项:Any, None和Internal。Any是默认,就是不限制。None就是该VM将排斥其他VM共享同一个CPU Core。Internal和None类似,只是许可同台VM的其他vCPU用同一个core。在1台core较少的Host上,应用VM选择None或者Internal可能会导致没有可用的core,从而degrade 此VM性能。

    * 如果某Host有2个支持HT的CPU,那么logical CPU就有CPU0和CPU1在一个core上,CPU2和CPU3在另外一个core上。这时候应该避免把2台高CPU使用率的虚机放在CPU0和CPU1上(同一个core),而应该放在CPU0和CPU2上(不同的core)

    Memory Virtualization

    现代操作系统都支持虚拟内存,运行软件使用比物理内存更大的内存。这个虚拟内存空间通常被分隔成4KB的块,叫做page。当物理内存满了后,虚拟内存中的page就存在磁盘上。

    VMM维护一个虚机的Physical memory page (VMWare称之为physical page)到它跑在的那台machine上的Physical memory page (VMWare称之为machine page)的映射关系

    虚机看见的physical memory是连续的(contiguous),初始化的(zero-based),可寻址的(addressable)内存空间;而虚机跑在其上的物理machine的memory不需要是连续的。

    HOST如何分配内存?
      - 当没有Overcommit的时候,HOST分配给VM的内存等于Limit参数设定的值。(An ESX Server host allocates the memory specified by the Limit parameter to each virtual machine unless memory is overcommitted.)
      - HOST不会分配给VM超过其标称的内存(比如某VM内存1GB,HOST就最多会给其分配1GB内存,即使Limit参数是2GB或者设成了unlimited)
      - 当Overcommit的时候,每台VM得到的内存介于Limit和Reservation值之间。这个内存是随着当前的memory load动态变化的
      - HOST是基于share和预估的working set size来给VM分配(allocate)内存的。HOST一直监控(monitor)VM的Working set size以作出合理预估(estimate)。监控的间隔可以通过Mem.SamplePeriod参数来修改,默认是60,单位秒。

    Host的内存使用情况:
    image

    Memory Tax
    如果有VM处于Idle状态,分配给该VM的内存可能没有充分利用起来,造成浪费。为了避免这种情况,VMWare采用Memory Tax技术。Mem.IdleTax参数可以用来更改Memory Tax,默认值是75%(大多数情况下,更改这个值是不必要甚至不合适的)

    Reclaim Memory
    HOST用(1)Memory Balloon Driver (vmmemctl)和(2) Swapping来向VM reclaim内存。

    Swap文件是在VM Power on的时候生成的,如果未能生成Swap文件,则Power On失败。Swap文件的大小等于VM配置内存和reservation的差值。

    当没有Ballooning driver时(不管什么理由,没安装或者没运行或者crash了),会强制用Swapping来reclaim memory。但只要可能,Host总会优先用ballooning driver
    NOTE: For optimum performance, ESX Server hosts use the ballooning approach (implemented by the vmmemctl driver) whenever possible. Swapping is a reliable mechanism of last resort that a host uses only when necessary to reclaim memory.

    VM间内存共享
      - ESX会scan同样OS instance之间一样内存部分,达到减少重复内存page,增加可用内存的效果。Mem.ShareScanTime参数和Mem.ShareScanGHz参数就是用来控制内存共享的。
      - 你也可以用sched.mem.pshare.enable参数设成False来禁用内存共享(默认是True)

     

    名词解释

    VMM -- Virtual Machine Monitor
    Service Console -- 就是Redhat Linux 3 Update 8的一个限制发布版。ESX 3i/3.5i没有Service Console
    Admission Control -- 进入控制,指一台VM开机的时候,ESX检查是否有足够的资源可以启动此VM
    DRS -- Distributed Resource Scheduler
    HA -- High Availability

    Connection Type
    (1) Service Console - 用于HOST administration
    (2) VMKernal  - 用于iSCSI, NAS和VMotion
    (3) VM Network - VM 用
    一个vSwitch至少要指定一个Connection Type,但可以并存多种。

     

    VMware Consolidated Backup

    * 2 modes: SAN mode 和LAN mode

    * SAN mode对系统性能影响最小,支持LAN Free的备份。支持SAN和iSCSI SAN

    * LAN mode也有优势:
    不需要物理的VCB Proxy,可以用一台VM来当VCB Proxy

    * 用LAN mode的条件: (1) ESX 3.5和VC 2.5  (2) Virtual disk不能大于1TB

    * 备份种类:image-level和File-level

    * 限制:
    VCB file-level备份只支持MS Windows
    VCB不支持备份VM Cluster (因为不支持共享disk)
    VCB不支持备份physical compatible mode下的RDM

    Troubleshooting: msn messenger不能登录的怪异问题

    丹丹的msn出了问题,死活登陆不上。

    表现症状:(1)报错80048820 (2)Internet是好的,用msn检查网络链接和msn服务也一切正常。(3) 防火墙设置正确 (4)qq能上,也能支持远程支持

    用qq远程支持,查了半个多小时才解决问题。

    原因居然非常简单:时钟不对,差了8年。调回时钟,问题解决。

    6/22/2008

    功夫熊猫

    LC在群里面说,“功夫熊猫不好看”,还补充:Yaya说的。

    昨晚去看了,超级搞笑,笑的我们肚皮都痛了。

    要说情节,的确是没有什么情节可言,但是就像那部《变形金刚》,没有什么情节,一样让我们看的那么滋滋有味。足矣!

    想起了大学时候为“美学”课交的一篇作文(的确有这门选修课的,教课的老师是中文系一个青年才俊,人帅,课也讲的好,也没给我们很大压力,想来还是非常怀念他,虽然已经忘了他的名字),作文早就不知道丢哪里去了,但是大意还是记得的,就是美就在我们身边,处处时时都在,美需要我们去发现。美的发现因心而改变,一颗好的心情,就更容易发现美。那么春天的绵绵细雨就是滋润大地让人欣喜而不是让人郁郁寡欢心底长霉;所以希望大家都能保持一个好心情,天天去发现美。

    《功夫熊猫》是搞笑的,所以是好看的。一方面它让我心情更加愉悦,另一方面,也是因为我发现了它的好看之处,它才变得好看的。

    同样的,《长江7号》也是好看的,看到最后飞碟又回来,无数个长江7号涌来,我如同后排的那个孩子一样雀跃。

    电影评论家们总是能够给一部电影挑出些毛病来。而我也总是能给一部电影找到些好看的理由,于是我说,这是部好电影。

    希望LC们能够不要人云亦云,而能够勇于去发现美。

    6/21/2008

    2008年中回顾

    去年10月,戒了魔兽。(观众:偏题偏题,说是半年回顾,这么扯到07年去了)这还得感谢九城,资料片迟迟不上,从冬天等到春天,从春天等到夏天,又从夏天等到了秋天,等到黄花菜也凉了,真的凉了。。。虽说其中确有戒断反应,反反复复的停玩又续玩了几次,但是终究是彻底戒掉了。

    于是复出玩户外。幸哉,乐哉。

    11月徽杭古道复出第一站,领队小沐。得遇小沐、hana、肖肖、太阳泪;(参:徽杭古道腐败游

    12月黄山FB第2站,领队飞将和立子。带魔鬼入行,山上吃火锅,结识飞将、立子、Yaya、香香、小凌子;Yaya和香香创办了黄山贴,欲与长白试比高,眼看马上要赶上,却因msn群而停滞。(参:冬日游黄山;)

    1月清凉峰,领队小沐。虽然历经千幸万苦,但苦尽甘来,得见冰雪覆盖的山景。结识了思林、冰草球(简称草草)和小猪。(参:2008第一虐:冰雪之第3天 等3篇)
    1月,全国范围冰雪灾害严重。

    2月尼泊尔游,一个词Lucky!
    (参三角阳台的尼泊尔行程实录(一)等16篇游记)
    2月,中国政府换届。“救火队长”王岐山升任副总理。

    3月份去婺源,是作为陪客去的,同行的有WOW中认识的久未活动腿脚的wuwu、菜菜,还有多少年没见面的老同学叶子。认识了Kenny,当然,领队还是小沐。(照片:2008-03 婺源
    3月14日,藏独闹事。
    3月22日,台湾大选结束,马上。
    3月24日,奥运圣火在希腊点燃,随即火炬传递活动遭到藏独分子的频繁干扰。


    4月,7尖超虐游。(参:天目7尖虐游记;照片多在三夫论坛:http://bbs.sanfo.com/dispbbs.asp?boardID=76&ID=102670&page=2)领队bigbadegg,也称耗子,结识了复旦的小师妹兔子bibi和严寒;严重佩服青牛,新人初登场,就挑战高难度。严重鄙视自己,2度想退出,最终还是伤了膝盖而结束行程。
    4月28日,山东火车出轨。

    5月,杭州毅行亲友团,半途而废。不过美女美食美景,大家还是都很High。领队青牛。
    5月,杭州行说起Wii和Wii Fit,心痒不如行动,回家第2天就去买了,开始练瑜伽。
    5月12日,汶川大地震。全国震撼。我们也被震撼,难过、感动,至今尚未平复。(刚才看南方周末的6版特别报道,又忍不住眼泪涌动)。我们也捐款,虽然不多,尽力而为。

    6月,计划去探路,但是因为暴雨山洪冲垮了道路,最终不得成行。
    6月,和兔子严寒说起哈巴雪山,“一拍即合”,于是做计划,于是开始锻炼。
    6月,南方大部分地区暴雨洪涝成灾。
    6月,陈江会,谈妥周末包机和大陆游客赴台旅游的协议。两岸关系进入新的蜜月期。


    Ref: 我的旅游日志Link
    http://delxu.spaces.live.com/?_c11_BlogPart_BlogPart=summary&_c=BlogPart&partqs=cat%3d%25e6%2597%2585%25e6%25b8%25b8

    6/15/2008

    VCP复习笔记(1) -- Storage

    iSCSI

    * iSCSI的优点:1)cost低;2) Infrastructure简单,和Ethernet一样;3) 支持Internet; 4) Longhaul transfer,就是指可以通过Internet连接到远程的data center里面的storage,这点FC很难做到

    * RFC3720 : iscsi node命名规则(最长256字符):iqn.year-mo.公司域名(反向):storage名字
    e.g. iqn.1992-08.com.netapp:stor1

    * iscsi node可以是一个target或者是一个initiator或者both

    * initiator -- Host 端 (ESX Server)
      target -- Storage端 (Netapp)

    * SP --指Storage Processor,是位于Stoarge上的接口,类似于Host上面的HBA

    * ESX Server支持从iSCSI boot
      只支持从Hardware initiator启动,不支持software initiator
      要更改QLogic Adapter的BIOS中的启动顺序

    * iSCSI session的建立,需要3个参数:target的(1)IP,(2)TCP端口(默认是3260)以及(3)iqn名

    这不是用作LUN discovery的,LUN discovey仍然需要用SCSI的协议来发现

    * iSCSI LUN的discovery method --- 2 种
    (1) Static (2) SendTarget (也叫Dynamic)
    Static,就是所有参数都配置好的,无需discovey
    SendTarget,就是只配了IP和port,用这2个参数来建立一个discovery的session,然后initiator会发出一个SendTargets的命令来query target

    * Hardware initiator同时支持这2种(Static和SendTargets),Software initiator只支持SendTargets

    * iSCSI authentication用CHAP (Challenge-Handshake Authentication Protocol). 默认情况CHAP是Disable的
      Good Practice是:(1)用独立的网络(或者VLAN)来跑iSCSI数据传输;(2) 启用CHAP

    * ESX Server不能同时支持Hardware initiator和software initiator

    * 每台ESX Host最多2个Hardware initiator (2块HBA卡),最多支持64个target,256个LUN。

    VMFS

    * VMFS Volume是用来存放VM和VM State的地方,也可以用来放ISO image和VM Template

    * VMFS Volume从console进去可以到/vmfs/volumes/下面访问

    * Multipathing, 2 种Failover:MRU(Most Recently Used, default,不会自动failback)和Fixed(会自动failback)
      MRU is best for active/passive (比如HP MSA1000/EMC Clariion).  Fixed is best for active/active

    * iSCSI Multipathing主要是通过IP网络来实现的。ESX 3 iSCSI Multipathing只支持active/passive

    * 每个ESX Server 可以最多有256个VMFS Volume,VMFS Volume最小1.2GB,最大2TB,再大就需要extent,最多可以extend到64TB

    * 越多VM共享一个VMFS Volume,就越有可能因为争用disk I/O导致性能下降,VMware推荐每VMFS最多32个VM

    * VM Virtual disk最大2TB,最大的文件大小2TB,block size:1MB - 8MB (Block1MB时,最大VMFS volume 256GB,Block 8MB时是2TB)

    * 最多可以有32台ESX Server链接到同一个Volume

    NFS Storage

    * ESX只支持NFS3 over TCP,不支持CIFS

    * NFS Volume可以用来存放VM,VM template, ISO image, VM state。支持boot VM,创建VM,支持VMotion。

    * NFS Volume不可以用来boot ESX Host

    * 每台NFS server默认只能有8 个NFS mount(要修改这个值,到configuration --> advanced settings --> NFS 修改NFS.MaxVolumes值),最多32个NAS Datastore。

    * NAS server要启用no_root_squash,允许root帐号可以RW

    * 避免VM Swapping放在NFS volume上,