VMware ESXi

年末年始にかけて、VMware ESXiをずっと調べいたので、まとめのリンク集として公開。
いやー、久々に熱いツールですね。このためだけに、DELLかHPのサーバがほしくなりました。
メモリも激安なので、10GBオーバー8GB*1で、マシン集約が自宅でもできそうですね。
変更履歴

  • 1/12 公開
  • 1/13 ベンダー提供資料追加(IBM関係),仮想化関係書籍追加
  • 1/14 ベンダー提供資料追加(Networld)追加
  • 1/17 wikiにお勧めを追記
  • 5/27 最新リンクを別ページで公開。
VMware ESXiオフィシャルサイト、wiki、まとめ
VMware ESXi
http://www.vmware.com/jp/products/esxi/

ドキュメント類
http://www.vmware.com/jp/support/pubs/vi_pubs_35u2.html
クイックスタートガイド,システム互換性ガイドあたりは最低限チェックすべし。

Wikipedia:VMware
http://ja.wikipedia.org/wiki/VMware

VMware/ESXi (お勧め)
http://hirokasa.jp/new/index.php?VMware%2FESXi

VMware ESXi3 wiki (お勧め)
http://wiki.aggregate.jp/index.php?ESXi3

VMware まとめ Wiki
http://wiki.mm2d.net/vmware/index.php?FrontPage

VMware ESXi 3.5 wiki	
http://yakitech.mine.nu/VM/VMware_ESXi_3.5



■ベンダー提供資料
□IBM/VMware 仮想化関連資料ダウンロード期間限定サイト
http://info.vmware.com/content/jp_cp08q2i
IBMVMware共同の期間限定の仮想化関連資料。通常、これらの資料は飯の種なのですが、太っ腹なことにIBMはこの手の情報を無償公開しています。なくならないうちにダウンロードしておきましょう。
参考:直リンク(いくつか)
VMware VI3運用ノウハウおよびTips
http://www-304.ibm.com/jct03004c/easyaccess/fileserve?contentid=138572VMware環境におけるシステム監視」資料
http://www-01.ibm.com/support/docview.wss?uid=std39e066d43b958929d4925749b003a829f
Servers - VMware ESX Server 3.0 導入ガイド
http://www-01.ibm.com/support/docview.wss?uid=pcd1syj0-0068b36
IBMが考えるVMwareの展開
〜計画から運用まで〜
http://campaign.vmware.com/imgs/apac/vsf2008_jp_files/pdf/1-2_IBM.pdf

□Networld VMware 製品版ダウンロード(公開資料)
http://www.networld.co.jp/vmware/tech/download.htm
FAQ
http://www.networld.co.jp/vmware/tech/index_faq.htm
FAQが無料で見れるなんてすばらしい.


■ハードウェア関係
HCL: I/O Compatibility Guide For ESX Server 3.5 and ESX Server 3i
http://www.vmware.com/resources/techresources/1033
LANカードはBroadcom, Intel, Neterion, NetXen, Nvidia の一部の LAN カード、カニさんチップはだめ。

SC420 Maniacs
http://sc420.at.webry.info/
格安サーバ情報。

電源、DELL関係のWIKI
http://pc.usy.jp/wiki/index.php?FrontPage
T105関係の情報
http://pc.usy.jp/wiki/index.php?PowerEdge/T105

PowerEdge T105 年末年始特別企画 インターネット限定クアッドコア搭載特別パッケージ(期間限定 1/5まで・合計300台限定・1社様3台まで )
http://configure.apj.dell.com/dellstore/config.aspx?c=jp&cs=jpbsd1&l=ja&oc=6285B0703&s=bsd
販売価格  90,825円 →割引額  74,025円 →パッケージ価格  16,800円 
クアッドコアのサーバが送料込みで2万円以下!
もう終わったキャンペーンだけど、前回のキャンペーンが9月なので、3月にもう一回キャンペーンがあるとおもうので、その時に買うかも。

T105対応のDDR2 ECC付メモリ
http://search3.auctions.yahoo.co.jp/jp/search/auc?p=T105&auccat=2084211599
2GBで5千円程。十分手が届きます。

AtomマシンでVMware ESXiが動いた! (VMware ESXi is available on Atom PC!)
http://blog.bari-ikutsu.com/entry/20080903_199.html


■ESXiのインストール方法
対応のハードウェアを準備する。お勧め構成は、以下のとおり。
・CPU(Intel-VT,AMD-Vなど、最低限Dual Coreであること)
・LANカード(対応しているLANカードは少ない。やはりIntel LANカードは1枚常備が推奨)
・SATA(チップが対応していないとはまるので、実績のあるチップのマザーボードを選ぶ)
オフィシャルサイトから、ISOイメージをダウンロード。CD-ROMに焼くか、USBメモリを用意してbootデバイスを構築する。
あとは、その他のインストール記事を参考にインストールする。
簡単なのは、ESXiレディのHPか、DELLNECの格安サーバを買ってくるのが手間がかからなくてよい。
対象機器をDual Bootしている場合は、HDDをちゃんと抜いておくこと。ESXiでHDDが認識されると、自動的にstorage(datastore) になる。VMFS でフォーマットされるので要注意。

VMware ESXi を USB メモリにインストールして HP ML115 で起動
http://d.hatena.ne.jp/sfujiwara/20080807/1218095706
ESXi 無償公開と検証 1
http://d.hatena.ne.jp/earthlab/20080730/1217409837
ESXi 無償公開と検証 2
http://d.hatena.ne.jp/earthlab/20080730/1217411406
ESXi 無償公開と検証 3
http://d.hatena.ne.jp/earthlab/20080730/1217412558
ESXi 無償公開と検証 4
http://d.hatena.ne.jp/earthlab/20080731/1217501899
ESXi 無償公開と検証 5
http://d.hatena.ne.jp/earthlab/20080806
iSCSIによるデータストア設定方法

VMWare ESXi 3.5 をインストール †
http://okkun-lab.rd.fukuoka-u.ac.jp/wiki/?Tips%2FVMWare%2FESXi

株式会社 国建システム VMware ESXi
第1回 VMWare ESXiの動作検証(1)
http://www.kunisys.co.jp/?p=599
第2回 VMWare ESXiの動作検証(2)
http://www.kunisys.co.jp/?p=622
例のバグ対策を実例で紹介。

ESX3i_bootable 
http://moti.g.hatena.ne.jp/keyword/ESX3i_bootable
bootable USB Flash memory 作成方法

認定HW以外でESXを動作させる方法
http://communities.vmware.com/thread/157784

SC420で VMware ESXi 3を動かす。
http://namahage.dip.jp/blog/index.php/sc420%E3%81%A7-vmware-esxi-3%E3%82%92%E5%8B%95%E3%81%8B%E3%81%99%E3%80%82/2183
CPUIDのチェックの無効化方法。

指導員日記
http://www.servered.net/cgi-bin/search.cgi?search=esxi&IncludeBlogs=1&limit=20
USB起動のインストール方法が詳しい。
あと、いろいろと、参考元が掲載されているので、リンク集としても秀逸。


■ライセンスの設定方法
VMware ESXiの無料ライセンスを取得する
http://blog.nabe.jp/archives/000088.html


■ゲストOSのインストール
VMWare ESXiでサーバー仮想化 - インストール編
http://dann.g.hatena.ne.jp/dann/20081101/p1
□Boot Delayの設定
ESXiはローカルCD/DVDドライブは使えないので、仮想マシンへのOSのインストールは、
VMware Infrastructure Client(以下VI Client)を起動したクライアントPC
のDVDドライブを使って行う。その際には、boot delayの設定を行わないと、
「Operating system not found」とエラーになる。
・Edit Virtual Machine settings → Options → Boot Options → Power boot on delay 
・2500に設定

ESXi CD/DVD Drive Tips
http://noro.name/~sammy/?p=109
VMWare ESXi でローカルPC の CD ドライブからゲストOS をインストールする方法のTips。結構、タイミングとか難しかったので、こういう情報はありがたい。

ゲストOSにWindowsXPインストール
まず、ESXiは仮想ディスクにSCSIしかサポートしていない。そして、WindowsXPは標準ではSCSIドライバにインストールCDが対応していない。_| ̄|○
そのため、WindowsXPのインストール途中で、SCSIドライバを読み込ませなければいけない。ドライバは以下のURLからダウンロードできる。
http://download3.vmware.com/software/vmscsi-1.2.0.4.flp 
WindowsXPのCD-ROMから起動し、VMI クライアントからFDイメージをマウント、ドライバ読み込みタイミングで、F6を押せばSCSIドライバを読み込んでくれます。
VMware FusionあるWindows簡易インストール機能をESXiにも付けてくれればよいのに・・・まぁ、VMware社的にはシンクライアントソリューションは別にあるから、ESXiでWindowsXPは使ってほしくないんでしょうね。

VMware ESXiにCentOS 5をインストールする(1) 〜バーチャルマシンの設定
http://blog.nabe.jp/archives/000105.html
VMware ESXiにCentOS 5をインストールする(2) 〜初期設定
http://blog.nabe.jp/archives/000106.html
VMware ESXiにCentOS 5をインストールする(3) 〜アプリケーションの選択 
http://blog.nabe.jp/archives/000107.html
VMware ESXiにCentOS 5をインストールする(4) 〜yum updateとVMware Toolsの導入
http://blog.nabe.jp/archives/000108.html

VMware ESX Server を使用して Linux 仮想マシンDB2 Enterprise 9 をセットアップする
http://www.ibm.com/developerworks/jp/linux/db2/library/techarticle/dm-0703gupta/index.html


■運用関係
無償のVMware ESXiでホットバックアップを自動で実行する方法(のヒント) 
http://blog.xe.bz/archives/51126645.html
他にもVMware ESXiサーバの運用面に関するエントリーあり。
特にiSCSIまわりの運用のノウハウが充実。

VMware VI3運用ノウハウおよびTips	
http://www-304.ibm.com/jct03004c/easyaccess/fileserve?contentid=138572

ESXiのバージョンアップで冷や汗
http://yakitech.wordpress.com/2008/12/04/esxi%e3%81%ae%e3%83%90%e3%83%bc%e3%82%b8%e3%83%a7%e3%83%b3%e3%82%a2%e3%83%83%e3%83%97%e3%81%a7%e5%86%b7%e3%82%84%e6%b1%97/#more-452
むー。こういう記事を見ると、まだ本番環境で使うのは厳しいのかもしれない。

関連記事:VMware、ESXiとESX 3.5の深刻な脆弱性を修正
http://www.itmedia.co.jp/enterprise/articles/0809/21/news003.html

ESXi 番外編 アップデート方法について
http://d.hatena.ne.jp/earthlab/20080813
8/12になると起動不可になる致命的なバグが発症したらしい。
その対策。

VMware ESXiでゲストOSのクローンを作成する
http://blog.nabe.jp/archives/000110.html
VMware Infrastructure ClientのBrowse Datasoreでクローンを作成する方法
http://blog.nabe.jp/archives/000111.html
有償のVirtualCenter Serverでクローンを作成する方法

□ファイルコピー
VMware Infrastructure ClientのBrowse Datasoreでアップロード、ローカル
コピーできるもの
・仮想マシン
・OSのISOイメージ(ブート用途に使える)


■その他、Tips
□ESXiサーバで準仮想化の設定方法
Edit Settings
Options→Advanced→Paravirtualization→Support VMI Paravirtualization 
確認方法はdmsgで以下のメッセージがあればOK
Booting paravirtualized kernel on vmi
ちなみにUbuntuは標準カーネルで準仮想化をサポート、CentOS5.2はサポート
していない。Xenカーネルのインストールが必要。
完全仮想化と準仮想化では、準仮想化のほうがパフォーマンスがよい。

□VMware OVF EULA - VMware:ovfTool
http://www.vmware.com/download/eula/ovf_eula.html
VMware Workstationなどで使用している仮想環境のVMware ESXi Server形式
ovf (Open Virtualization Format) への変換ツール。
変換の方法

ovfTool.exe c:\work\変換元\foo.vmx c:\work\変換先\foo.ovf

□ESXiサーバのストレージ情報
ESXiサーバーでのVMイメージの格納場所
/vmfs/volumes/

□ESXiサーバにSSH接続する方法
Alt-F1 -> unsupportedコマンドを打つ
#vi /etc/inetd.conf を編集する
ssh     stream  tcp     nowait  root    /sbin/dropbearmulti     dropbear ++min=0,swap,group=shell -i
Alt-F2 -> rebootでssh接続可能。

□ESXiでVirtual Applianceを作る
ESXiでVirtual Applianceを作れる。いわばテンプレート化が可能。
Virtual Appliance > Export
できた仮想マシンはえらくファイル容量が少ないので圧縮もしくはフリーエリア
はあらかじめ確保しないのかも。


■VMware on VMware
VMware Infrastructureによる仮想環境構築法 
http://itpro.nikkeibp.co.jp/article/COLUMN/20060630/242226/?ST=lin-server

VMwareESXi上でVMwareESXを動かす
http://spacesheriffsharivan.blog9.fc2.com/blog-entry-102.html
VMotionの実験環境構築。

VMwareの仮想化の基本とNotePCで動かすESXi3.5
http://www.ospn.jp/osc2008-kansai/19-A2-VMware.pdf
VMware Server上でESXiを動かす方法の紹介。


■ツール
□VMware Converter
VMware Converter 便利
http://espion.just-size.jp/archives/07/299181638.html
VMware ServerのVirtual MachineをVMware ESXiに移行する方法 
http://blog.xe.bz/archives/51055875.html
vmware server を vmware ESXi に移行する 
http://tetz.blog39.fc2.com/blog-entry-267.html

Windowsで使えるddコマンド
http://uranus.it.swin.edu.au/~jn/linux/rawwrite/dd.htm

VMwarePlayer便利ツール
http://spacesheriffsharivan.blog9.fc2.com/blog-entry-37.html#more
VMX Builde: vmxファイルの作成ツール。
sexe:実行ファイルをサービスにできるフリーソフト。

Veeam Monitor Free Edition 3.0 for VMware Infrastructure 3
http://www.veeam.com/download.asp?step=2&license_type=36
Veeam社が無償版Monitor 3.0をリリース(20081222-3)
http://www.virtualization.info/jp/2008/12/veeammonitor-3020081222-3.html

SP+メーカー
http://www.ak-office.jp/
VMware関係じゃないけど便利そうなツールなのでついでで紹介
nLiteより便利そう
http://orange.zero.jp/angel.omega/nLite.htm


■バックアップ
□VMware ESXiのバックアップコマンド 
# vmkfstools -i VM.vmdk ./work/VM_copy.vmdk
実測で1.2GBのファイルコピーでcpコマンドで75秒がvmkfstoolsで38秒になった。
vmstatで転送効率を確認したが、特に劇的に早くなっているわけではない。
想像だが、圧縮をしているか、未使用領域をコピーしていないのかのどちらかではないかと思われます。
ちなみに、稼動中は排他処理が聞いているので、有償のVMware Consolidated  Backup(VCB)といった機能を使わないと使えません。vmkfstoolsもコールドバックアップ限定です。

無償のVMware ESXiでホットバックアップを自動で実行する方法(のヒント)
http://blog.xe.bz/archives/51126645.html
ESXiでバックアップの自動処理化。これは参考になります。

HDDを丸ごとバックアップ@Drive Image XML 
http://pnpk.net/cms/archives/137


■ネットワーク関係
Linux CentOS5.2 VLAN Interface作成
http://metaphor1.exblog.jp/9058198/
Linux CentOS5.2 Bonding Interface作成
http://metaphor1.exblog.jp/9058210/
Linux CentOS5.2 Bonding&VLAN Interface作成
http://metaphor1.exblog.jp/9058101/


■ストレージ関係
VMFS3 File System
http://d.hatena.ne.jp/takaochan/20070411
VMFS-3の場合、1ボリュームあたりのファイル数は3840個まで、フォルダ数も220個まで
ブロックサイズあたりの最大仮想ディスクサイズは以下のとおり。
ブロックサイズ 最大仮想ディスクサイズ 
1MB 		256GB 
2MB 		512GB 
4MB 		1024GB 
8MB 		2048GB 

VMware ESXi上でFreeNASを動かす
http://blog.bari-ikutsu.com/entry/20080903_212.html

DRBD + Keepalived + iSCSI target を VMware ESXi から使うメモ
http://d.hatena.ne.jp/sfujiwara/20081014/1223980412OS-1グランプリ】今日からはじめるOS入門
第4回:FreeNASでストレージ専用機の構築
http://www.thinkit.co.jp/article/80/4/

ポート・マルチプライヤで大容量ストレージを構築する(1) 
http://blog.nabe.jp/archives/000113.html
ポート・マルチプライヤで大容量ストレージを構築する(2) 
http://blog.nabe.jp/archives/000115.htmlNFSサーバ関係
WindowsNFSサービス稼動
http://metaphor1.exblog.jp/8937589/
WindowsXP NFSサーバ ESXi NFSクライアント マウント
http://metaphor1.exblog.jp/8945537/

FreeNASのiSCSIはCHAP認証に対応していない


■ベンチマーク
T105+ESXi+WindowsXP+VMWare Tools
ベンチマーク結果
http://coralocean.sakura.ne.jp/2008/10/20081029233055781
コア数に比例してパフォーマンスアップ

VMware ESXiでiSCSIベンチマーク 
http://blog.xe.bz/archives/51051432.html
http://blog.xe.bz/archives/51051932.html

Atom+ESX+UbuntuのパフォーマンスをSunSpiderで測る
http://blog.bari-ikutsu.com/entry/20080912_268.html

Virtualization Benchmark (VMware ESXi, Windows Hyper-V)
http://d.hatena.ne.jp/jitsu102/20081226/1230241626

VMware ESXiの評価(Dell SC440) ネットワーク負荷計測の巻(No more Disk I/O偏)
http://d.hatena.ne.jp/ichikaway/20080919/1221791084

VMware ESXiの評価(Dell SC440) ネットワーク負荷計測の巻
http://d.hatena.ne.jp/ichikaway/20080918/1221733088

VMware ESXiの評価(Dell SC440) bonnie++でIO負荷計測の巻
http://d.hatena.ne.jp/ichikaway/20080918/1221722522


■注目ニュース記事
【仮想化を楽しむ】徹底解説!VMware ESXi
http://thinkit.jp/article/572/1/
第1回 ESXiって何だ? 
第2回 ESXiのインストール! 
第3回 仮想マシンの作成! 
第4回 ESXiの使いどころ! 

VMware ESXiで盛り上がる仮想化専用ブレード
http://www.itmedia.co.jp/enterprise/articles/0809/11/news005.html

VMware社の1つのミスにより数千台の仮想インフラが機能停止の可能性(200812-1)
http://www.virtualization.info/jp/2008/08/vmware1200812-1.html

virtualization.info とは 
http://www.virtualization.info/jp/
ロードマップとかすばらしいコンテンツあり。
http://www.virtualization.info/roadmap/Roadmap_2008.png

ComputerWorld仮想化の真実
http://www.computerworld.jp/topics/vt/
サーバ仮想化導入ステップガイド[計画編] 
http://www.computerworld.jp/topics/vt/111549.html
サーバ仮想化導入ステップガイド[配備編] 
http://www.computerworld.jp/topics/vt/111569.html
なにげに、CompyuterWorldはよい記事が多い。


■仮想化関係書籍
VMware徹底入門 (DVD付) (大型本) 
ヴイエムウェア株式会社 (著) 
価格: ¥ 3,654 (税込)  
http://www.amazon.co.jp/dp/4798118095/joujisetsuzok-22/

サーバ仮想化テクノロジ ガイド (IDGムックシリーズ) (ムック) 
価格: ¥ 1,780 (税込) 
http://www.amazon.co.jp/dp/4872802896/joujisetsuzok-22/

すべてわかる仮想化大全2009 (日経BPムック) (大型本) 
ITpro (著, 編集) 
http://www.amazon.co.jp/dp/4822234258/joujisetsuzok-22/
もう買えないかも。売り切れか。

[24時間365日] サーバ/インフラを支える技術 
スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 
価格: ¥ 2,919 (税込)  
http://www.amazon.co.jp/dp/4774135666/joujisetsuzok-22/
内容的に興味がありますが、中身を見てから買う予定。

Software Design (ソフトウエア デザイン) 2008年 12月号 [雑誌] (雑誌) 
価格: ¥ 970 (税込)  
http://www.amazon.co.jp/dp/B001J7CIYY/joujisetsuzok-22/
確か会社の書棚にあったはず。後で確認。


■その他記事
進化するLifeKeeper
第2回:仮想マシンクラスタ化は必要か?
http://thinkit.jp/article/317/1/
第3回:新レプリケーション機能とは?
http://thinkit.jp/article/332/1/

【仮想化を楽しむ】
ハードウエアから見た仮想化技術
第1回:CPUの仮想化
http://thinkit.jp/article/578/1/
第2回:新CPUで仮想化がもっと使える!
http://thinkit.jp/article/580/1/
第3回:クロスプラットホームの仮想化
http://thinkit.jp/article/589/1/
第4回:安価に無停止を実現する方法
http://thinkit.jp/article/622/1/

ゼロ円でできる仮想化:VMware Serverのインストールから管理まで
http://www.atmarkit.co.jp/flinux/special/vmware/vmwarea.html

連載記事 「実践! Xenで実現するサーバ統合」
http://www.atmarkit.co.jp/flinux/index/indexfiles/xenindex.html

VMware Server使いの憂鬱
http://wizardbible.org/43/43.txt
金床さん著。トラブルシューティングの思考方法が参考になります。

【仮想化を楽しむ】
徹底比較!Macの仮想化技術
http://www.thinkit.co.jp/article/128/
ノートパソコンほしい病が発症中。Macのノートでも買おうかしら。

【仮想化を楽しむ】徹底解説!VMware ESXi
http://www.thinkit.co.jp/article/127/
近い将来、ESXiは評価してみると宣言してみるテスト。

ThinkIT 仮想化チャンネル
http://www.thinkit.co.jp/channel/virtualization.html

会社引っ越し ブレードで仮想化大作戦
http://ascii.jp/elem/000/000/169/169566/

ITPro 仮想化
http://itpro.nikkeibp.co.jp/virtual/index.html

「仮想化」ホワイトペーパー一覧
http://techtarget.itmedia.co.jp/tt/wpkw/virtualization.html

仮想化 - SourceForge.JP Magazine
http://sourceforge.jp/magazine/search?ie=UTF-8&t=magazine&q=%E4%BB%AE%E6%83%B3%E5%8C%96

*1:すいません。適当に調べずに書きました