ニフティクラウド新サーバータイプType-eのベンチマーク
2014年10月1日、ニフティクラウドからコストパフォーマンスを高めたサーバータイプ「Type-e」がリリースされました。
これに伴い、従来のサーバータイプは「Type-h」と命名されたようです（以前からそうだったのかも）。
・ニフティクラウド サーバータイプ・仕様
http://cloud.nifty.com/service/spec.htm
・ニフティクラウド 料金表
http://cloud.nifty.com/price/
同スペックで比較すると、「Type-e」の料金は「Type-h」の半額以下で、スペックが高いほど差が大きくなっています。
料金がこんなに安くなってサーバーの性能はどれぐらい違うのか、気になりますね。
ということで、さっそく「Type-e」と「Type-h」のサーバーベンチマーク、ディスクベンチマークをとってみました。
また、値を他のクラウドサービス(IaaS)と比較しました。
対象のサーバースペックは、1vCPU メモリ2GB、2vCPU メモリ4GB、4vCPU メモリ8GBの3つずつ。
リージョンは東日本、ゾーンは同じく10月1日に新設されたeast-14、OSはCentOS 6.4、計測日は2014年10月2日です。
サーバー性能（CPU性能）unixbench
サーバーベンチマークツールunixbenchの実行結果は以下のとおりです。
サーバータイプ名に e- がついているほうが、新サーバータイプ「Type-e」です。
| サーバータイプ、スペック | 月額料金（税抜） | single cpu | multi cpu |
| e-small2 1vCPU, メモリ2GB | 8,700円 | 886.1 | – |
| small2 1vCPU, メモリ2GB | 17,280円 | 1784.0 | – |
| e-medium4 2vCPU, メモリ4GB | 15,000円 | 1551.5 | 1532.6 | medium4 2vCPU, メモリ4GB | 33,400円 | 1786.1 | 3009.6 |
| e-large8 4vCPU, メモリ8GB | 25,000円 | 1780.2 | 2542.0 |
| large8 4vCPU, メモリ8GB | 63,360円 | 1869.9 | 4846.7 |
グラフはこちら。
unixbench 「Type-e」と「Type-h」の比較
「Type-e」サーバーはmulti-cpu（CPUコアをすべて使う場合）の性能が「Type-h」よりも落ちることがわかります。
CPUコア数が増えても性能がさほど伸びない（＝スケール度合が小さい）、という感じです。
とくにe-medium4については、multi-cpuのスコアがsingle-cpuよりわずかに低い値となってしまいました。
これは翌日に再度計測しても同様の傾向が見られました。
/proc/cpuinfo を確認するとOSからはCPUが2個見えているのですが、よくわかりませんね。
e-medium4のunixbench実行結果の詳細は次のとおりです（クリックすると表示されます）。
multi-cpuはFile Copyの値があまりよくありません。
========================================================================
BYTE UNIX Benchmarks (Version 5.1.2)
System: emedium4: GNU/Linux
OS: GNU/Linux -- 2.6.32-358.el6.x86_64 -- #1 SMP Fri Feb 22 00:31:26 UTC 2013
Machine: x86_64 (x86_64)
Language: en_US.utf8 (charmap="UTF-8", collate="UTF-8")
CPU 0: Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz (6000.0 bogomips)
x86-64, MMX, Physical Address Ext, SYSENTER/SYSEXIT, SYSCALL/SYSRET
CPU 1: Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz (6000.0 bogomips)
x86-64, MMX, Physical Address Ext, SYSENTER/SYSEXIT, SYSCALL/SYSRET
15:23:07 up 35 min, 1 user, load average: 0.86, 3.26, 2.72; runlevel 3
------------------------------------------------------------------------
Benchmark Run: 木 10月 02 2014 15:23:07 - 15:51:14
2 CPUs in system; running 1 parallel copy of tests
Dhrystone 2 using register variables 37308483.9 lps (10.0 s, 7 samples)
Double-Precision Whetstone 3875.9 MWIPS (10.3 s, 7 samples)
Execl Throughput 3947.6 lps (30.0 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks 1074725.3 KBps (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks 299693.5 KBps (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks 2967365.5 KBps (30.0 s, 2 samples)
Pipe Throughput 2127025.0 lps (10.0 s, 7 samples)
Pipe-based Context Switching 394047.0 lps (10.0 s, 7 samples)
Process Creation 9802.2 lps (30.0 s, 2 samples)
Shell Scripts (1 concurrent) 5413.8 lpm (60.0 s, 2 samples)
Shell Scripts (8 concurrent) 771.2 lpm (60.1 s, 2 samples)
System Call Overhead 2609097.4 lps (10.0 s, 7 samples)
System Benchmarks Index Values BASELINE RESULT INDEX
Dhrystone 2 using register variables 116700.0 37308483.9 3197.0
Double-Precision Whetstone 55.0 3875.9 704.7
Execl Throughput 43.0 3947.6 918.1
File Copy 1024 bufsize 2000 maxblocks 3960.0 1074725.3 2714.0
File Copy 256 bufsize 500 maxblocks 1655.0 299693.5 1810.8
File Copy 4096 bufsize 8000 maxblocks 5800.0 2967365.5 5116.1
Pipe Throughput 12440.0 2127025.0 1709.8
Pipe-based Context Switching 4000.0 394047.0 985.1
Process Creation 126.0 9802.2 778.0
Shell Scripts (1 concurrent) 42.4 5413.8 1276.8
Shell Scripts (8 concurrent) 6.0 771.2 1285.3
System Call Overhead 15000.0 2609097.4 1739.4
========
System Benchmarks Index Score 1551.5
------------------------------------------------------------------------
Benchmark Run: 木 10月 02 2014 15:51:14 - 16:20:32
2 CPUs in system; running 2 parallel copies of tests
Dhrystone 2 using register variables 41476850.5 lps (10.0 s, 7 samples)
Double-Precision Whetstone 3749.6 MWIPS (16.6 s, 7 samples)
Execl Throughput 4940.2 lps (30.0 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks 733574.2 KBps (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks 195464.6 KBps (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks 2215041.6 KBps (30.0 s, 2 samples)
Pipe Throughput 2354744.0 lps (10.0 s, 7 samples)
Pipe-based Context Switching 456309.7 lps (10.0 s, 7 samples)
Process Creation 14988.2 lps (30.0 s, 2 samples)
Shell Scripts (1 concurrent) 5771.7 lpm (60.0 s, 2 samples)
Shell Scripts (8 concurrent) 789.0 lpm (60.0 s, 2 samples)
System Call Overhead 2355691.6 lps (10.0 s, 7 samples)
System Benchmarks Index Values BASELINE RESULT INDEX
Dhrystone 2 using register variables 116700.0 41476850.5 3554.1
Double-Precision Whetstone 55.0 3749.6 681.8
Execl Throughput 43.0 4940.2 1148.9
File Copy 1024 bufsize 2000 maxblocks 3960.0 733574.2 1852.5
File Copy 256 bufsize 500 maxblocks 1655.0 195464.6 1181.1
File Copy 4096 bufsize 8000 maxblocks 5800.0 2215041.6 3819.0
Pipe Throughput 12440.0 2354744.0 1892.9
Pipe-based Context Switching 4000.0 456309.7 1140.8
Process Creation 126.0 14988.2 1189.5
Shell Scripts (1 concurrent) 42.4 5771.7 1361.3
Shell Scripts (8 concurrent) 6.0 789.0 1315.0
System Call Overhead 15000.0 2355691.6 1570.5
========
System Benchmarks Index Score 1532.6
2014年4月時点のほかのクラウドサービスのベンチマーク結果と比べたグラフがこちら。
unixbench 他クラウドサービスとの比較
同スペックのサーバーで比べると、「Type-e」は、料金とスコア値がIDCFクラウドに近いといえます。
ディスク性能 dbench
ディスクベンチマークツールdbenchの実行結果は下記のとおりです。
サーバータイプ名に e- がついているほうが、新サーバータイプ「Type-e」です。
| サーバータイプ、スペック | 月額料金（税抜） | dbench 1 | dbench 4 |
| e-small2 1vCPU, メモリ2GB | 8,700円 | 302.201 MB/sec | 386.660 MB/sec |
| small2 1vCPU, メモリ2GB | 17,280円 | 329.942 MB/sec | 651.471 MB/sec |
| e-medium4 2vCPU, メモリ4GB | 15,000円 | 299.871 MB/sec | 668.805 MB/sec | medium4 2vCPU, メモリ4GB | 33,400円 | 296.198 MB/sec | 781.021 MB/sec |
| e-large8 4vCPU, メモリ8GB | 25,000円 | 302.423 MB/sec | 799.313 MB/sec |
| large8 4vCPU, メモリ8GB | 63,360円 | 321.540 MB/sec | 852.593 MB/sec |
グラフはこちら。
dbench 「Type-e」と「Type-h」の比較
dbenchによるディスクベンチマークでは、「Type-e」は「Type-h」よりも少しスループット値が落ちるものの、unixbenchの結果ほどの差はありませんでした。
2014年4月時点のほかのクラウドサービスのベンチマーク結果と比べたグラフがこちら。
dbench 他クラウドサービスとの比較
「Type-e」のサーバーでも、他のクラウドサービスの同スペックのサーバーに比べてスループット値が優れていることがわかります。
ゾーンeast-13とeast-14の比較
本題から少し外れますが、同じ「Type-h」のサーバーでも、9月にeast-13ゾーンで計測した値と今回east-14ゾーンで計測した値は違いが見られたので、ここに記載します。
※「Type-e」は今回新設されたeast-14とeast-21でのみ使用可能で、east-13では使用できません。
・サーバー性能（CPU性能）unixbench
| サーバータイプ、スペック | single cpu | multi cpu |
| e-small2 (east-14) 1vCPU, メモリ2GB | 886.1 | – |
| small2 (east-14) 1vCPU, メモリ2GB | 1784.0 | – |
| small2 (east-13) 1vCPU, メモリ2GB | 1558.1 | – |
| e-medium4 (east-14) 2vCPU, メモリ4GB | 1551.5 | 1532.6 | medium4 (east-14) 2vCPU, メモリ4GB | 1786.1 | 3009.6 | medium4 (east-13) 2vCPU, メモリ4GB | 1560.1 | 2652.2 |
グラフはこちら。
unixbench ゾーンeast-13とeast-14の比較
・ディスク性能 dbench
| サーバータイプ、スペック | dbench 1 | dbench 4 |
| e-small2 (east-14) 1vCPU, メモリ2GB | 302.201 MB/sec | 386.66 MB/sec |
| small2 (east-14) 1vCPU, メモリ2GB | 329.942 MB/sec | 651.471 MB/sec |
| small2 (east-13) 1vCPU, メモリ2GB | 281.005 MB/sec | 492.989 MB/sec |
| e-medium4 (east-14) 2vCPU, メモリ4GB | 299.871 MB/sec | 668.805 MB/sec |
| medium4 (east-14) 2vCPU, メモリ4GB | 296.198 MB/sec | 781.021 MB/sec |
| medium4 (east-13) 2vCPU, メモリ4GB | 245.462 MB/sec | 625.839 MB/sec |
グラフはこちら。
debench ゾーンeast-13とeast-14の比較
「Type-h」のsmall2, medium4のeast-13とeast-14を比べると、サーバーベンチマーク、ディスクベンチマークとも、east-14のほうがよい値となりました。
ニフティクラウドは、ゾーンによって使用できる機能や起動できるサーバータイプが異なるので、おそらくゾーンごとにサーバーやストレージ、ネットワークのハードウェア機器や全体のアーキテクチャが異なり、それが性能の違いに表れてくるのではないかと思います。
新しいゾーンの設計には、これまでの運用ノウハウが十分に反映されている、とも考えられます。
「east-14は新設されたばかりで、稼働しているVMが少ないから性能がよいのではないか」という考え方もあるかもしれません。
ですが、物理サーバーやネットワーク機器は十分に用意してあるはずですし、VMが増えても性能が落ちないようなアーキテクチャになっていると思われますので、僕は「空いているから性能がよい」というわけではないと思います。
ということで、「新しいゾーンは運用実績が少ないから不安」というわけではない限り、新しいゾーンでサーバーを起動したほうがよさそうです。
なお、east-13とeast-14のサーバーで、/proc/info で見えるCPU情報は次のとおりです。
-- east-13 vendor_id : GenuineIntel cpu family : 6 model : 45 model name : Intel(R) Xeon(R) CPU E5-2690 0 @ 2.90GHz stepping : 7 cpu MHz : 2899.999 cache size : 20480 KB ... -- -- east-14 vendor_id : GenuineIntel cpu family : 6 model : 62 model name : Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz stepping : 4 cpu MHz : 3000.000 cache size : 25600 KB ... --
east-14のほうが少しだけ型番が新しく、クロックとキャッシュサイズが少しだけよい値となっています。
east-14については、「Type-e」「Type-h」とも全く同じ型番です。
まとめ
ニフティクラウドの新サーバータイプ「Type-e」と従来のサーバータイプ「Type-h」のサーバー・ディスクベンチマークをとりました。
その結果、「Type-e」は「Type-h」よりも少し性能が落ちるものの、他のクラウドサービスの同スペックのサーバーと比べると遜色なく、ディスクは速い、ということがわかりました。
また、「Type-h」については、east-13より新設のゾーンeast-14のほうが性能がよいことがわかりました。
ニフティクラウドについては、正直なところ「機能が多くて性能がよいことはわかっているけど、他と比べて高すぎて選択しにくいな。」と感じていましたが、「Type-e」はコストパフォーマンスがよく、十分選択肢に載せられると思いました。
同じCPU・メモリスペックなのに性能と料金が異なるプランがある、というのは他のクラウドサービス(IaaS)にはない機能で、新鮮ですね。
あとは、ディスクイメージのスナップショットを指定した世代だけ保存できる機能ができるとよいのですが。。
なお、既存の「Type-h」サーバーからの変更については、同じゾーン内であれば、「Type-h」と「Type-e」の変更は「サーバータイプ変更」機能で変更できます（OSの再起動が必要です）。
異なるゾーンにある既存の「Type-h」のサーバーを「Type-e」に変更するには、「サーバーコピー」機能を使えばよいそうです。
・ニフティクラウドFAQ east-11、east-12、east-13、west-11で稼働しているサーバーをType-eに移行するためにはどうすれば良いでしょうか？
http://cloud.nifty.com/cs/catalog/cloud_faq/catalog_141001001971_1.htm
（参考）
「ニフティクラウドユーザーブログ」にも「Type-e」のunixbenchとdbenchのベンチマーク結果が公開されていました。
・【速報!!】新サーバータイプ「Type-e」を早速ベンチマークしてみた
http://blog.cloud.nifty.com/2592/
（関連記事）
・ニフティクラウドを触ってみた
https://inaba-serverdesign.jp/blog/20140909/nifty_cloud.html
・IaaSクラウドのサーバーベンチマーク比較
https://inaba-serverdesign.jp/blog/20131204/cloud_server_benchmark.htm
