IaaSクラウドのベンチマークテスト（2020年版）
2020年に扱ったサーバーのうち、ベンチマークテストを実施したサーバーについて、結果をまとめます。
実施時期やスペックはバラバラです。
ベンチマークテストの基本的な条件
使用したIaaSクラウドサービスは次の5つです。
- さくらのクラウド
- さくらのVPS
- IDCFクラウド
- Amazon Web Services (AWS)
- Alibaba Cloud
テスト条件は次のとおりです。
- テスト実施時期は2020年2月～11月
- 日本国内のリージョンを使用。
- サーバーOSは、CentOS 7/8またはAmazon Linux 2。
- ベンチマークツールは、サーバー(CPU)性能計測のunixbench、ディスク性能計測のdbench。
- AWS EC2のt3タイプでは、Unlimitedモードを有効とし、無制限でCPUバーストするようにした。
- Alibaba Cloud ECSのt5タイプでは、CPUバーストの制限があった。
- ディスクはSSDタイプの永続ストレージ。ブートボリュームに対する計測。
- サーバーは新規作成後、ベンチマークテストの実施に必要な最低限の設定を行い、Apache, MySQL等のアプリケーション向けサービスは起動しない。
- テスト実施は各サーバーで1回のみ。現在は、計測するたびに大きく結果が異なるようなサービスは存在しないと考えているし、良くも悪くも、その値が出たことは事実であるため。
ベンチマークテスト結果
グラフはクリックすると大きく表示されます。
サーバー性能（CPU性能）unixbenchの結果
| サーバー | single cpu index score |
multi cpu index score |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 8 (2020/09) | 1279.8 | 2873.8 |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 7 (2020/10) | 678.8 | 1949.9 |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 7 (2020/10) | 773.3 | 2142.6 |
| さくらのクラウド 3コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/09) | 742.8 | 2241.1 |
| さくらのクラウド 4コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/06) | 798.8 | 2444.0 |
| さくらのクラウド 4コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/06) | 1285.5 | 3501.7 | さくらのVPS 6コア, 8GB, SSD 400GB, 石狩第1, CentOS 7 (2020/09) | 1263.9 | 4268.2 |
| IDCFクラウド S2 1vCPU, 2GB, SSD 15GB, 東日本2 candela, CentOS 8 (2020/09) | 644.0 | – |
| IDCFクラウド S2 1vCPU, 2GB, SSD 15GB, 東日本2 farad, CentOS 8 (2020/09) | 626.1 | – |
| IDCFクラウド M3 2vCPU, 3GB, SSD 15GB, 東日本2 kelvin, CentOS 7 (2020/02) | 1171.6 | 1230.8 |
| IDCFクラウド M4 2vCPU, 4GB, SSD 15GB, 東日本2 kelvin, CentOS 8 (2020/09) | 1076.7 | 1888.3 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp2 8GB, Tokyo, Amazon Linux 2 (2020/10) | 975.2 | 1505.4 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp3 8GB (IOPS:3000, Throughput: 150MB/sec), Tokyo, Amazon Linux 2 (2020/10) |
958.1 | 1478.0 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp3 8GB (IOPS:3000, Throughput: 250MB/sec), Tokyo, Amazon Linux 2 (2020/10) |
982.5 | 1501.7 |
| AWS EC2 t3.small 2vCPU, 2GB, gp2 8GB, Tokyo, Amazon Linux 2 (2020/10) | 899.2 | 1402.3 |
| AWS EC2 t3.medium 2vCPU, 4GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/10) | 943.9 | 1460.2 | AWS EC2 m4.large 2vCPU, 8GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/11) | 869.1 | 1275.5 |
| AWS EC2 m4.large 2vCPU, 8GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/11) | 875.6 | 1284.3 |
| Alibaba Cloud ECS t5-lc1m1.small 1vCPU, 1GB, SSD 40GB, Tokyo, CentOS 7 (2020/11) | 896.0 | – |
グラフはこちら。
ディスク性能 dbenchの結果
- スループット(MB/sec)
| サーバー | 1 Client | 4 Clients |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 8 (2020/09) | 44.4905 | 80.4258 |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 7 (2020/10) | 44.5305 | 73.7579 |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 7 (2020/10) | 44.5311 | 74.1856 |
| さくらのクラウド 3コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/09) | 116.727 | 340.433 |
| さくらのクラウド 4コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/06) | 76.686 | 240.901 |
| さくらのクラウド 4コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/06) | 94.5908 | 303.099 | さくらのVPS 6コア, 8GB, SSD 400GB, 石狩第1, CentOS 7 (2020/09) | 349.239 | 448.896 |
| IDCFクラウド S2 1vCPU, 2GB, SSD 15GB, 東日本2 candela, CentOS 8 (2020/09) | 319.141 | 351.728 |
| IDCFクラウド S2 1vCPU, 2GB, SSD 15GB, 東日本2 farad, CentOS 8 (2020/09) | 298.913 | 352.047 |
| IDCFクラウド M3 2vCPU, 3GB, SSD 15GB, 東日本2 kelvin, CentOS 7 (2020/02) | 396.019 | 780.535 |
| IDCFクラウド M4 2vCPU, 4GB, SSD 15GB, 東日本2 kelvin, CentOS 8 (2020/09) | 431.564 | 1082.02 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp2 8GB, Tokyo, Amazon Linux 2 (2020/10) | 288.158 | 771.792 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp3 8GB (IOPS:3000, Throughput: 150MB/sec), Tokyo, Amazon Linux 2 (2020/10) |
172.646 | 536.041 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp3 8GB (IOPS:3000, Throughput: 250MB/sec), Tokyo, Amazon Linux 2 (2020/10) |
164.682 | 550.699 |
| AWS EC2 t3.small 2vCPU, 2GB, gp2 8GB, Tokyo, Amazon Linux 2 (2020/10) | 232.522 | 731.200 |
| AWS EC2 t3.medium 2vCPU, 4GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/10) | 289.217 | 788.965 | AWS EC2 m4.large 2vCPU, 8GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/11) | 267.229 | 598.841 |
| AWS EC2 m4.large 2vCPU, 8GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/11) | 259.282 | 614.772 |
| Alibaba Cloud ECS t5-lc1m1.small 1vCPU, 1GB, SSD 40GB, Tokyo, CentOS 7 (2020/11) | 200.517 | 368.503 |
グラフはこちら。
- 最大レイテンシ(msec)
| サーバー | 1 Client | 4 Clients |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 8 (2020/09) | 374.619 | 1288.742 |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 7 (2020/10) | 378.496 | 1302.304 |
| さくらのクラウド 3コア, 8GB, 標準 100GB, 石狩第1, CentOS 7 (2020/10) | 380.153 | 1294.356 |
| さくらのクラウド 3コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/09) | 20.492 | 303.225 |
| さくらのクラウド 4コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/06) | 115.883 | 512.709 |
| さくらのクラウド 4コア, 8GB, SSD 100GB, 石狩第1, CentOS 8 (2020/06) | 98.905 | 518.737 | さくらのVPS 6コア, 8GB, SSD 400GB, 石狩第1, CentOS 7 (2020/09) | 38.608 | 80.558 |
| IDCFクラウド S2 1vCPU, 2GB, SSD 15GB, 東日本2 candela, CentOS 8 (2020/09) | 191.629 | 662.530 |
| IDCFクラウド S2 1vCPU, 2GB, SSD 15GB, 東日本2 farad, CentOS 8 (2020/09) | 96.564 | 392.256 |
| IDCFクラウド M3 2vCPU, 3GB, SSD 15GB, 東日本2 kelvin, CentOS 7 (2020/02) | 40.088 | 365.517 |
| IDCFクラウド M4 2vCPU, 4GB, SSD 15GB, 東日本2 kelvin, CentOS 8 (2020/09) | 29.536 | 22.853 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp2 8GB, Tokyo, Amazon Linux 2 (2020/10) | 28.216 | 84.199 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp3 8GB (IOPS:3000, Throughput: 150MB/sec), Tokyo, Amazon Linux 2 (2020/10) |
189.918 | 189.873 |
| AWS EC2 t3.micro 2vCPU, 1GB, gp3 8GB (IOPS:3000, Throughput: 250MB/sec), Tokyo, Amazon Linux 2 (2020/10) |
40.957 | 196.332 |
| AWS EC2 t3.small 2vCPU, 2GB, gp2 8GB, Tokyo, Amazon Linux 2 (2020/10) | 32.484 | 34.528 |
| AWS EC2 t3.medium 2vCPU, 4GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/10) | 23.920 | 91.423 | AWS EC2 m4.large 2vCPU, 8GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/11) | 20.113 | 23.172 |
| AWS EC2 m4.large 2vCPU, 8GB, gp2 100GB, Tokyo, Amazon Linux 2 (2020/11) | 24.708 | 23.552 |
| Alibaba Cloud ECS t5-lc1m1.small 1vCPU, 1GB, SSD 40GB, Tokyo, CentOS 7 (2020/11) | 50.059 | 542.358 |
グラフはこちら。
クラウドサービスごとのコメント
今回のテスト結果やテストの際に気づいたこと、テスト以外の特徴についてコメントします。
さくらのクラウド
さくらのクラウドは、CPU性能値はまずまずですが、ディスク性能値が低めです。
CPUが3コア or 4コア、メモリ8GBのスペックでも、IDCFクラウドの1CPU, 2GBと同じぐらいなのはちょっと残念です。
たまたまベンチマークテストツール dbench に向いていないのかもしれませんが、実際に、全ソフトウェアパッケージのアップデートや、PHPのソースからビルドなどを実行すると、他クラウドサービスよりも大きく時間がかかってしまうんですね。。
仕様では、石狩第1リージョンのSSD 100GBの転送帯域は、読み込み、書き込みとも150MB/secなのですが、この上限値が小さいのかもしれません。
（参考）
・ディスクへのIOPS(1秒あたりのI/O数)やデータ転送帯域などの制限はありますか? – Sakura Cloud Docs
https://manual.sakura.ad.jp/cloud/support/technical/storage.html#iops-1i-o
SSDではない「標準ディスク」は、ディスク性能値がさらに落ちます。
個人的には、バックアップや、時間がかかってもよいバッチ処理など、大容量でディスクが遅くても問題ない場合のみ、「標準ディスク」を使用するとよいと思います。
対策としては、サーバーのメモリを、他のクラウドサービスを使うときよりも増やして、
- memcachedやRedisなどのデータキャッシュ機能を使う。
- RDBのグローバルメモリバッファ（MySQLでいえば innodb_buffer_pool_size）に大きめに割り当てる。
などの工夫で、ディスクアクセスを極力減らすとよいでしょう。
さくらのクラウドでは、サーバーのメモリは 3GB, 5GB, 6GB, 12GB といった、少し中途半端な数値を選択できるのが、大きな長所ですね。
また、4コア、メモリ8GBの2つのサーバーは同時期に作成したものですが、unixbench index soreは40%ほど違いがありました。
コマンドでCPU情報を調べてみると、CPU製品が異なっていて、CPU発売日で比べると5年の違いがありました。
サーバー作成時に選択される物理ホストによって、いわゆる「ガチャ」があるんですね。
気になるようなら、サーバー作成時はいくつか余計に作成してみて、CPU情報が古いものや、ベンチマークテストを実施して性能が他より落ちるサーバーを除外する、という対策も考えるとよいでしょう。
今回は、石狩第1ゾーンしか使用していませんが、他のゾーンならまた違ってくるのかもしれません。
さくらのVPS
さくらのVPSは、ディスク性能値が、さくらのクラウドよりかなり高く、レイテンシも相当小さいです。
これは、VMのストレージとして、ネットワーク上のストレージではなく、VMが起動している物理ホストのストレージを使用しているからでしょう。
物理ホスト障害時のリカバリーは大変ですが、コストパフォーマンスが高いので、ディメリットを割り切ってVPSを使う、という選択肢もあると思います。
IDCFクラウド
IDCFクラウドは、S2のCPU性能値がやや低いものの、M3, M4のCPU性能値は問題なく、また、S2を含め、ディスク性能値が高いです。
S2は、1vCPU, メモリ2GB, SSD 15GBで月額1,500円と、他のプランより極端に安い値段設定となっているので、アクセスがそれほど多くないWebサイトを1台で、という場合におすすめです。
Amazon Web Services (AWS)
AWSは、CPU性能もディスク性能も非常に安定している印象です。
とくに、ディスクのレイテンシは、同時接続のクライアント数を増やしてもあまり大きくならないのは、他のクラウドサービスには見られない特徴です。
ここには載せていませんが、クライアント数を16に増やしても、レイテンシはそれほど変わりませんでした。
記事をまとめている時期に、EBSの新しいボリューム gp3 がリリースされたので、テストを実施しましたが、ディスク性能値は gp2 より低い値となりました。
gp3ボリューム作成時のパラメータを、gp2のバースト時の性能である、IOPS: 3000, Throuput: 250MB/sec に合わせてみたのですが、それでも低かったです。
まだリリースして数日しか経ってないので、今後改善されるのかもしれません。
gp3は、ベースラインで 3,000IOPS が保証されているので、gp2のようにクレジットが枯渇してバースト性能が出せなくなったときに、極端に性能が落ちることがなくなるのがよいですね。
Alibaba Cloud
Alibaba Cloudは、AWSの同等スペックのt3.microより少し低い値でしたが、このスペックでは悪くない値だと思います。
ディスク性能値は、更新処理でレイテンシが大きくなるのが少し気になりましたが。
まとめ
2020年に扱ったサーバーでベンチマークテストを行い、その結果をまとめました。
この結果は、あくまでもunixbenchとdbenchというベンチマークテストツールによる結果で、各社クラウドサービスの優劣をつけるためのものではありません。
違うツールでテストすれば、結果も変わってくるでしょう。
Webサイトやシステムの性能が想定よりよくない場合は、ボトルネックを調査したうえで、スペック変更やデータキャッシュのしくみの導入などで、柔軟に対応していくとよいと思います。
（関連記事）
・IaaSクラウドサーバーのベンチマーク（2016年9月版）
https://inaba-serverdesign.jp/blog/20160921/iaas_cloud_benchmark_201609.html
