6月29日（金）に開催されたAlibaba Cloud のセミナー「Alibaba Cloud Sapporo」に参加しました。

Alibaba Cloudは、Alibabaグループが展開するクラウドサーバーサービス(IaaS)です。
日本では、SBクラウド社がサービスを提供しています。
https://jp.alibabacloud.com/

今回はお声がけいただいて、「Alibaba Cloudのベンチマークテスト」と題して、10分ぐらいお話ししました。
発表資料はこちら。

 

2月の「CloudGarage Deep Meetup」のときと同様に、Alibaba CloudのECS仮想サーバーに対して、いつも使っているツールunixbenchとdbenchによるベンチマークテストを行い、AWS EC2、IDCFクラウドのサーバーと比較してみました。

unixbenchのスコアは各サービスほとんど同じ。
dbenchのほうは、Alibaba Cloudはスループット値がやや低く、最大レイテンシ値が大きい、という結果となりました。

Alibaba Cloudのディスクスループット値がやや低い点については、発表では、「AWS EC2は（EBSの）IOPSバーストが効いているからよい値なのでは？」と推測しましたが、ここではもう一歩踏み込んでみます。

ディスクベンチマークツールfioでもシーケンシャル、ランダムのディスク読み書きテストを行ってみたところ、「レイテンシにばらつきがある」という結果となりました。

以下はfioにおけるランダムRead/Writeテストの結果です。
パラメータは以下のとおりで、4KBのランダム読み書き処理をたくさん行います。

size=1g          // 読み書きの総サイズは1GB
iodepth=32       // 非同期で同時に要求するI/O数（多重度）は32
bs=4k            // ブロックサイズは4KB
rw=randrw        // ランダムでRead50%, Write50%
runtime=300      // テストの実行時間は300秒
ioengine=libaio  // IOエンジンは非同期

 

・AWS EC2 c5.large SSD 20GBのfioランダム読み書き実行結果（抜粋）

1g_Rand-ReadWrite-4K-QD32: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32
fio-2.1.7
Starting 1 process
1g_Rand-ReadWrite-4K-QD32: Laying out IO file(s) (1 file(s) / 1024MB)

1g_Rand-ReadWrite-4K-QD32: (groupid=0, jobs=1): err= 0: pid=2461: Fri Jun  8 12:59:51 2018
  read : io=1765.3MB, bw=6025.3KB/s, iops=1506, runt=300011msec
    slat (usec): min=1, max=8248, avg=279.93, stdev=459.41
    clat (usec): min=384, max=21015, avg=10311.31, stdev=813.67
     lat (usec): min=388, max=21017, avg=10591.28, stdev=837.47
    clat percentiles (usec):
     |  1.00th=[ 9408],  5.00th=[ 9792], 10.00th=[ 9792], 20.00th=[ 9920],
     | 30.00th=[10048], 40.00th=[10048], 50.00th=[10176], 60.00th=[10432],
     | 70.00th=[10688], 80.00th=[10944], 90.00th=[11072], 95.00th=[11200],
     | 99.00th=[11456], 99.50th=[12096], 99.90th=[14656], 99.95th=[15808],
     | 99.99th=[17280]
    bw (KB  /s): min= 5584, max=18424, per=100.00%, avg=6031.24, stdev=533.41
  write: io=1761.9MB, bw=6013.7KB/s, iops=1503, runt=300011msec
    slat (usec): min=1, max=8741, avg=282.19, stdev=465.96
    clat (usec): min=501, max=20061, avg=10390.12, stdev=787.23
     lat (usec): min=528, max=20414, avg=10672.37, stdev=783.98
    clat percentiles (usec):
     |  1.00th=[ 9408],  5.00th=[ 9792], 10.00th=[ 9920], 20.00th=[10048],
     | 30.00th=[10048], 40.00th=[10176], 50.00th=[10304], 60.00th=[10560],
     | 70.00th=[10816], 80.00th=[10944], 90.00th=[11072], 95.00th=[11200],
     | 99.00th=[11328], 99.50th=[11584], 99.90th=[14144], 99.95th=[15680],
     | 99.99th=[17536]
    bw (KB  /s): min= 5544, max=17568, per=100.00%, avg=6018.32, stdev=500.71
    lat (usec) : 500=0.01%, 750=0.07%, 1000=0.20%
    lat (msec) : 2=0.10%, 4=0.01%, 10=25.68%, 20=73.94%, 50=0.01%
  cpu          : usr=0.33%, sys=0.99%, ctx=390201, majf=0, minf=26
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued    : total=r=451913/w=451037/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
   READ: io=1765.3MB, aggrb=6025KB/s, minb=6025KB/s, maxb=6025KB/s, mint=300011msec, maxt=300011msec
  WRITE: io=1761.9MB, aggrb=6013KB/s, minb=6013KB/s, maxb=6013KB/s, mint=300011msec, maxt=300011msec

Disk stats (read/write):
  nvme0n1: ios=451728/450964, merge=0/84, ticks=4511784/4571656, in_queue=8779496, util=99.89%

 

IOPSはRead/Write合計で3009。IOPSは3000までバーストするので、完全にバーストが効いた状態といえる。
レイテンシ(lat)は、約99%が4～20msec。

・Alibaba Cloud ECS sn1ne.large SSD 20GBのfioランダム読み書き実行結果（抜粋）

1g_Rand-ReadWrite-4K-QD32: (g=0): rw=randrw, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32
fio-2.1.7
Starting 1 process
1g_Rand-ReadWrite-4K-QD32: Laying out IO file(s) (1 file(s) / 1024MB)

1g_Rand-ReadWrite-4K-QD32: (groupid=0, jobs=1): err= 0: pid=10463: Fri Jun  8 12:55:33 2018
  read : io=1055.6MB, bw=3602.6KB/s, iops=900, runt=300032msec
    slat (usec): min=1, max=93276, avg= 6.82, stdev=180.12
    clat (usec): min=90, max=246192, avg=17268.90, stdev=34139.77
     lat (usec): min=381, max=246201, avg=17275.88, stdev=34139.91
    clat percentiles (usec):
     |  1.00th=[  548],  5.00th=[  668], 10.00th=[  756], 20.00th=[  876],
     | 30.00th=[  996], 40.00th=[ 1128], 50.00th=[ 1272], 60.00th=[ 1512],
     | 70.00th=[ 1992], 80.00th=[ 4768], 90.00th=[91648], 95.00th=[93696],
     | 99.00th=[94720], 99.50th=[95744], 99.90th=[99840], 99.95th=[102912],
     | 99.99th=[111104]
    bw (KB  /s): min= 2574, max= 4384, per=100.00%, avg=3603.52, stdev=180.40
  write: io=1054.6MB, bw=3597.5KB/s, iops=899, runt=300032msec
    slat (usec): min=2, max=11895, avg= 7.39, stdev=28.52
    clat (usec): min=420, max=246084, avg=18269.92, stdev=34417.68
     lat (usec): min=427, max=246093, avg=18277.48, stdev=34417.51
    clat percentiles (usec):
     |  1.00th=[  620],  5.00th=[  796], 10.00th=[  932], 20.00th=[ 1128],
     | 30.00th=[ 1320], 40.00th=[ 1528], 50.00th=[ 1784], 60.00th=[ 2224],
     | 70.00th=[ 3152], 80.00th=[10176], 90.00th=[92672], 95.00th=[94720],
     | 99.00th=[95744], 99.50th=[97792], 99.90th=[105984], 99.95th=[110080],
     | 99.99th=[123392]
    bw (KB  /s): min= 2363, max= 4296, per=100.00%, avg=3597.98, stdev=177.04
    lat (usec) : 100=0.01%, 250=0.01%, 500=0.21%, 750=6.50%, 1000=15.11%
    lat (msec) : 2=41.04%, 4=13.95%, 10=3.99%, 20=1.27%, 50=0.17%
    lat (msec) : 100=17.56%, 250=0.20%
  cpu          : usr=0.47%, sys=1.47%, ctx=257229, majf=0, minf=48
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued    : total=r=270220/w=269839/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
   READ: io=1055.6MB, aggrb=3602KB/s, minb=3602KB/s, maxb=3602KB/s, mint=300032msec, maxt=300032msec
  WRITE: io=1054.6MB, aggrb=3597KB/s, minb=3597KB/s, maxb=3597KB/s, mint=300032msec, maxt=300032msec

Disk stats (read/write):
  vda: ios=270111/269871, merge=0/69, ticks=4660087/4926290, in_queue=9586725, util=100.00%

 

IOPSはRead/Write合計で1799。SSD 20GBにおける仕様は1800なのでほぼ仕様どおり。
レイテンシ(lat)は、約77%ぐらいが4msec未満だが、約18%が50～100msec。
 
 

ということで、レイテンシを比較すると、

• AWS EC2は、全体がほぼ同じ範囲内に収まる。
• Alibaba Cloud ECSは、全体の3/4ぐらいは速いけど、残り1/4が少し遅く、ばらつきがある。

という、分布の違いがありました。

このように、たまに遅延する時間帯があることが、ディスクスループット値を少し下げる要因となっているのかもしれません。

ばらつきが出る原因は、もちろん僕のほうではわかりません。
AWS EC2のEBSストレージについては、最近のm4/m5, c4/c5インスタンスは「EBS最適化」がデフォルトで有効となっており、ストレージ以外のアクセスとは別に、ストレージアクセス専用のネットワーク帯域が確保されています。

一方、Alibaba Cloud ECSのストレージ「エラスティックブロックストレージ/クラウドディスク」については、「ストレージアクセス専用のネットワーク帯域」のような仕組みが存在するかどうかは、ドキュメントからはわかりませんでした。
ストレージ以外のネットワークアクセスが影響しているのかもしれませんし、ストレージのネットワーク制御や、物理的なストレージシステムそのものに原因があるのかもしれません。

（参考）
・Alibaba Cloud ECSドキュメントセンター エラスティックブロックストレージ
https://jp.alibabacloud.com/help/doc-detail/25383.htm

とはいっても、僕が少し使ってみた限りでは、ディスクアクセスが極端に遅いわけではありません。
（「AWS EC2やIDCFクラウドのスループット値がよすぎる」ともいえます。）

今後改善される可能性もありますし、発表にも含めましたが、同時クライアント数を増やすとスループット値が上がっていく傾向も見られたので、実際のアプリケーション実行環境としては大きな問題はないように思います。
また、ディスクサイズを増やせば、仕様上のスループット上限値が増えますし、アプリケーション側でキャッシュ機構をうまく使って、ディスクアクセスを極力減らすという解決方法もあるでしょう。

他の方の発表にもありましたが、Alibaba Cloudには、

• 中国リージョンでサーバーを作れる。
• ドキュメントが充実している（日本語も）。
• 機能や管理コンソール画面がAWSに似ているので、AWSユーザーは使いやすい（入りやすいのはよいこと！）。
• 機能の追加スピードが速い。

といった長所があります。

僕はまだ仮想サーバーサービスのECSしか使っていないので、RDBサービスなど、いろいろ試してみたいと思います。

Alibaba Cloudの無料トライアルは、30,000円分が1年間無料で利用できるというものです。
1ヵ月や3ヵ月ではなく、1年間と長期に渡って使えるのはうれしいですね。

なお、アカウント登録は、クレジットカードの登録が必要で、（法人ではなく）個人登録の場合は顔写真付き証明書の画像送付が必要となります。
この点は他のクラウドサービスより手間がかかります。

（参考）
・Alibaba Cloud お支払い方法の有効化手順
https://jp.alibabacloud.com/help/doc-detail/50661.htm
 

（関連記事）
・AWS SSDベースEBSのディスクベンチマーク
https://inaba-serverdesign.jp/blog/20140618/aws_ssd_ebs_disk_benchmark.html

・CloudGarage Deep Meetup in SapporoのLTでお話しました。～CloudGarageのベンチマークテスト
https://inaba-serverdesign.jp/blog/20180226/cloudgarage_deep_meetup_sapporo_benchmark.html