Flareを使う(性能測定編)

当ブログをご覧のみなさまこんにちは。さくらインターネット研究所の大久保です。
今回はFlareのスループット測定を行いましたので、そちらについてご紹介をしたいと思います。

測定環境

今回の測定では、1台のストレージサーバに対して、負荷生成プログラムを動作させた多数のプロキシサーバからクエリを投げ、ストレージサーバ1台あたりのSet/Getスループットを測定します。

測定環境ですが、当研究所では以下のような構成でKVS評価用に50台のサーバを用意しております。

今回はそのうち42台のサーバを用いて測定を行いました。各役割のサーバの台数は以下の通りです。

全てのサーバは同じものを設置しており、スペックは以下の通りです。

サーバの設定

各サーバ上で起動するFlareの設定は以下の通りです。

• インデックスサーバの設定
  

  data-dir = /home/admin/flare
  log-facility = local0
  server-name = 192.168.13.21
  monitor-threshold=3
  monitor-interval=1
  monitor-read-timeout=1000

• ストレージサーバの設定(プロキシサーバも同じ)
  ※ server-nameは各サーバのIPアドレスに置き換える。

  data-dir = /home/admin/flare
  log-facility = local0
  storage-bucket-size = 16777216
  index-server-name = 192.168.13.21
  server-name = 192.168.13.22

• インデックスサーバにてストレージサーバの役割設定
  

  % telnet localhost 12120
  node role 192.168.13.22 12121 master 1 0

負荷生成プログラム

以下のような負荷生成プログラムを40台のプロキシサーバにて10分間走らせ、各プロキシサーバで処理できたクエリ数を合計し、1秒間あたりに処理可能なクエリ数を計算します。

• 負荷生成プログラム(set)
  

  #!/usr/bin/env perl
  use Cache::Memcached;
  $start = shift;die unless ($start =~ /^\d+$/);
  $end = shift; die unless ($end =~ /^\d+$/);
  my $a = Cache::Memcached->new({'servers' =>["127.0.0.1:12121"],'select_timeout' =>100.0,'connect_timeout' =>2.0});
  $value = "01234567890123456789012345678901234567890123456789";
  foreach ($start .. $end){
  $key = sprintf("test%08d",$_);
  unless ($a->set($key,$value)){
  warn "set failed $_\n";
  sleep(1);
  redo;
  }
  if ($_ % 1000 == 0){
  print "$_ done.\n";
  }
  }

• 負荷生成プログラム(get)
  

  #!/usr/bin/env perl
  use Cache::Memcached;
  $max = shift;die unless ($max =~ /^\d+$/);
  my $a = Cache::Memcached->new({'servers' =>["127.0.0.1:12121"]});
  $value = "01234567890123456789012345678901234567890123456789";
  $count = 0;
  while(1){
  $key = sprintf("test%08d",int(rand($max)));
  unless ($data = $a->get($key)){
  warn "get failed $key\n";
  sleep(1);
  redo;
  }
  if ($data ne $value){
  warn "value inconsistent $key ->$data\n";
  }
  $count++;
  if ($count % 1000 == 0){
  print "$count done.\n";
  }
  }

キー名、値、レコード数は以下の通りとなります。

• キー名:test00000000〜test03999999
• 値:01234567890123456789012345678901234567890123456789 (50bytes)
• レコード数:400万件

測定結果

比較のために、上記と同様の構成でmemcachedを用いた場合の測定も行いました。結果を以下に示します。

グラフにしたものが下図です。

memcachedは完全にオンメモリで動作しますので単純な比較はできませんが、Flareはmemcachedに比べ、Setは約1/2.5、Getについては約1/1.5の性能を有することがわかります。

まとめ

今回は1台のストレージサーバあたりのスループットをFlareとmemcachedで比較してみました。分散KVSではサーバを追加するだけで性能を簡単に増やすことができますので、クエリが均等に分散する理想状態においては、パーティションを2つに増やせば2倍、3つに増やせば3倍になるはずです。そこで、クエリがどの程度分散するかについて今後検証を行う予定です。