Java Microbenchmark Harness (JMH)

Use Case

メソッドの実行(じっこう) 時間(じかん) と、実行(じっこう) 時間(じかん) と入力(にゅうりょく) の相関(そうかん) 関係(かんけい) を正確(せいかく) に把握(はあく) したい
インターフェースの異(こと) なる条件(じょうけん) での実装(じっそう) のスループットを比較(ひかく)
リクエストの何(なん) パーセントがどのくらいの時間(じかん) で完了(かんりょう) するか確認(かくにん)

Annotation

@BenchmarkMode
- class / methodで使用(しよう)
  - Throughout: 全体(ぜんたい) スループット、例(れい) えば 1秒(びょう) 間(かん) に何(なん) 回(かい) 呼(よ) び出(だ) せるか、単位(たんい) ops/time
  - AverageTime: 各(かく) 操作(そうさ) の平均(へいきん) 時間(じかん) 、単位(たんい) time/op
  - SampleTime: ランダムサンプリング、サンプリング結果(けっか) の分布(ぶんぷ) を出力(しゅつりょく)
  - SingleShotTime: 1回(かい) だけ実行(じっこう) 、通常(つうじょう) @Warmupの回数(かいすう) を0に設定(せってい) 、コールドスタートの性能(せいのう) テスト用(よう)
  - All: 上記(じょうき) すべてのモードを1回(かい) ずつ実行(じっこう)
@State
- オブジェクトの作用(さよう) 範囲(はんい) を指定(してい)
  - Scope.Benchmark: すべてのテストThreadが1つのinstanceを共有(きょうゆう) 、状態(じょうたい) を持(も) つinstanceのMulti-Thread共有(きょうゆう) 時(じ) の性能(せいのう) をテスト
  - Scope.Group: 同(おな) じThread、同(おな) じgroup内(ない) でinstanceを共有(きょうゆう)
  - Scope.Thread: デフォルトstate、各(かく) Test Threadに1つのinstanceを割(わ) り当(あ) て
@OutputTimeUnit
- 統計(とうけい) 結果(けっか) の時間(じかん) 単位(たんい) 、class / methodで使用(しよう)
@Warmup
- 一般(いっぱん) 的(てき) に最初(さいしょ) の数回(すうかい) のテストは遅(おそ) くなるため、正確(せいかく) なテストのために数回(すうかい) ウォームアップが必要(ひつよう)
  - iterations: ウォームアップ回数(かいすう)
  - time: 各(かく) ウォームアップ時間(じかん)
  - timeUnit: デフォルトsecond
  - batchSize: バッチサイズ、各(かく) 操作(そうさ) で何(なん) 回(かい) メソッドを呼(よ) び出(だ) すか

ウォームアップの理由(りゆう) ：

JVMにはJIT<ruby class="hx-furigana">機構<rp>(</rp><rt>きこう</rt><rp>)</rp></ruby> があり、func()が複数(ふくすう) 回(かい) 呼(よ) ばれると、JVMはMachine Codeにコンパイルして実行(じっこう) 速度(そくど) を向上(こうじょう) させようとする。benchmarkの結果(けっか) を実際(じっさい) の状況(じょうきょう) に近(ちか) づけるためにウォームアップが必要(ひつよう) 。

@Measurement: Method呼(よ) び出(だ) しに必要(ひつよう) な基本(きほん) テストパラメータを設定(せってい) 、class/methodで使用(しよう) 可能(かのう) 、Paramsは@Warmupと同(おな) じ
@Threads: 各(かく) Process内(ない) のTest Thread、class/methodで使用(しよう) 可能(かのう)
@Fork: fork number = 2の場合(ばあい) 、JMHは2つのProcessをforkしてテストを実行(じっこう) 、class/methodで使用(しよう) 可能(かのう)
@Param: func()の異(こと) なるパラメータ入力(にゅうりょく) 時(じ) の性能(せいのう) テストに特(とく) に適(てき) している、フィールドにのみ適用(てきよう) 、このアノテーションを使用(しよう) する場合(ばあい) @Stateの定義(ていぎ) が必要(ひつよう)

Result Analyze

Result "com.lex.StringConnectTest.testStringBuilderAdd":
  426.954 ±(99.9%) 60.926 ns/op [Average]
  (min, avg, max) = (409.871, 426.954, 452.426), stdev = 15.822
  CI (99.9%): [366.027, 487.880] (assumes normal distribution)

426.954 ±(99.9%) 60.926 ns/op [Average]
- 各(かく) 操作(そうさ) の平均(へいきん) 所要(しょよう) 時間(じかん) 426.954 ± 60.926 ナノ秒(びょう)
最小値(さいしょうち) : 409.871
平均値(へいきんち) : 426.954
最大値(さいだいち) : 452.426
標準偏差(ひょうじゅんへんさ) : 15.822
平均値(へいきんち) の信頼(しんらい) 区間(くかん) : [366.027, 487.880]

Benchmark                               (length)  Mode  Cnt     Score     Error  Units
StringConnectTest.testStringAdd               10  avgt    5   133.950 ±   3.264  ns/op
StringConnectTest.testStringAdd               50  avgt    5  1121.863 ±  55.314  ns/op
StringConnectTest.testStringAdd              100  avgt    5  3544.262 ± 199.877  ns/op
StringConnectTest.testStringBuilderAdd        10  avgt    5    46.597 ±   3.005  ns/op
StringConnectTest.testStringBuilderAdd        50  avgt    5   217.872 ±  11.888  ns/op
StringConnectTest.testStringBuilderAdd       100  avgt    5   426.954 ±  60.926  ns/op

length: @Param値(あたい)
Mode: @BenchmarkModeのモード
Cnt: @Measurement()実行(じっこう) 回数(かいすう)
Score:
- ベンチマークモードがThroughputの場合(ばあい) 、高(たか) いスコアは良(よ) い性能(せいのう) を示(しめ) す（単位(たんい) 時間(じかん) あたりの操作(そうさ) 数(すう) を測定(そくてい) するため、例(たと) えば秒(びょう) あたりの操作(そうさ) 数(すう) ）
- ベンチマークモードがAverageTimeの場合(ばあい) 、低(ひく) いスコアは良(よ) い性能(せいのう) を示(しめ) す（1回(かい) の操作(そうさ) にかかる時間(じかん) を測定(そくてい) するため、例(たと) えば操作(そうさ) あたりのナノ秒(びょう) ）
Error: 誤差(ごさ) 、信頼(しんらい) 区間(くかん)
Units: 各(かく) 呼(よ) び出(だ) しの単位(たんい) 時間(じかん)

Testing