Skip to main content
GDN8 PATIO

WebGL実装における描画負荷について

私がWebGL実装で主に気をつけているのは 描画負荷 / 容量 / ユーザビリティ / アクセシビリティ の4つです。
本ノートでは中でも描画負荷の調整についてメモしておきます。

描画負荷を抑える主な方法

まずは描画負荷を抑える主な方法です。

内容 対象となる負荷 方法
描画解像度の調整 ピクセルの処理 描画倍率の最適化
Shaderやテクスチャの負荷削減 ピクセルの処理 ぼかしの画像参照回数の最適化やGPU圧縮テクスチャの使用
描画のアイドリング 毎フレームの再計算 操作やアニメーションに応じた描画の最適化
描画結果の保存と再利用 毎フレームの再計算 固定のNoiseやマスクを一度Render Targetへ描き、以後はそのテクスチャを参照
照明や陰影のベイク 毎フレームの再計算 固定された背景の陰影をテクスチャへ焼き込み
処理ごとの更新頻度の調整 毎フレームの再計算 画面全体は動かし、影や反射は内容が変わったときだけ更新
draw callの削減 描画命令と頂点 同じGeometryとMaterialを使用するオブジェクトをInstancedMeshへ統合
LODの切り替え 描画命令と頂点 カメラから遠いモデルを頂点数の少ないものへ切り替える
初回描画のウォームアップ 初回の初期化 ローディング中にShaderやテクスチャを準備し、実際の描画を一度通す

共通するのは必要なものを必要な解像度と回数だけ描くことです。目安は1フレームに使える時間で60Hzの画面なら約16.7ms、120Hzなら約8.3ms。この中にはブラウザ自身の処理もあるのでJavaScriptやGPUの処理だけでその多くを使用するわけにはいきません。

この中でも特に注意したいのが描画解像度です。全画面のShaderやポストプロセスでは影響が大きく、端末のDPR(デバイスピクセル比)をそのまま反映すると想定以上のピクセル数を処理していることもあります。ただ解像度の調整はほかの負荷を見直した最後に検討することを推奨します。解像度が原因でない高負荷があった場合その負荷を見逃した上に画質だけが下がってしまいます。

描画解像度の調整

表示サイズと描画解像度

例えばウィンドウが1440×800なら全画面のCanvasの表示サイズも1440×800です。ただDPRが2の画面でこれをそのまま描画倍率として適用すると、細部は精細になるものの描画解像度は2880×1600(画素は4倍)になり描画負荷が大きくなります。DPRが3なら4320×2400で9倍です。そのため基本的には各画面ごとのDPRを最大値とし見え方と負荷のバランスをみて描画倍率を調整します。

全画面のFragment Shaderでは増えたピクセルの分だけ、計算、テクスチャ参照、描画結果の書き込みを繰り返します。ぼかしのように1ピクセルで何度も画像を参照する処理では解像度を上げる影響は大きいです。ポストプロセスの中間のRender Targetも同じ解像度なら同様の処理がパスごとに加わるのでCanvasだけを見ていては負荷を把握することはできません。

半透明の面やパーティクルでも同じピクセルを何度も描きます。奥から順に重ねて塗るので画面を覆う板が何枚もあればその枚数だけ全画面の処理が加わります。画素処理の負荷はピクセル数だけでなく、重ねて描く回数、1ピクセルあたりの処理、パスの数との掛け算として捉えておく必要があります。

Three.jsでの描画解像度

Three.jsではsetPixelRatio()とsetSize()で描画解像度が決まります。この倍率を変更する際は表示サイズを保ったまま1・1.5・2などを比較し、処理時間の差と輪郭や細部の粗さを見比べます。ただし4倍や9倍になるのはピクセル数で処理時間も同じ比率で増えるわけではありません。

判断のために比較するのはFPSではなく処理時間です。ChromeのDevToolsならPerformanceパネルのMainの欄にあるrequestAnimationFrame()のコールバックとGPUの欄の処理時間で確認できます。FPSやFramesの欄はリフレッシュレートまでしか表せないので60Hzの画面で60FPSが出ていてもどれだけ余裕があるかが分かりません。

倍率が決まった場合はsetPixelRatio()にその値と端末のDPRの小さい方を指定します。そうしておくことで決めた倍率を上限にしつつ、端末のDPRがそれより低い画面ではそのDPRを超えて描かずに済みます。例えば先の1440×800で2に決めた場合はDPRが3の画面でも描画解像度は2880×1600に収まり、DPRが1の画面は1440×800のままです。(この2はあくまで例でプロジェクトごとに最適な値に設定する必要があります)

renderer.setPixelRatio(Math.min(window.devicePixelRatio, 2));

動的解像度

描画の倍率は想定する閲覧環境を絞ればある程度決め打ちも可能です。ただし高めに固定するとスペックの低い端末では重く、低めに固定するとスペックの高い端末では余裕があるのに粗くなってしまいます。この差に対応する方法の一つが閲覧中のFPSに応じて倍率を上下させる動的解像度です。

ただ大きな注意点としては調整できるのはピクセルの処理による負荷だけです。JavaScriptの計算や、メインスレッドで走るCSSアニメーション、頂点処理が中心の画面では、解像度を下げても画質が落ちるだけになる可能性があります。またFPSだけでは負荷の原因を区別できません。固定倍率で比べて解像度を下げたときに処理時間も減るかは原因が解像度かどうかの確認に使えます。調整そのものはほかの負荷を見直した最後に検討します。

ここでは私が作成して使用しているUsagiResolutionScalerを例に判定の考え方とThree.jsへの組み込み方を書いておきます。

倍率を下げる条件と戻す条件

UsagiResolutionScalerにおける倍率を下げる条件は短期・長期・緊急の3種類です。既定値は次のとおりで、判定に使う時間や30FPSの閾値は生成時のdurationとemergencyで変更できます。

判定 既定の条件
短期判定で1段下げる 最も遅い1フレームを除いたFPSがdownFps未満の区間(0.5秒以上)が2回続く
長期判定で1段下げる 全フレームを含む平均FPSがdownFps未満の区間(2秒以上)が2回続き、その成立時か以降に確定する短期区間の平均FPSもdownFps未満
緊急判定で1段下げる 30FPS未満のフレームが続き、最初の遅いフレームを除いて0.5秒経過する
判定の停止時間 初回、倍率の変更、タブの復帰、reset()の後の0.5秒。緊急判定も停止する
1段上げる 直近3秒の平均FPSと最新区間のFPSがともにupFpsを超える
上げる判定の時間幅 失敗履歴に応じて3・6・12・20秒と延びる

短期判定から最も遅い1フレームを除くのは一瞬止まっただけで画質を落としたくないためです。ただそれだけでは周期的な遅れを除外し続ける場合もあるので長期判定には全フレームを含めています。最後に確認する短期区間も同じ扱いです。単発の長い停止は次の長期区間へ持ち越さずそれだけで長期判定による下降が起きることはありません。

上げ直しても安定しなければ次の上昇に必要な計測時間幅は失敗履歴に応じて長くなります。上限は20秒ですが、20秒待てば必ず上がるという意味ではありません。

一方でFPSは前述のとおりリフレッシュレートを超えて上がらないため上の段に余裕があるかは実際に上げてみるまで分かりません。計測時間幅を延ばしても上げては下がる往復は残り、上の段を試す間はFPSや輪郭の細かさが変わります。また倍率を変えるたびにCanvasの描画バッファとRender Targetは確保し直されるため、切り替えの回数は少ないのがベストです。

UsagiResolutionScalerのデモ

UsagiResolutionScalerのデモを開く
描画頻度をRAF・30FPS制限・20FPS制限で切り替えて描画倍率の下降と復帰を確認する。

デモでは描画頻度をRAF(制限なし)・30FPS制限・20FPS制限で切り替え、制限中に倍率が下がり、制限を外すと倍率が戻る過程を確認できます。ここで確認するのは低FPSへの反応と復帰です。

  • ※ デモは既定値の4段階(2・1.5・1・0.75)で動作しています。
  • ※ 描画頻度を意図的に制限しているため、解像度を下げても制限中のFPSは回復しません。実際の負荷軽減の効果は対象の実装でしか確かめられません。
  • ※ 短期判定と緊急下降の失敗履歴は描画頻度を切り替えても残るため、制限と解除を繰り返すと倍率が戻るまでの時間が延びます。最初の状態からは再読み込みで試せます。
  • ※ FPS表示は最も遅いフレームを除かないため、短期下降判定の値とは一致しない場合があります。長期判定とも集計する時間幅が異なります。

Three.jsへの組み込み例

以下は仮に4段階で設定した例です。

import * as THREE from 'three';
import UsagiResolutionScaler from '../../src/usagi-resolution-scaler.js';

const resolution = new UsagiResolutionScaler({
    levels: [
        { scale: 2, downFps: 55 },
        { scale: 1.5, downFps: 55, upFps: 59 },
        { scale: 1, downFps: 55, upFps: 59 },
        { scale: 0.75, upFps: 59 }
    ]
});

downFps: 55とupFps: 59は60FPSを目標にした値で閾値の差は小さな変動による往復を抑えるためのものです。ただし短期下降だけは最遅フレームを除くためその値が55以上でも全フレームを含む長期判定では下がる場合があります。

DPRが1の端末では倍率2と1.5を使えないので倍率1の段から始まります。DPRの上限と負荷で選んだ段は別に保持するためブラウザのズームや別のディスプレイへの移動でDPRが変わっても元に戻れば負荷に応じた段へ戻せます。

既定では最初のupdate()から計測が始まります。初回描画のウォームアップを計測から外す場合はautoStart: falseで生成し、準備が終わってからresolution.start()を呼びます。開始前の待ち時間は計測に含まれず、開始後の最初のupdate()から0.5秒の休止を挟んで判定に入ります。

update()にはrequestAnimationFrame()のコールバックが受け取る時刻を渡し、trueが返ったときに倍率を反映します。以下はRenderer、Canvas、Scene・Camera、Render Targetと、その結果を画面へ出すoutputScene・outputCameraを作成した後のコードです。CSSの表示サイズは維持したまま、描画バッファの実寸をRender Targetにも渡しています。

const drawingSize = new THREE.Vector2();

function applyResolution() {
    renderer.setPixelRatio(resolution.scale);
    renderer.setSize(canvas.clientWidth, canvas.clientHeight, false);
    renderer.getDrawingBufferSize(drawingSize);
    renderTarget.setSize(drawingSize.x, drawingSize.y);
}

applyResolution();

function frame(time) {
    if (resolution.update(time)) {
        applyResolution();
    }
    renderer.setRenderTarget(renderTarget);
    renderer.render(scene, camera);
    renderer.setRenderTarget(null);
    renderer.render(outputScene, outputCamera);
    requestAnimationFrame(frame);
}

requestAnimationFrame(frame);

setPixelRatio()だけでは自作のRender Targetのサイズは変わらないので複数パスや解像度を表すuniformもそれぞれの基準で更新する必要があります。また描画ピクセル単位のぼかし半径やポイントサイズは倍率を下げると画面上では大きく見えるため同じ見た目を保つには倍率に合わせた補正も必要です。

リサイズ時の処理は次のとおりです。DPRを更新して計測をリセットした後に現在のサイズを適用しますが、reset()を呼んでも開始状態、倍率と再上昇を遅らせる失敗履歴は残ります。

function resize() {
    resolution.setPixelRatio(window.devicePixelRatio);
    resolution.reset();
    applyResolution();
}

window.addEventListener('resize', resize);

DPRの変化はresizeだけでは拾えない場合があるため、MDNのdevicePixelRatioの例のようにmatchMedia()で監視する方法もあります。

自動調整が向かない条件

FPSの計測は描画ループが連続して回っていることを前提にしています。操作があったときだけ1フレーム描くような描画ではフレームの間隔が空くだけで低FPSと判定されGPUに余裕があっても倍率が下がります。アイドリングと組み合わせる場合は動きがある間だけ連続して描き、操作に応じて1フレームだけ描くようなときはupdate()を呼ばない方が無難です。連続した描画を再開するときはreset()を呼びます。

  • ※ 低電力モードなどで描画が30FPSに制限される環境や、リフレッシュレートがdownFps未満の画面では、解像度を下げてもFPSが上がらないため最低段まで下がります。
  • ※ 上の設定例では数秒で最低段の0.75倍に達します。描画バッファは表示サイズの各辺3/4になり、DPRが3の端末ではDPRどおりに描く場合の各辺1/4、ピクセル数は1/16です。輪郭や文字の粗さを許容できない画面では、最低段を1にするなど下限をさらに高めにしておけば粗くなりすぎません。

ソースコード

Shaderやテクスチャの負荷削減

Fragment Shaderでは1ピクセルあたりの計算や画像参照の回数も描くピクセル数と同じく負荷に直結します。全画面のぼかしのように1ピクセルで何度も画像を参照する処理は、参照回数を減らすか、縮小したRender Targetで処理してから拡大する方法があります。ぼかしの参照回数と負荷の関係はいろいろなBlur実装と負荷の比較で比べています。

テクスチャは表示に必要なサイズに合わせるのが基本です。JPEGやPNGは展開してからGPUへ転送されるため、ファイル容量が小さくてもGPUメモリは別の話で、4096×4096のRGBAテクスチャなら64MiB、ミップマップを含めると約85MiBを使用します。ここではGPU圧縮も選択肢の一つです。

KTX2はテクスチャを格納するコンテナ形式で、Three.jsのKTX2Loaderは中のBasis Universalのテクスチャを端末に合わせた形式へ変換するものです。GPU圧縮形式を使用できればGPUメモリとGPUへの転送量を減らせる可能性はあるものの圧縮による劣化は素材によって差が出ます。特にグラデーションや文字を含む画像では容量だけでなく見え方の比較も欠かせません。

描画のアイドリング

描画解像度を抑えても見た目が変わらないまま描き直していれば毎フレーム同じ計算が繰り返されます。変化がない間は停止し、操作、リサイズ、アセットの読み込み完了などで再開させるのがベターです。ただ入力が止まっても追従や慣性が残るなら目標との差が十分小さくなるまでは描画が必要です。

非表示のタブでは多くのブラウザでrequestAnimationFrame()が停止します。一方で画面外のCanvasは別に制御する必要があり、IntersectionObserverで表示範囲から外れたことを検知して停止します。どちらも再開時には停止中の時間が次のフレームの経過時間に入るため、シミュレーションを進めたい場合はその時間をどう反映するかも決める必要があります。自動調整と組み合わせる場合の注意点は前述の間欠的な描画と同じです。

描画結果の保存と再利用

固定のNoise、マスク、ぼかした背景などはRender Targetへ一度描けば以後はそのテクスチャを参照するだけで済みます。作り直す必要があるのは生成内容、生成用のCamera、Render Targetのサイズが変わったときだけです。ただ描画解像度に合わせたRender Targetでは自動調整による倍率の変更も作り直しのきっかけになります。毎フレーム内容が変わるものには効果がなく、結果を保持する分のGPUメモリも必要です。

照明や陰影のベイク

動的な照明や影はライトの数やシャドウマップの描画に応じて毎フレームの処理が増えるため、固定された背景で光源や陰影も変わらない範囲なら事前に陰影をライトマップやAOマップへ焼き込む方がよいです。ただし動的な処理が減る一方で追加のテクスチャはデータ容量とGPUメモリを使用します。

処理ごとの更新頻度の調整

シャドウマップは影を落とすライトごとにライトから見た物体を描く処理が加わります。画面全体が動いていても影まで毎フレーム作り直す必要があるかは別です。次の記述例はシャドウマップ全体の自動更新を止める方法です。ライトのcastShadowなどの設定を済ませ各ライトのshadow.autoUpdateは既定のtrueにした状態を前提にしています。

renderer.shadowMap.enabled = true;
renderer.shadowMap.autoUpdate = false;
renderer.shadowMap.needsUpdate = true;

初回以降はライト、影を落とす物体、影用Cameraなどが変わったときだけrenderer.shadowMap.needsUpdate = trueで更新が可能です。ライトごとに制御するなら全体のrenderer.shadowMap.autoUpdate = trueを保った上で、light.shadow.autoUpdateとlight.shadow.needsUpdateを使用する形です。

変化が緩やかな反射などでは数フレームおきの更新も候補ですが物体に遅れてついてくると違和感が出ます。平均の処理量を減らせても更新するフレームだけ重くなることがあるので間隔と1回分の負荷は分けて見ておく必要があります。

draw callの削減

オブジェクトが多い画面ではピクセルより先に描画命令や頂点の処理が重くなることもままあります。renderer.info.renderのcallsとtrianglesでdraw callや三角形の数を把握することが可能です。ただしrenderer.infoはrender()のたびにリセットされるため複数パスでは最後の描画の分しか残りません。フレーム全体を数えるにはrenderer.info.autoReset = falseにし、描き終えた値を読んでからrenderer.info.reset()を呼ぶ必要があります。

同じGeometryとMaterialを共有できるならInstancedMesh、Geometryが異なってもMaterialが共通ならBatchedMeshへまとめることでdraw callを減らせます。ただし頂点やピクセルの処理は残るのでShaderが重い場合の効果は限定的です。またInstancedMeshは全体を1つのオブジェクトとしてカリングしインスタンス同士の描画順も並び替えないため透明な物体では描画順が崩れる場合があります。

LODの切り替え

遠くのモデルをLODで頂点数の少ないものへ切り替える方法です。ただThree.jsのLODはカメラからの距離が基準なので、画角や表示サイズが変われば同じ閾値でも見え方が異なります。切り替え時の輪郭の変化を実際の表示サイズで確かめつつ、複数のモデルを持つ分のデータ容量やメモリも考える必要があります。単一のモデルを軽くするだけで足りるならその方が扱いは簡単です。

初回描画のウォームアップ

Three.jsではShaderのコンパイルやテクスチャのGPUへの転送がそのMaterialやテクスチャが初めて描画されたときに行われるため、そのままなりゆきにまかせれば初回表示でFPSが一瞬低下したり停止してしまうことがあります。このような場合には初期化をローディングへ前倒しします。

準備するのは画像・モデルの読み込みと照明・環境の設定まで含めた実際の描画で使用する状態です。前述のようにRender Targetを経由する構成では、Canvasへ直接描く場合と出力の色空間などが変わるため、Shaderも同じとは限りません。次の例でも本番の描画順に合わせ、Render TargetとCanvasの両方へ一度描いています。

renderer.initTexture(texture);

renderer.setRenderTarget(renderTarget);
await renderer.compileAsync(scene, camera);
renderer.render(scene, camera);

renderer.setRenderTarget(null);
await renderer.compileAsync(outputScene, outputCamera);
renderer.render(outputScene, outputCamera);

compileAsync()では非表示や画面外の物体も含めてMaterialのShaderを準備できますがテクスチャの転送までは済みません。一度通す描画に映らない物体のテクスチャはinitTexture()で転送し後から差し替えるMaterialのShaderも別に準備しておく必要があります。初期化を前倒ししても毎フレームの処理量は減らないのでどこまで済ませるかは表示前の待ち時間との兼ね合いです。

またライトの数や影の設定もShaderの内容に含まれます。表示中にライトを足したりvisibleを切り替えたり、ライトのcastShadowを変えたりすると、影響するMaterialのShaderが作り直されることがあります。演出で切り替える場合はローディング中に両方の状態を一度通しておくか、ライトを消す代わりにintensityを0にしておけばShaderは変わりません。ただし影を落とすライトはintensityが0でもシャドウマップの描画が続きます。

さいごに

ここまで描画負荷への対策を書いてきましたがその多くは何かと引き換えになります。描画倍率を下げれば輪郭や細部が粗くなり、ベイクやLODはデータ容量やメモリを使用し、反射などの更新を間引けば動きへの追従が遅れます。現実的には画面ごとに効果を実測し、引き換えになるものと見比べて選択する必要があります。重要なのは必要なものを必要な解像度と回数だけ描くことです。これらの対策は表現を削るためではなく、見せたい表現をより多くの閲覧環境で成立させるための手段のひとつです。

参考