渡辺澄夫，決定理論 と ベイズ法（PDFリンク）の最終ページに
◆ 人間の主観そのものの表現のために確率測度の一般化を考えたい人は「非加法的測度」を調べてみましょう（主観ベイズ法ではありません）。
とあったので調べました。
非加法的測度とは，測度\(\mu\)の定義における加法性の条件\(\mu(A\cup B)=\mu(A)+\mu(B)\)（\(A,B\)は互いに素な可測集合）を，単調性\(A\subseteq B\Rightarrow\mu(A)\leq\mu(B)\)に置き換えたもの。\(\mu\)が測度であれば単調性を満たすので，非加法的測度は測度の一般化になっています。
ググると以下のような資料が見つかります。
渡辺 俊一 ，非加法的測度の正則性について（PDFリンク）
河邊 淳, 非加法的測度と非線形積分, 数学, 2016, 68 巻, 3 号, p. 266-292（J-STAGE）
非加法的測度とそれに基づく積分（非線形積分）の応用は，上記の河邊2016のp.1と参考文献をご覧ください。
非加法的測度を学ぶ前に，通常の測度論があやしいという人は，測度論を復習してからの方がいいでしょう。
確率論・への応用を見据えて測度論を学べるテキストとしては，こちらの評価が高いようです。
リンク