特に総受験者数や順位ランクの人数が異なる別の年度については、別途読み替えが必要であることに注意されたい。
なお、平成30年と令和1年の予備試験は受験人数がほぼ同じであるため、ほとんど同じ数字であると考えて良いです。
結論から言うと、各順位ランクは、合格最低点に対して以下のような点数を取る。
まずはいくつかの明らかなことから論じます。
1.各科目の平均点は、どの科目も等しく、かつ、全科目平均点を科目数で割ったものである。
∵そうなるように得点調整されていることが、司法試験の得点別人員調データより明らかである。
また、1科目の点数は全科目の平均点/10されたもの
(平成30年なら平均点200点なので1科目の平均点はどの科目でも20点、令和1年なら平均点190点なので1科目の平均点はどの科目でも19点)
になることが、得点調整の式から明らかである。よって、得点について分析する際は以降すべて平均点部分を取り除いて考えるものとする。
2.なお、得点別人員調の読み方は、整数値以上の点数の人数が表示されている。統計分析にかけるときには+0.5すべきである。
∵得点別人員調データから明らか。
3.得点調整後の点数は概ね正規分布していると仮定できる。
∵司法試験の得点別人員調（選択科目）の分布を見るに、一科目だけ取り出しても十分正規分布していると言って差し支え無さそうである。
∵得点調整後の点数は、Z変換(正規化)された複数人の採点官の点数の和(平均)であり、つまり確率分布の和となるから、中心極限定理により正規分布に近づいているはずである。
要するに、以下のグラフのような形になるということです。
厳密には正規分布に従っているかどうかの検定をする必要がありますが、従っていると考えないことには話が進まないので、
ここではこれ以降、正規分布に従うものとして話をすすめます。
4.なお、科目ごとに、得点調整後の点数の標準偏差は若干異なっている。
∵得点別人員調から計算するに、選択科目内において1標準偏差(sd)=10.88～12.45もの差が生じている。
(配点率による)得点調整後にも関わらずこれほどの差が生じることについては何らかの説明が必要であろう。
なお、得点調整後にも、複数人の採点官の点数の平均を取るという処理を受けているため、採点者によって同じ答案に対しての点数のばらつきが激しい(相関性が低い)ときは、結果的に当該科目の標準偏差を押し下げている可能性がある。一方で、何らかの採点基準に基づいて採点されている以上、相関が低いということも考えにくい。(それはそれで試験としてどうなんだ)
∴よって、公表されている計算式による、配点率(1標準偏差あたりの点数)が、全科目を通して一定ではない可能性(別途、調整を受けている可能性)がある。例えば、配点率を各科目内でマイナス点の者が出ないギリギリの値に調整しているなど。
4については上手い説明が難しく、悩ましいところです。
5以降が本題になります。
5.調整後得点は正規分布していると仮定するならば、順位ランク(A～F)は、閾値となる順位によって区切られる範囲を占めているはずである。
例えばAならば2534人中1位～300位、つまり上位11.84%以上の場所を占めている計算となり、これは正規分布で平均点(0点とする)+1.18σ(sigma,標準偏差)以上に相当する。つまりAランク者の最低点(300位)は、平均点(0点)+1.18*σ点(ただしσ=標準偏差は別途推定することにする)であることが言える。
また、Aは+1.18σ以上のどこかの点数(但し50点まで)を取りうるが、その期待値(期待ショートフォール)は+1.67σとなる。つまり、他に何の情報も無しに、ある科目がAランクであるということだけが分かっている場合、その科目の期待値は+1.67σであるということが言える。
このことは要するに以下のようなグラフのようになるということです。
A～Eランクのそれぞれの区域は、面積的には同じになります。
正規分布になると考えている以上、当然、A～Fの各ランクは、上記の図の範囲のどこかとなります。
上記のことから考えるに、各順位ランクの期待値、上限・下限は以下のようになる。
6についてはかなりテクニカルになります。興味ない人は読み飛ばしてください。
6.ここで、各順位ランクの実際の点数を知るためには、各科目の点数の標準偏差を知る必要がある。
☆推定方法
合計点の標準偏差が45程度であることが、予備試験の得点別人員調で分かっている。(割愛)
とすると、各科目の相関が1であるというありえない仮定を置いたとき、10で割ると4.5となるため、少なくとも標準偏差は4.5以上であることが分かる。
反対に、各科目の相関が0であるというありえない仮定を置いたとき、1科目の標準偏差が14であるとき、合計点の標準偏差が45となる。(ルート10で割れば良い)
つまり、標準偏差は最大でも14以下であることが分かる。
なお、辰巳のデータによると、法律7科目の答練の、科目別相関は0.4～0.5程度らしい。
https://www.tatsumi.co.jp/stream/documents/140630-shiryou-2.pdf
その場合、合計点の標準偏差が45程度となる、標準偏差は6.0～6.6程度となる。
司法試験の選択科目の得点別人員調から推定する方法もある。
こちらは上述したように各科目によって多少ばらつきがあるが、11.6程度だと分かっているため、そのまま予備試験の50点満点に合わせて2で割れば5.8となる。
一方で、2科目の点数を合算した公法系・刑事系の標準偏差が24程度、3科目の点数を合計した民事が35程度となることに違和感がある。(相関係数が1でない限り)1科目の標準偏差が12にも関わらず、2科目足した点数の標準偏差が24となることはありえず、相関係数が1から遠くなる分だけ、1科目の標準偏差はより高いと考えるべきだからである。
科目間の相関係数については別途後述するが、仮に相関係数が0.5程度とすると1科目の標準偏差は14程度、2で割って7となる。
なお、配点率から計算する方法もある。
旧司法試験は40点満点であり、配点率は4であった。このことなどからstudyweb5氏は、新司法試験の配点率は10、予備試験の配点率は5であると推定している。
上記の配点率が正しいとした場合、実際には複数人の採点者の点数の平均が取られ、その相関が1ではないことから、採点者が3人、採点者同士の相関係数が0.9と仮定したときに、実際の1科目の標準偏差は4.8程度となる。
なお、1科目の標準偏差が4.8としたときに、10科目合計点の標準偏差が45以上となるためには、科目間の相関係数0.85以上が必要である。
これは上記の辰巳のデータから考えても、実感にも相関係数が高すぎるように感じる。(相関係数がとても低いと思われる教養科目もあるはずなので)
とすると、1科目の標準偏差は概ね5を下回らないと考えて良いだろう。
科目間の相関係数・・・選択・公法・刑事・民事の標準偏差から計算される相関係数は0.648となる。
一方で、それらの科目の相関は単科目の相関よりも高くなっていると推定される。(相関を持つもの同士の和の相関なので)
8科目が全て一定の相関係数であると仮定したとき、公法は2科目の和、刑事は2科目の和、民事は3科目の和と置いて乱数を発生させ、それぞれの間の相関係数を求める。
さらに各系別の標準偏差と、上記で求められた相関係数を基に、全科目合計の標準偏差を計算するとき、司法試験の総合SD81と等しくなるような科目間相関係数は約0.48程度である。このときSD=6.13となるが、一般教養科目分の押し下げも考えて0.45とすると、SD=6.29となる。
以上まで出てきた仮説を整理すると、
・少なくとも4.5以上
・最大でも14以下
・6.0～6.6程度
・5.8
・7
・5は下回らない
・6.13よりは高く、6.3程度。
よって、5.8以上で7以下、6.3程度と推定されている。
6台のどこかであろう。
7.各順位ランクの期待値を、それぞれの標準偏差ごとに算出した。
なお、年度によって合格最低点も平均点も異なっているが、
概ね平成30年と令和1年の予備試験の合格最低点は平均点+40点となるため、
1科目あたりに直すときに4点を引くことで、合格最低点に対して何点差かという尺度にしている。
ここで、概ね標準偏差=6.3程度と考えると、
各順位ランクの得点期待値および、取りうる点数については以下のような結論が得られる。
追記1
実務基礎については、1科目の標準偏差6.3、科目間相関係数0.45としたときに、
以下のような点数分布となるはずである。
簡易に計算したいときは、先に出ている点数表の点数を2倍して計算すること。
追記2
昔から、この手の試験について、
「もう一度やると合格者は○○割入れ替わる(から合格者は慢心せず、不合格者も諦めないこと)」
というような言説があると思うのだが、
その真偽をシミュレーションで確認することにした。
別途記事にする予定。
