重回帰分析におけるデータ数と説明変数の数 元茨城学習センター長 塩見 正衛

投稿日: 2012/05/03 12:31:21

データから経験的な数式を作り出す方法の一つに、重回帰分析があります。重回帰分析は、自然科学、社会科学を問わず、データがどのような因子で成立っているかついての知識を得たり、数値予測をするのにとても有効な方法です。今回は、重回帰分析でよく起こす過誤について調べ、注意を喚起します。

重回帰式の一般形は次のように書かれます。yを総合的な変数とし、x₁, x_2, …, x_pをyに影響を与えると考えられるp個の変数とします。yを目的変数、x₁, x_2, …, x_pを説明変数と呼んでいます。たとえば、米の単収をyとします。稲の生育期間中に米の収量に影響を及ぼすと考えられる因子として、田植え時の窒素肥料の量x₁、田植え後1カ月後の雑草量x₂, … ,というような変数を考えます。そこで、yをx₁, x_2, …, x_p の一次式として表わせるとき、yのx₁, x_2, …, x_pによる重回帰分析といいます。（数学的には、もっと抽象的な定義がなされていますが、ここでは回避します。） 実験で得られたデータがn組あるとすると、第i組目のデータに対して、

y_i = b₀ + b₁x_1i + b₂x_2i + … + b_px_pi（i = 1, 2, …, n）

と書かれます。ここで、b_iはj番目の説明変数の偏回帰係数(j = 1, 2, …, p)、b₀は重回帰式の切片です。

実際に測定されたyの値と、式から計算されたyの値は記号で区別して、計算されたyをyと書くことにします。したがって、e_i = y_i –y_iは測定値と計算値の差 (残差と呼ぶ)、重回帰式の「良さ」を表わしています。| e_i |は小さいほど重回帰式は「データの性質をよく表わしている」あるいは、「データによく適合している」といえます。このデータへの重回帰式の「適合程度」を表すのに、決定係数（あるいは寄与率）と呼ばれる指数がよく使われています。R²と書かれることもあります。決定係数R²は次のようにして計算されます：n個のデータy_iの偏差平方和をS_yとし、e_iの偏差平方和をS_e（e_iの平均は0だから、2乗和と同じ）とします。この両者の差の比(S_y – S_e) / S_yが決定係数R²です。データに対して、「重回帰式が全く適合していない場合」は、S_y = S_eとなると考えられますからR² = 0、一方、「完璧に適合していた場合」はS_e = 0ですからR² = 1が得られます。この関係から、「R² は1に近くなるほど、データに対して重回帰式がよく適合している」といえます。証明は省略しますが、ここに示したR² の平方根、すなわちRはデータy_iと重回帰式で計算した値y_iの相関係数でもあります。ですから、データと計算から得られた値が全くでたらめに対応しているなら、Rは0でしょう。近いほどRは大きな値、すなわち1に近い値になると想像できます。

さて、次に、ここに潜んでいる自己矛盾を説明したいと思います。すなわち、「はたして、R²は1に近いほどいい重回帰式なのかどうか」ということをです。数値例を乱数で作り、それを使って説明します。

重回帰分析における目的変数のデータy_iはある平均の周りにばらつく正規分布に従っていることが前提になっていますから、ここではn = 10個のy_i (測定値) は正規乱数で発生させました。説明変数x_iは、正規分布に従っている必要はありませんから、一様乱数で作りました：データの組数より1だけ少ないp = 9変数、x₁, x_2, …, x₉です。

図1に、目的変数を順次増やしていくと、重回帰式の決定係数R²がどのように変化していったかを示しました。また、最近、説明変数としてどの変数を選ぶかを決めるためによく利用されているAIC値もプロットしてあります。