確認テスト | 32.腕試しチャレンジ（DataDojo）

Q1DataDojo の中古マンション価格予測チャレンジで、提出した CSV はどのように採点されるでしょう？

ID の列で正解データと結びつけるので、行の並びは自由でよい列の名前と行の数が正解データと同じか確かめたうえで、いちばん右の列を、上からの順番で正解と比べる予測の列の名前が何であっても、2列目を予測として読みとる形がまちがっていた提出は、1日の提出の回数に数えられない

Q2このコンペの目的変数は価格（円）の常用対数です。RMSE が 0.1 のとき、予測のずれはおおよそどのくらいと読めるでしょう？

価格がだいたい10万円ずれる価格がだいたい10％ずれる価格がだいたい1.26倍（または0.79倍）ずれる価格がだいたい10倍ずれる

Q3学習データは2019年まで、テストデータは2020年の取引です。手元の検証のしかたとして、もっとも本番に近いものはどれでしょう？

2018年までのデータで学習し、2019年のデータで検証する学習データ全部をランダムに5つに分けて、K分割交差検証をする学習データ全部で学習し、同じ学習データで予測して RMSE を測るテストデータを何回も提出して、リーダーボードのスコアだけで比べる

Q4「地区ごとの価格の平均」を特徴量に足すとき、リークにならない作り方はどれでしょう？（2019年で検証する場合）

2019年も含めた学習データ全部で、地区ごとの平均を計算するテストデータも含めて、地区ごとの平均を計算する2019年の検証データだけで、地区ごとの平均を計算する学習に使う2018年までのデータだけで、地区ごとの平均を計算する

Q5LightGBM 4 で、検証データのスコアが100回続けて良くならなければ学習を止める書き方として正しいものはどれでしょう？

lgb.train(params, dtrain, valid_sets=[dvalid], early_stopping_rounds=100)lgb.train(params, dtrain, valid_sets=[dvalid], callbacks=[lgb.early_stopping(stopping_rounds=100)])lgb.train(params, dtrain, valid_sets=[dvalid], verbose_eval=100)lgb.train(params, dtrain, early_stop=True, rounds=100)

Q6とても安い取引（外れ値）の扱いと、DataDojo のリーダーボードについて、正しいものはどれでしょう？

外れ値は学習データからも検証データからも外すと、本番に近い見積もりになるDataDojo には Public と Private のリーダーボードがあり、最後の順位は Private で決まる外れ値を外すなら学習データだけにして、検証データには手を加えない。リーダーボードはテストデータ全部で採点されるので、提出をくり返して合わせこまず、手元の検証で判断するリーダーボードのスコアが良くなる設定を、毎日5回ずつ提出して選んでいくのがいちばん確実である