江苏龙网

  1. 首页 > 生活 > >

决策树适合大数据么( 四 )

决策树适合大数据么


查看拟合对象cptable组件，我们可以看看是否已经过度拟合模型：
airlineTree $ cptable CP nsplit rel error xerror xstd 1 1.270950e-02 0 1.0000000 1.0000002 0.0004697734 2 2.087342e-03 1 0.9872905 0.9873043 0.0004629111 3 1.785488e-03 2 0.9852032 0.9852215 0.0004625035 4 7.772395e-04 3 0.9834177 0.9834381 0.0004608330 5 6.545095e-04 4 0.9826404 0.9826606 0.0004605065 6 5.623968e-04 5 0.9819859 0.9820200 0.0004602950 7 3.525848e-04 6 0.9814235 0.9814584 0.0004602578 8 2.367018e-04 7 0.9810709 0.9811071 0.0004600062 9 2.274981e-04 8 0.9808342 0.9808700 0.0004597725 10 2.112635e-04 9 0.9806067 0.9806567 0.0004596187 11 2.097651e-04 10 0.9803955 0.9804365 0.0004595150 12 1.173008e-04 11 0.9801857 0.9803311 0.0004594245 13 1.124180e-04 12 0.9800684 0.9800354 0.0004592792 14 1.089414e-04 13 0.9799560 0.9800354 0.0004592792 15 9.890134e-05 14 0.9798471 0.9799851 0.0004592187 16 9.125152e-05 15 0.9797482 0.9798766 0.0004591605 17 4.687397e-05 16 0.9796569 0.9797504 0.0004591074 18 4.510554e-05 17 0.9796100 0.9797292 0.0004590784 19 3.603837e-05 18 0.9795649 0.9796812 0.0004590301 20 2.771093e-05 19 0.9795289 0.9796383 0.0004590247 21 1.577140e-05 20 0.9795012 0.9796013 0.0004590000 22 1.122899e-05 21 0.9794854 0.9795671 0.0004589736 23 1.025944e-05 22 0.9794742 0.9795560 0.0004589678 24 1.000000e-05 23 0.9794639 0.9795455 0.0004589660决策树适合大数据么


随着分裂数量的增加，我们看到交叉验证误差（xerror）稳步下降，但请注意，在大约nsplit = 11时，变化率会急剧减慢。最佳模型可能非常接近这里。（通过数据的总数）等于maxDepth + 3的基数加上xVal乘以（maxDepth + 2），其中xVal是交叉验证的折叠数，maxDepth是最大树深度。因此深度10个具有4倍交叉验证的树需要13 + 48或61个数据通过）。
要修剪树，请使用prune.rxDTree函数：
airlineTree4 呼叫： rxDTree（公式= ArrDel15~CRSDepTime + DayOfWeek，data = https://www.zhihu.com/api/v4/questions/21145016/sampleAirData， maxDepth = 5，cp = 1e-05，blocksPerRead = 30） 文件：C：// MRS // Data // AirOnTime7Pct.xdf 有效观察数：10186272 失踪观察次数：213483 树表示： n = 10186272 node），split，n，deviance，yval *表示终端节点 1）root 10186272 1630331.00 0.20008640 2）CRSDepTime /u0026lt;13.1745 4941190 642452.00 0.15361830 4）CRSDepTime /u0026lt;8.3415 1777685 189395.70 0.12123970 8）CRSDepTime/u0026gt; = 0.658 1717573 178594.90 0.11787560 16）CRSDepTime /u0026lt;6.7665 599548 52711.45 0.09740671 * 17）CRSDepTime/u0026gt; = 6.7665 1118025 125497.50 0.12885220 * 9）CRSDepTime /u0026lt;0.658 60112 10225.96 0.21736090 * 5）CRSDepTime/u0026gt; = 8.3415 3163505 450145.40 0.17181290 10）CRSDepTime /u0026lt;11.3415 1964400 268472.40 0.16335320 20）DayOfWeek = Sun 271900 30839.16 0.13043400 * 21）DayOfWeek =周一，周二，周三，周四，周五，周六1692500 237291.30 0.16864170 * 11）CRSDepTime/u0026gt; = 11.3415 1199105 181302.00 0.18567180 22）DayOfWeek =周一，周二，周三，周六，周日852016 124610.90 0.17790390 * 23）DayOfWeek = Thur，Fri 347089 56513.56 0.20474000 * 3）CRSDepTime/u0026gt; = 13.1745 5245082 967158.50 0.24386220 6）DayOfWeek =周一，周二，周三，周六，周日3708992 651771.30 0.22746990 12）DayOfWeek =周六635207 96495.57 0.18681000 * 13）DayOfWeek =周一，周二，周三，周日3073785 554008.60 0.23587240 26）CRSDepTime /u0026lt;16.508 1214018 203375.70 0.21281150 52）CRSDepTime /u0026lt;15.1325 709846 114523.30 0.20223400 * 53）CRSDepTime/u0026gt; = 15.1325 504172 88661.12 0.22770400 * 27）CRSDepTime/u0026gt; = 16.508 1859767 349565.80 0.25092610 54）DayOfWeek =周一，周二928523 168050.90 0.23729730 * 55）DayOfWeek = Wed，Sun 931244 181170.60 0.26451500 * 7）DayOfWeek = Thur，Fri 1536090 311984.20 0.28344240 14）CRSDepTime /u0026lt;15.608 445085 82373.02 0.24519140 * 15）CRSDepTime/u0026gt; = 15.608 1091005 228694.30 0.29904720 30）CRSDepTime/u0026gt; = 21.9915 64127 11932.93 0.24718140 * 31）CRSDepTime /u0026lt;21.9915 1026878 216578.10 0.30228620 *


推荐阅读


上一篇：电商对税收有啥影响

下一篇： 仙人掌科：有种猴尾巴仙人掌，才养了几年，没想到变成了一道风景线