大数据建模与数据挖掘培训心得体会.docx

大数据建模与数据挖掘培训心得体会

第一篇：大数据建模与数据挖掘培训心得体会大数据建模与数据挖掘培训心得体会公司在2017年08月24日—08月27日组织参加了在北京举办的“大数据建模与分析挖掘”培训班，首先感谢公司给予的这次难得的机会，虽然只有短短的3天时间，但是我觉得在这3天我得到了一个充分的学习。下面我就谈谈这次培训的一些体会。1、对数据建模和挖掘体系有了更深入的了解培训中讲了大数据底层架构hadoop、spark的组成、了解了HDFS、mapreduce、hive、Hbase等组建的应用场景，并且也涉及了大数据架构与数据挖掘技术的结合，对整个大数据体系架构及数据挖掘流程更进了一步。2、了解了挖掘模型的底层的原理虽然实际工作中对数据挖掘模型更多的是侧重应用，但是了解了模型原理有利于对模型进行改造升级。培训中学习了一些模型求最优解的方法和策略，了解了最小二乘法、贪心算法、熵值法在求解模型系数时的应用原理，通过培训对模型底层算法有了一定了解。3、学习了一些最新的建模方法在以往的建模中往往采用单一模型或者多个模型权重结合的方式进行模型建立，此次培训中老师讲到了级联模型的应用，通过多个模型的等级级联，使预测模型的损失函数值最小且避免过拟合，并引入了xgboost高拟合模型，通过此次培训，对最新的建模方法和模型包有了一些了解。4、确定了下一步学习的方向和目标通过此次培训了解到自己在数据挖掘的道路还很长，对整个体系的全面掌控、建模的高准确性、深度学习等方面都是自己未来发展的方向，后续工作和学习中，根据公司需要确定优先深入学习的方向。5、规划将学习的知识应用到实际工作中在当前工作中也会涉及到预测模型，后期当不注重模型的可解释性时，可考虑使用黑盒方式进行数据挖掘，采用级联模型完成高拟合度的模型。在数据挖掘框架方面，虽然当前项目中没有涉及到的大数据体系架构的知识，但后期随着数据挖掘工作的深入，在模型部署阶段，可考虑将关系型数据库升级为大数据生态框架体系。第二篇：数据挖掘心得体会心得体会这次数据挖掘实验结束了，期间我们小组明确分工并积极去完成，虽然有点辛苦，但我感觉充实而有收获感！根据老师给的一些资料，我们决定采用SQLServer2000中的Northwind数据库里的数据作为我们的实验数据。根据表OrderDetails中的数据，我们分别根据ProductID和OrderID字段，并结合我们规定的最小支持度阀值对数据进行筛选。依次筛选出1项频繁集、2项频繁集和3项频繁集，其中还会使用游标的方式来遍历2项集与3项集的候选集，分别选出2项频繁集和3项频繁集。由于数据较多，因此过程比较复杂，要编写很多的查询语句，建立许多数据表，包括临时表。开始不知道则操作，但经过我们各自多次重复的建表与查询，逐渐的理解和有了自己的思路。尤其是在运用游标的方法进行遍历这块，因为我们比较陌生而不理解，操作时一时无法实现结果，但经过我们在网上查询了解相关知识，最终得以解决。经过该次实验，使我对数据库的操作更加熟练，而且还使我对课本上的“挖掘频繁模式”这块知识有了很好的掌握，今后我会多做实验，使我在实际操作过程中学得更好！第三篇：数据挖掘与分析心得体会正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。1、数据挖掘数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！2、数据分析数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步：1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。2、模型选定分