大数据时代读书笔记.docx

大数据时代读书笔记

第一篇：大数据时代读书笔记大数据时代——读书笔记一、引论1.大数据时代的三个转变：1.可以分析更多的数据，处理和某个现象相关的所有数据，而不是随机采样2.不热衷于精确度3.不热衷与寻找因果关系2.习惯：用来决策的信息必须是少量而精确的。实际：数据量变大，数据处理速度变快，数据不在精确3.危险：不是隐私的泄露而是未来行动的预判二、大数据时代的思维变革1.原因：没有意识到处理大规模数据的能力，假设信息匮乏，发展一些使用少量信息的技术（随机采样）1.1086年末日审判书英国对人的记载2.约翰·格朗特：统计学，采样分析精确性随着采样随机性上升而大幅上升，与样本数量关系不大3.1890年，穿孔卡片制表机，人口普查4.随机采样有固有的缺陷1.采样过程中存在偏差2.采样不适合考察子类别3.只能得出实现设计好的问题的结果4.忽视了细节考察2.全数据模式：样本=总体1.通过异常量判断信用卡诈骗2.大数据分析：不用随机抽样，而是采用所有数据。不是绝对意义而是相对意义。（Xroom信用卡诈骗，日本相扑比赛）3.多样性的价值（社区外联系很多》社区内联系很多）3.混杂性而非精确性1.葡萄树温度测量：数据变多，虽然可能有错误数据，但总体而言会更加精确。2.包容错误有更大好处3.word语法检查：语料库》算法发展4.google翻译：让计算机自己估算对应关系，寻找成千上万对译结论：大数据的简单算法好过小数据的复杂算法5.大数据让我们不执著于也无法执着于精确6.MIT的通货紧缩软件：即时的大数据7.标签：不精确8.想要获得大规模数据的好处，混乱是一种标准途经9.新的数据库：大部分数据是非结构化的，无法被利用10.Hadoop：与mapreduce系统相对的开源式分布系统，输出结果不精确，但是非常快结论：相比于依赖小数据和精确性的时代，大数据因为更强调数据的完整性和混杂性，帮助我们进一步接近事情的真相。“部分”和”确切“的吸引力是可以理解的。但是当我们的视野局限在我们可以分析和确定的数据上时，我们对世界的整体影响就会产生偏差和错误。不仅失去了尽力收集一切数据和活力，也失去了从不同角度观察时间的权利。三、不是因果是相关1.知道是什么就够了，不需要知道为什么。1.亚马逊放弃书评组，使用大数据预测人们的未来购书需求2.2.在小数据世界，相关关系有用，但是大数据背景，相关关系大放异彩。通过找关联物，相关关系可以帮助我们捕捉现在和预测未来1.A和B经常一起发生，那么A发生时可以预测B发生2.例子：沃尔玛把飓风用具和蛋挞放在一起3.过时的寻找关联物的方法a)原因：数据少且收集花时间b)在建立，应用假想和选择关联物时容易犯错误c)结论：我们不需要人工选择关联物3.大数据的相关分析法更准确，更快1.例子：FICO我们知道你明天会做什么2.伊百丽：根据个人信用卡交易记录预测个人收入，防止逃税3.Aviva：根据生活方式数据预测疾病4.美国零售商target：通过购买习惯预测是否怀孕4.通过找出新种类数据的相互联系解决日常需要：找到关联物并监控，我们可以预知未来1.例子：UPS与汽车修理预测2.新生儿健康监测：肉眼看不到，但是计算机能看到5.当收集分析和储存数据的成本较高时，应当适当丢弃一些数据6.数据的非线性关系1.幸福的非线性关系7.快速思维模式使人们偏向于用因果关系看待周围的一切，因此经常对世界产生错误认识。这也使大脑为了避免辛苦思考而产生的捷径。大数据会经常被用来证明我们习惯的思维方式是错误的。8.证明因果关系的实验开销大，难于操作；相关关系很有用，不仅是因为能为我们提供新的视角，而且提供的视角都很清晰。一旦我们考虑因果关系，这些视角会被蒙蔽。9.大数据并非是理论消亡的时代。四、一切皆可量化1.莫里的信息交换计划：总结所有船只的航海日志已获得好的航线，为第一根大西洋电缆奠定基础2.坐姿研究与汽车防盗系统3.数据化1.把现象转变成可指标分析的量化形式的过程2.计量和记录促成了数据：1.阿拉伯数字2.计数板3.复式记账法3.数字化与数据化的区别1.例子：google的数字图书馆：开始使用扫描-》数字化，进而光学识别-》数据化。Google借此改进自己的翻译2.文化组学：定量分析揭示人类行为4.文字变成数据：人可以阅读，机器可以分析5.方位变成数据：需要一套标准的标记系统和收集，记录数据的工具。1．始于古希腊2.1884年，国际子午线会议3.1978年，全球定位系统4.英国汽车保险5．UPS的最佳行车路线：减少左转6.收集用户地理位置数据，以便进行忠诚度计划。或者可以预测交通情况6.现实挖掘1.处理大量手机数据，发现并预测人类的行为。2.例子：预测流感隔离区域3.例子：通过非洲预付费用户的位置信息和他们账户的资金，发现贫民窟是经济繁荣的跳板7.沟通变成数据