大数据培训总结材料.docx

大数据培训总结材料

第一篇：大数据培训总结材料为期5天的“云计算与大数据技术及其应用高级研修班”已经结束。作为一名学员，我在这5天时间里聆听了王家耀院士、郭殿升教授、郑宇研究员等人的研究报告，对云计算、大数据和互联网+相关概念、技术有了更深的认识，对它们在各个领域的应用有了更进一步的了解，拓宽了思路，对我们接下来在科研和教学工作中研究云计算和大数据、讲授云计算和大数据、使用云计算和大数据都有很大的促进作用。下面我将对自己对云计算和大数据的认识以及如何使用相关技术服务于工作的设想做一个简单介绍。1．云计算云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源，它还没有一个一个统一的概念。美国国家标准与技术研究院（NationalInstituteofStandardsandTechnology，NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算（CloudComputing）是分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）、热备份冗余（HighAvailable）等传统计算机和网络技术发展融合的产物。2006年8月9日，Google首席执行官埃里克·施密特（EricSchmidt）在搜索引擎大会（SESSanJose2006）首次提出“云计算”（CloudComputing）的概念。它一出现就吸引了各方的关注：2007年10月，Google与IBM开始在美国大学校园，推广云计算的计划；2008年2月1日，IBM（NYSE:IBM）宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算中心（CloudComputingCenter）；2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计算研究测试床，推进云计算；2010年7月，美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划。云计算的核心与效用计算和网格计算非常类似，也是希望IT技术能像使用电力那样方便，并且成本低廉，截至到2014年，云计算在需求方面已经有了一定的规模、在技术方面也已经基本成熟了。当前已经出现的云计算研究和应用主要体现在：云物联、云安全、云存储、云游戏、云计算等。云计算包括基础设施即服务（Infrastructure-as-a-Service，IaaS）、平台即服务（Platform-as-a-Service，PaaS）和软件即服务（Software-as-a-Service，SaaS）三个层次的服务，涉及编程模式、海量数据分布存储、海量数据管理、虚拟化、云计算平台管理等热门技术，是当前最热门的科技词汇。当然云计算也存在一些问题，如数据隐私问、数据安全性、用户的使用习惯、网络传输问题、缺乏统一的技术标准等。2．大数据简单的说，大数据（bigdata），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，其关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据具有容量大、种类多、速度快、可变性强以及真实、复杂等特征，其价值价值体现在：对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；做小而美模式的中长尾企业可以利用大数据做服务转型；面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。为了加快大数据产业的发展，国务院于2015年9月印发《促进大数据发展行动纲