1.大数据概述与学习资源

1.了解微信、微博、小视频天天产生的数据量与数据类型。

微信：从2018微信数据报告中可知，微信消息日发送次数达到450亿，日成功通话次数达到4.1亿。

微博：从2018微博台网数据白皮书可知，新浪微博日发博量653万，阅读量913亿，视频博文量72万，播放量96亿。

小视频：从2018快手内容报告可知，快手日上传短视频超过1500万条、短视频库存80亿条。

以上皆为非结构化数据类型，主要包括邮件、音频、视频、微信、微博、位置信息、连接信息、手机呼叫信息、网络日志等。

2.选择一个你感兴趣的领域应用数据思惟进行分析决策的案例。

精准扶贫大数据：

1、什么是精准扶贫大数据？

经过对数据的提取分析，“扶贫大平台”还能展现贫困人口的致贫缘由，包括：因病、因残、因学、因灾、缺土地、缺水、缺技术、缺劳力、缺资金、交通条件落后、自身发展动力不足等，经过致贫缘由分析，协助制定精准的扶贫措施

系统数据显示，致贫缘由前三位为缺资金、缺技术和因学致贫，分别占比为30.0%、17.2%和14.7%。

平台旨在经过大数据技术，扩大信息采集的渠道，提升数据加工能力和效率，深度挖掘数据的价值，为扶贫工做提供真实可靠、及时全面的决策数据，为最终实现精准扶贫和精准脱贫保驾护航。

精准识别的目的是为了精准帮扶脱贫。

“经过大数据技术，掌握贫困人口信息、致贫缘由等后，咱们将围绕帮扶结对状况、帮扶计划制定、帮扶计划落实状况、帮扶措施状况，针对省、市州、县、镇、村，分别监测结对、帮扶计划、帮扶项目落实状况，识别出已落实、未落实的贫困人口分布，关联显示帮扶的人或单位等相关信息。经过帮扶状况分析，清晰了解省、市州、县、镇、村贫困人口的实际帮扶状况，协助帮扶任务的落实。

2、大数据扶贫能作什么？
①、精准帮扶对象

对贫困村、贫困户建档立卡，统一识别标准、统一数据口径，动态掌握基本信息，推行扶贫对象实名制管理。

②、精准帮扶措施

针对贫困户致贫缘由详细记录，并分析统计户详细情况，制定精准帮扶计划精准扶贫。

③、因村精准派人

针对每一个贫困村致贫的不一样状况，选择抽调相关帮扶责任人进行精准扶贫。

④、精准项目安排

分析贫困户的能力需求，大力发展林业、牧业、养殖业、种植业等项目，进行精准扶贫安排。

⑤、精准资金使用

“因地施策”，根据贫困村的具体状况，在交通、通讯、医疗、教育、居住等方面实现精准资金投放。

⑥、精准脱贫成效

“对症下药，药到病除”，多措并举达到扶贫目的，取得精准脱贫成效。

3、为何要作大数据扶贫？
引入大数据技术，有利于“识真贫”。去年10月起，全区抽调25万名干部深刻细致开展新一轮精准识别行动，采集了大量贫困信息，为扶贫决策提供了重要依据和参考。然而，因为贫困具备多维度、复杂性、动态性的特色，究竟谁是贫困户，辨识起来难度很大、费时费力。若是能应用大数据技术，打破地区、部门之间“信息孤岛”，让分散在不一样地区和部门的碎片化信息“牵手”、联网，就“不畏浮云遮望眼”。经过构建大数据扶贫系统和服务平台，实施数据对比分析与综合评估，能减小人为因素的影响和失误，把真正贫困的筛选出来，把不符合条件的“踢”出去。

依托大数据技术，有益于“扶真贫”。为了啃下“硬骨头”，各级政府加大了对扶贫开发的投入和支持力度，意味着更多真金白银将投向贫困地区和贫困人口。然而，项目怎么定，才够科学？资金如何用，方为合理？工做怎么作，才更有效？后续保障和配套措施须要及时跟上。依托大数据技术，对扶贫数据进行实时观测、动态监测和分析研判，既能找准脱贫的主体、重点和关键，也能确保扶贫项目科学合理、精准到位，有利于最大限度发挥扶贫资金的使用效益，把宝贵资源精准投放到真正的贫困户身上。

利用大数据技术，有助于“真扶贫”。一些地方“年年扶贫年年贫”，扶贫工做老是“涛声依旧”，除了方法不许、创新不足、措施乏力以外，与磨洋工、作虚工、唱空文的不良做风大有关系。要拔掉“穷根”，就要对准靶心、精确滴灌、使出实招。利用大数据技术，可以对贫困人口的分布情况、致贫缘由、帮扶状况、脱贫进度等作到精准把握。一方面，能准确掌握扶贫项目的效益和发挥做用状况，以便及时调整政策，避免项目失误和资金浪费。另外一方面，能够清楚地查看到每一个贫困对象的帮扶干部是谁、作了哪些工做、工做到位与否、任务落实如何，实现脱贫过程可视化、数字化和动态化管理。同时，依托大数据，还能够为贫困地区提供信息服务，以便当地政府因地制宜、分类施策、因人而异发展产业、对接帮扶，确保脱贫取得实效。

3.大数据 人工智能 云计算 物联网 区块链的概念及相互关系。

 大数据：大数据（big data）是指没法在必定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各类各样类型的数据中，快速得到有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

人工智能：人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

云计算：云计算（cloud computing，台湾译做云端运算），是分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析以后将处理结果回传给用户。透过这项技术，网络服务提供者能够在数秒以内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”一样强大效能的网络服务。

物联网：物联网（The Internet of Things）的概念是在1999年提出的，它的定义很简单：把全部物品经过射频识别等信息传感设备与互联网链接起来，实现智能化识别和管理。物联网经过智能感知、识别技术与普适计算、泛在网络的融合应用，被称为继计算机、互联网以后世界信息产业发展的第三次浪潮。物联网被视为互联网的应用拓展，应用创新是物联网发展的核心，以用户体验为核心的创新2.0是物联网发展的灵魂。

区块链：区块链（Block Chain）起源于中本聪的比特币，做为比特币的底层技术，本质上是一个去中心化的数据库。是指经过去中心化和去信任的方式集体维护一个可靠数据库的技术方案。

相互关系：物联网的正常运行是经过大数据传输信息给云计算平台处理，而后人工智能提取云计算平台存储的数据进行活动。

它们也能够做为一个技术体系，数字新技术主要包括大数据、云计算、物联网、区块链、人工智能五大技术。根据数字化生产的要求，大数据技术为数字资源，云计算技术为数字设备，物联网技术为数字传输，区块链技术为数字信息，人工智能技术为数字智能，五大数字技术是一个总体，相互融合呈指数级增加，推进数字新经济的高速度高质量发展。

4.大数据的职业前景。

咱们都知道，大数据如今是很是火热的，基本上是人尽皆知，不少人也都很是想加入这个行业，成为一名优秀合格的大数据工程师。从目前的状况来看，因为现今大市场环境下大数据人才匮乏，对于公司来讲，很难招聘到合适的人才（既要有高学历，同时最好还有大规模数据处理经验），这也就为那些正在成为大数据工程师的朋友提供了一个很好的职业稀缺环境。那么大数据工程师的职业发展前景具体如何呢？

大数据工程师的前途仍是很明朗的，成为大数据工程师若是有相关方面的经验的话仍是比较简单的。目前长期从事数据库管理、挖掘、编程工做的人，包括传统的量化分析师方面的工程师，以及任何在工做中须要经过数据来进行判断决策的管理者，好比某些领域的运营经理等，均可以尝试该职位，而各个领域的达人只要学会运用数据，也能够成为大数据工程师。

大数据工程师在薪酬待遇也是颇有优点的，能够说，大数据工程师在IT类职业中比较稀缺的，大数据工程师的收入待遇能够说达到了同类的顶级。根据颜莉萍的观察，国内IT、通信、行业招聘中，有10％都是和大数据相关的，且比例还在上升。大数据时代的到来很忽然，在国内发展势头激进，而人才却很是有限，如今彻底是供不该求的情况。在美国，大数据工程师平均每一年薪酬高达17.5万美圆，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其余职位高不少。

在职业发展路径上，因为大数据人才数量较少，所以大多数公司的数据部门通常都是扁平化的层级模式，大体分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不一样团队，而在小公司则须要身兼数职。这个职位的大部分人会往研究方向发展，成为重要数据战略人才。另外一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，所以也可转向产品部或市场部，乃至上升为公司的高级管理层。