大数据分析在政府内的运用:智慧政务

　　2020疫情期间，中国政府也采用了大数据分析技术，决策分析疫情动态，帮助全国人民渡过难关。大数据时代，公务员们都得是“数据”高手!大数据分析在中国已经是最热门的职业，也是应届生们的首选职业之一。

　　大数据不仅仅是数据，更是一种技术。它不仅能挖掘数据的潜在价值，还能实现数据创新，实现海量数据的更多社会价值，可以从中发现一些影响经济社会发展的潜在影响因素，为政府部门管理市场经济做出科学决策提供了相应的参考依据。
 

　　政府应用大数据的必要性
 

　　在政府行政体制改革、公共服务领域和日常管理中，政府已把大数据作为基础性战略资源逐步加以发展和运用，并充分落实创新发展的理念，加快政府职能的转变，提升政府治理能力。2015年4月3日，国务院在政府信息公开工作要点中表示要积极推进政府数据公开，把运用大数据等现代信息技术作为促进政府职能转变，简政放权、放管结合和优化服务的有效手段。
 

　　大数据风潮席卷全球，为什么人人都要学大数据分析?
 

　　1.为什么要学大数据分析
 

　　大数据号称新时代的石油，很多行业都开始用数据驱动业务，通过对数据的分析和挖掘，从单纯的数据报表，到建模分析，深入挖掘，来帮助业务部分来系统的思考问题。
 

　　同时，大数据分析也相对容易一些，比较好上手。
 

　　Python的应用的领域可以分为爬虫、web开发、大数据分析、机器学习等方向。和机器学习相比，大数据分析偏业务，机器学习偏工程，大数据分析入门对数学功底和算法基础的要求并不是特别高。
 

　　2.为什么选Python做大数据分析
 

　　可以来做大数据分析的语言和工具比较多，为什么偏偏选Python?
 

　　拿常见的R语言和Excel来说：
 

　　R语言其实是为统计学而生的语言，用来做统计学确实非常厉害。
 

　　但是R语言在语法的美观和使用的简洁便利上看，要比Python差很多，小函数一堆，而且语法不好理解，没有Python这么容易上手和通熟易懂。
 

　　而 Excel只能做一些简单的处理逻辑处理，适合小规模的数据集，或者简单的数据清洗，对于复杂的逻辑处理，数据清洗，还是用Python来的方便。
 

　　3.大数据分析岗位职业发展路径
 

　　在数据科学领域，有三个不同的角色，分别是：商业分析师，数据工程师和数据科学家，难度依次递增。
 

　　1.商业分析师
 

　　商业分析师的工作主要围绕报表和指标这两块儿，包括：

　　1).定义关键绩效指标

　　2).设计和实现报表

　　3).从用户那里收集报表需求

　　4).与数据工程师对接确保数据被正确地收集和存储

　　5).查询数据(一般是聚合过的)
 

　　2.数据工程师
 

　　数据工程师的工作主要围绕架构和收集这两块儿，包括：

　　1).通过写数据传输包、设计聚合过程、优化存储，来构建和维护数据传输和存储的基础设施

　　2).将生产环境产生的原始数据，转换为商业分析师可以用来制作报表的格式化的数据
 

　　3.数据科学家
 

　　数据科学家的工作主要围绕预测和优化这两块儿，包括：

　　1).负责构建预测算法，以提升用户体验，最终增加参与度、留存率、收益

　　2).负责数据驱动的产品的改进和建议

　　这其实是一个金字塔，商业分析师位于金字塔的最底层，数据科学家位于金字塔的最顶层。
 

　　4.大数据分析师的薪资如何
 

　　招聘网上大数据分析师基本上在1-2年经验的平均年薪在20万左右。

　　再看一下大数据分析师的岗位主要需求城市：

　　主要是在北上广深和杭州 5个大的城市，其中北京的需求最多，几乎是第2/3/4位的总和。
 

　　5.大数据分析需求技能
 

　　大数据分析的内容多，而且比较全面，比如我们前面写了很多关于房地产，拉勾照片，旅游网站的数据，一般来说大数据分析分下面几个过程：
 

　　第一步：数据的爬取
 

　　大数据分析过程非常像我们平时做饭，第一步要先买菜，如何获取数据呢，很多时候我们需要爬取数据，爬虫涉及的知识比较多：
 

　　比如常见的http原理，爬虫的基本解析库reuqests，网页解析库BS,Pyquery,掌握一些分布式爬虫的框架，当然还有一些反爬虫的策略。当然如果我们能有现成的数据集会方便很多。
 

　　第二步：数据格式的处理和清洗
 

　　买好了菜，接着我们需要洗菜，也就是数据清洗!常见的数据集都是csv和json格式，需要熟练的掌握着两种格式的。Python中大数据分析的神兵利器是Pandas,这个库非常好用，功能也是非常强大的。可以对数据进行各种花色的清洗和切割，几乎所有用Python玩大数据分析，必须学会pandas库的用法。
 

　　第三步：数据的存储
 

　　清洗完成之后数据需要存储起来，一般用的比较多的 SQL 和 MongoDB。几乎所有的大数据分析师招聘都会面试SQL的用法，所以掌握一门数据的使用是非常有必要的!基本的增删改查这样入门级的操作，一定要熟练掌握。
 

　　第四步：数据的探索
 

　　我拿到一个数据集之后，需要对数据进行探索，分析数据之间的关系，每个特征值，每个变量的之间相关性和相互的影响，比如常见的EDA 探索大数据分析法。
 

　　单变量，双变量和多变量的探索，可以从很多角度，对数据进行切片分析，非常数据集中的变量之间的关系，找出相关性比较强的数据。
 

　　如果需要对数据进行深入的挖掘，需要了解机器学习的相关算法，大体分监督学习和无监督学习，比如回归问题，分类问题。这部分对数据集进行深入挖掘之后，可以找出数据间的规律，训练好的之后，可以预测数据，很是牛逼。
 

　　第五步：数据的可视化
 

　　展现数据最好的方法就是数据可视化，数据的可视化有很大的库，比如 echart，matplotlib，d3 和 Tableau，当然还有excel，一般大数据分析师必须要掌握exce或者Tableau。尤其是Tableau现在越来越多的公司用它来做可视化分析，有一个有趣的必然，同样一个库用R语言需要30分钟才能完成，Tableau只需要5分钟。
 

　　互联网大数据时代的到来，已成为人类不可阻挡的趋势。当下，互联网大数据正悄悄包围着我们，不仅给人们带来便利和机遇，而且也日益影响着经济社会发展和政府的治理。它犹如一座“富矿”，蕴藏着巨大的价值。
 

　　1 推动简政放权

　　行政管理需要实现现代化、科学化、智能化，推进行政体制改革、深化简政放权就需要建设政务大数据以推进信息，实现数据共享。
 

　　2 促进放管结合

　　在推动简政放权的基础上，还要促进放管结合。面对海量的信息市场，政府管理部门可以有效利用大数据的资源建立专属信息平台，在推动整合数据资源，部门间数据共享的同时，通过大数据强化监管，实现放与管的结合。
 

　　3 实现优化服务

　　将推动简政放权、放管结合和优化服务结合起来，加快政府的服务型建设，也是大数据作为促进政府职能转变的有效手段。
 

　　政府传统的决策过程是“发现问题—分析问题—解决问题”，这种决策方式可以一定程度地解决部分问题，但也较容易出现决策失误从而导致的劳民伤财。于是，在大数据的背景之下，新型的决策方式应该转变为“搜集数据—量化分析—找出相互关系—提出优化解决方案”，并根据大数据实时跟踪决策的实施过程，在决策实施中根据环境变化和及时的信息反馈而相应的做出改变，提供更优质的、更切实际的高效率的政府服务。
 

　　大数据时代，政府部门的各项决策都不再仅凭过往经验，而是更多地以数据分析辅助做出决定。大数据能有效提高信息的及时性、全面性和准确性，政府部门将其应用于监管企业信用风险、服务创新创业等领域，可支撑政策议题谋划塑造和事中事后监管能力的提升。政府部门的日常工作离不开数据，政府开放数据形成的生态圈，也将有利推动政府的发展。