第九章 大数据带来大应用

书名:
领跑大数据时代
作者:
孙向杰
本章字数:
13096
更新时间:
2023-10-23 16:32:19

大数据时代到来的时候人类文化将进入一场革命。因为前面三个阶段是在用设备和网络为我们提供服务,这是一个整体的服务系统;当服务关联到数据本身时,信息化建设也就发生了变化,而数据就是信息化的核心。

大数据的政府应用

一、大数据政府的五大应用

在西班牙首都马德里,整合警察、消防、医疗系统,使救援时间大幅度缩短,巡逻队、消防车、救护车能够在8分钟内到达81%的突发事件现场;在新加坡,智能交通综合信息管理平台,在预测交通流速和流量方面有高达85%的准确率,能通过有效的引导和干预, 显著提升高峰时段的车辆通行效率;在苏州市,覆盖城乡的信息化防控网络,在警力与人口配比不足千分之一的情况下,使打击处理案件数、刑拘转捕率、技术支撑率均为全省最高,实现了“以十抵万”的办案效率。

在公共管理领域,国内外一些先行者已经在运用大数据的方法,通过多渠道的数据采集和快速综合的数据处理,提升治理社会的能力,实现政府公共服务的技术创新、管理创新和服务模式创新。大数据在公共管理领域的应用,不仅使传统难题变得迎刃而解,更成为新时期应对新挑战、解决新问题的必然选择。

利用大数据治国,美国政府早已先行一步。奥巴马认为,数据在未来将是陆权、海权、空权之外的另一种国家核心资产。美国白宫科技政策办公室在2012年3月发布《大数据研究和发展计划》,同时组建“大数据高级指导小组”,以协调政府在大数据领域的 2亿多美元投资,这标志着美国把大数据提高到国家战略层面,形成全体动员的格局。

根据麦肯锡的报告,大数据技术可为欧盟23个最大的政府的公共部门管理活动的成本提供15%~20%的下降空间,在未来10年每年创造1500亿欧元到3000亿欧元的价值,并将公共部门的预计效率提高0.5个百分点。

对各个国家地区大数据实践的研究表明,大数据的应用可以从五个方面提高公共管理水平:

1.实现信息透明和共享,使外部利益相关者(比如公民和企业)和内部利益相关者(比如政府雇员和政府机构)都能提高自身的工作效率,产生积极的经济社会综合效益。在上海,自2006年起,人民银行上海总部公开金融信息后,催生了一批金融信息咨询服务企业,其中有上海联和金融信息服务有限公司等5家上市企业, 拉动了十几万人的就业。在北京,交通管理部门公开提供违章信息,也催生了一批提供专业交通信息服务的互联网企业,他们向用户提供免费服务,并获得了可观的广告收入。

2.通过评估公共部门的绩效,增强内部竞争,激励工作表现,提高公共建设效率,提升行政服务质量,降低政府的管理成本。例如,荷兰政府推出了一项名为“数字三角洲”的工程,通过协调环境部、税务部门和国家研究所三方的财力、人力和物力,研究如何利用大数据预测、改变防洪策略以及整个荷兰水资源系统的管理工作。对比传统的水资源建设项目,这种合作组合预计可以节省高达15%的荷兰年度水资源管理预算。

3.通过人口细分和定制政策,增强公共服务的针对性,提高工作效率和公众满意度,减少开支。在传统公共管理中,公共部门倾向于为所有公民提供相同的服务。但其实,公众往往具有非常多元化的个性化需求。德国联邦劳工局对大量的失业人员的失业情况、干预手段和重新就业等历史数据进行分析,使得其能够区别不同类别的失业人群,从而采取有针对性的手段来进行失业干预,大大提高了公共服务提供的效率。该做法使得该局能够在每年减少100亿欧元相关支出的情况下,减少失业人员平均再就业所需时间,大大改善了失业人群的求职体验。

4.用政务智能替代或辅助人工决策,在纷繁复杂的数据中自动识别出不一致、错误和虚假的信息,减少出错成本和福利管理中的诈骗,缩小税收缺口。美国邮政(USPS)的计算机系统能够自动扫描邮件的相关数据(存放位置、派送路线、重量、体积等信息),通过与数据库中近4千亿条数据的比较,甄别出“用邮欺诈”的邮件。扫描一封邮件只需要50~100毫秒,一旦检测出了“异常”——比如包裹邮资不足或者邮票重复使用等情况,系统就会对信件实施实时拦截,再由分拣人员对其进行特殊处理。有趣的是,该项目竟然由此形成了“威慑效应”。自从2006年开始实施此计划起,“用邮欺诈”行为减少了很多。

5.引导公共部门内部和外部的创新,例如,商业、非营利性机构、第三方通过开发出大数据工具和分析,对公共服务进行反馈,为改善现有的方案提出建议,从而为公共部门创造新的价值。作为“大数据”惠民的一项重要探索,北京市于2012年10月推出政府数据资源网测试版,并面向企业及个人征集应用程序(APP)。由社会力量开发的“游北京”和“爱健康”两个程序目前已经可以下载试用。前者可以查阅北京旅游景点、 餐饮、促销信息、洗手间信息等;后者是北京市所有卫生保健设施的指南应用,包括诊所、医院、养老院等信息,用户可以利用这款软件定位附近的医疗设施,查看现场网络图像。

二、大数据在部分国家政府的应用状况

欧盟

2010年,欧盟正式发布“欧洲数字化议程”,旨在建立一个统一的“数字市场”,推动欧盟内部高速和极速互联网的互联互通和应用共享,进而促进欧盟经济社会可持续发展,造福欧盟人民。2012年,欧盟委员会在“欧洲数字化议程及其挑战”中制订了大数据战略,并强调了公共数据安全及挖掘公共机构数据的价值潜力,同时满足日益强烈的对个人数据安全保护的诉求;发展物联网,确保网络安全及在线交易的数据处理安全。

英国

英国政府是最早推进大数据规划的欧洲国家。2004年,英国设立了水平扫描中心(HSC)项目,以提升政府处理跨部门和多学科挑战的能力。2011年,水平扫描中心(HSC)启动气候变化的未来国际影响计划,通过对多数据源进行深度分析,研究解决气候变化对食品和水的可获得性,以及对地区或国际形势的影响等问题。英国政府发起的另外一个项目是,2009年建立了http://data.gov.uk公共网站,来自七个政府部门的1000多个既有数据集对外开放,后来增到8633个数据集。

荷兰、瑞士、英国和其他17个国家与IBM合作开发了一个名为 DOME的超级计算系统项目。该系统每天能处理超过1 EB的数据,数据来源于射电望远镜平方公里阵列(SKA),旨在通过探索百亿亿次的计算、数据传输和存储等新兴技术,以及对每日采集的数据流进行读取、存储和分析,解决一系列宇宙科学问题。这个大数据项目的总部位于英国曼彻斯特的Jodrell Bank天文台。

韩国

2011年,韩国总统国家ICT战略委员会发布了“大数据倡议”。该委员会是最高层次的政府信息通信技术协同机构,其使命是在建立必要的基础设施过程中发挥领导作用。“大数据倡议”旨在建立泛政府大数据网络和分析系统,推进政府与私有部门之间的数据共享融合,建立公共数据诊断系统,培养和培训合格的大数据专业人员;保障个人信息安全,以及改善相关法律,发展大数据基础设施和技术,发展大数据管理和分析技术。

很多韩国政府机构已经提出了相关的行动计划。例如,韩国卫生部建立了社会福利综合管理网络,分析来源于35个机构的385个不同类型的公共数据,综合管理中央政府和地方政府提供的福利和服务。食品、农业、森林与渔业部、公共行政与安全部(MOPAS)计划推出预防手足口病的综合系统,该系统依托于分析动物疾病相关的海外大数据、海关出入境记录、养殖场的跟踪调查、牲畜迁移和养殖工人活动等相关的大数据,实现预防目的。MOPAS的另一计划是推出灾害预报系统,该系统基于过去的灾害记录和自动实时的天气和地震预报进行预测。此外,韩国生物信息中心计划开发和运营国家DNA管理系统,该系统集成大量的DNA和病人医疗信息,为个人提供个性定制化的诊断和治疗。

新加坡

2004年,针对国家安全、传染病和其他国家层面关心的问题,新加坡政府与国家安全协作中心合作发布了风险评估和水平扫描计划(RAHS)。通过对大数据的采集和分析,积极把控威胁国家安全的相关问题,包括恐怖袭击、传染病传播和金融危机等。风险评估和水平扫描计划实验中心(REC)于2007年开放,它聚焦于风险评估和水平扫描计划相关政策制定的新技术工具,并通过大数据基础设施系统升级来维持和强化这一能力。为通过大数据研究、分析和应用创造价值,新加坡政府还推出了门户网站 http://data.gov.sg/,50多个政府部门的5000多个数据集通过此网站向公众开放。

日本

日本政府已启动多个利用既有大数据的计划。从2005到2011年,文部科学省与相关的大学和研究机构合作,设立了信息爆炸时代的新IT基础设施项目。从2011年起,政府优先解决地震、核电站灾难和受污染区域的重建和灾民安置,以及相关的社会和经济救济。文部科学省与国家科学基金会合作提高研究和利用大数据的技术,以预防、减轻和管理自然灾害。作为内务省的两个分支机构,信息和通信委员会和ICT战略委员会,把“大数据应用”作为日本面向2020年的关键使命。日本已经成立了一个大数据专家组。

澳大利亚

澳大利亚政府信息管理办公室(AGIMO)实施政府2.0计划,为公众获取政府数据提供了渠道,政府2.0计划推出了http://data.gov.au/ 网站,通过这一网站,让公众便捷、高效地检索和获取政府数据。

三、政府大数据项目实施情况比较

回顾大数据应用领先国家的大数据项目情况,有三个显著特点:第一,现有的大多数大数据项目充其量只是数据量较大的应用。这些国家的政府大数据应用项目,大部分是基于共享存储的结构化数据库,并不使用实时、动态和非结构化或半结构化的数据。第二,公共部门致力于规范大型而复杂的数据集,政府期望大数据应用来提升政府服务民众的能力,以及解决国家面临的重大挑战问题,包括经济、医疗、就业、自然灾害和恐怖袭击等。然而,大部分大数据应用于居民(参与到公共事务)和商业部门,而不是政府部门。第三,政府设立的大部分大数据项目刚刚开始或计划未来实施,美国国家科学基金会和国家卫生机构的大数据计划就是如此。这意味着,大数据在政府部门的应用仍然处于发展的初级阶段,只有少数项目在运营(比如美国的RRP、新加坡的 RAHS和英国的 HSC)。

大数据的行业应用

一、电信行业:统一IT系统,实现精细化营销

在网络时代,基于数据的商业智能应用为运营商带来巨大价值。通过大数据挖掘和处理,可以改善用户体验,及时准确地进行业务推荐和客户关怀;优化网络质量,调整资源配置;助力市场决策,快速准确地确定公司管理和市场竞争策略;刺激业务创新,促进业务改善,提升企业价值。

某省级移动公司长期以来积累的各种系统建设和数据存储分散,难以实现资源和应用的共享,系统中的数据资源未能有效地进行商业利用,并且数据存储的传统架构难以满足业务发展要求。因此,希望借助大数据分析识别客户特征,细分客户,进而指导公司制定合适的营销策略从而保持、拓展现有的客户价值。

该移动公司调整两级架构,构建数据集中、平台统一的系统,实现系统的集中化和数据模型的标准化。通过分析网络日志进行网络优化和故障定位;通过业务、资源、财务等各类数据的综合分析,快速准确地确定公司管理和市场竞争策略。在此基础上,通过使用企业级大数据分析平台,结合客户资料数据、客户服务数据以及计费账务数据,生成客户分析模型,分析不同算法得到的分群结果,基于行业应用评估标准对已生成的模型进行评估,最后得到各客户群特征。通过与行业专家的合作,对移动客户业务方面提供了例如针对性差异化套餐设计、差异化客户服务以及设计促销活动等多方面建议。通过结合对客户满意度以及投诉率的分析,联系手机和分析市场信息,进一步明确客户需求,通过分析流量、流向变化,调整资源配置。

二、交通行业:推动智慧交通建设

大数据技术应用于智慧交通,可以融合海量数据,甚至于将气象监测设备产生的天气状况等数据相结合,对海量数据进行实时快速分析处理,提取有价值的信息并准确推送,提高交通的科学管理和组织服务水平,从而提高交通运输的效率、安全性、整体效益,切实解决出行难等迫在眉睫的交通问题。

某市随着智慧交通的不断建设,其产生的数据量暴增,该市希望能够建立一套稳定的大数据解决方案,来对采集的海量数据进行快速的处理和分析,在实时的道路和交通监控、车辆监管、公共安全监管的基础上,推动实现出行信息服务,同时能够支持交通流量管控计划,实现自适应式的交通控制,帮助交通管理决策。

针对交通行业数据的特征,该城市部署了基于大数据分析的交通管理系统,通过前端摄像头等设备收集数据,存储于区、市数据中心,进行存储、变形以及分析和挖掘。该方案采用多项创新技术来优化存储、查询,增强应用结果处理能力。通过跨地域式的Hbase技术,支持数据存储在不同地域的多个数据中心,互为备份,方便管理和使用,可用性高。在Hbase顶层加入SQL层对交通数据提供实时分析服务,提升数据的索引和存储性能。部署该系统后,该城市智慧应用交通系统为出行者提供实时准确的交通出行信息服务,并能收集路况信息绘制拥堵图,提供给交管部门快速处理突发事故,提供给大众平台供驾驶员参考。此外,对违法车辆追踪效率提升,降低恶性事故率。

三、金融行业:降低风险,提升客户价值

互联网的冲击迫使传统金融业改变经营思路。将大数据应用到金融行业,可以帮助银行和保险业对客户进行细分和行为描述,有效挽留有价值客户,提高市场活动效果,降低市场推广成本,可以客户进行交叉销售来增加收入,达到有效增加客户数量的目的,实现客户价值最大化和风险最小化。

某银行信用卡中心的年发卡量增长迅速,业务迅猛增长,带来业务数据的规模线性膨胀,数据存储、系统维护、数据的有效利用都面临巨大压力。该银行希望能够实现业务数据的高度集中和整合,支持多样化和复杂化数据的分析,提升信用卡中心的业务效率,建立可扩展、高性能的数据存储方案,通过从中提取数据,改进和推动有针对性的营销活动。

通过部署大数据解决方案,该银行实现了实时的商业智能,可以结合实时、历史数据进行全局分析,风险管理部门可以每天评估客户的行为,并决定对客户的信用额度在同一天进行调整,原有的内部系统、模型整体性能得到显著提高。根据数据智能分析向前台提供服务与反馈,支持实现以客户为中心的服务模式与体验,整合日益互联互通的各种服务渠道,建立持续从广泛的来源获取、量度、建模、处理、分析大容量多类型数据的功能,及时在互联互通的流程、服务、系统间共享数据,并将经过智能分析与加工的数据用于业务决策与支持。同时,该解决方案提供了统一的客户视图,更有针对性地进行营销。方案部署一年时间,该信用卡中心通过其大数据营销平台进行了1800余个营销活动,每个营销活动的平均配置时间从2周缩短到2~3天。信用卡不良贷款比率同比减少了0.76%,单位工时创收提升33%。

四、医疗行业:强化医疗,卫生服务管理

医疗卫生服务的信息化进程产生大量的数据,利用大数据技术对这些数据进行有效的存储、处理、查询和分析,可以辅助医生做出更科学和准确的判断,帮助医院为患者开发新的个性化服务,帮助研究机构突破医疗方法和药物革新,支持医疗行业管理部分优化医疗资源以及服务,提供支持。

某市2013年启动“健康城市”战略,希望建立以城市为单位的区域卫生数据中心,以居民健康卡为纽带,覆盖卫生信息化的主要业务区域。医疗健康行业涉及的数据包括居民健康档案、电子病历、公共卫生及综合管理等数据,这些数据目前分散地存储在不同的业务系统中。要求实现对于数据的有效存储、备份,快速检索以及高效的数据交换等需求,通过采集不同机构的业务系统数据,对各项医疗业务进行汇总统计以及构成、对比分析等,有效反映医疗管理机构或服务机构的运营管理情况,并有利于管理部门正确分析,以强化医疗卫生管理。

通过部署大数据应用平台,该市建设了一套信息共享化、决策智能化、管理科学化的医疗大数据应用系统。可以对治疗安全质量、医疗收入、患者负担、工疾病监控、在线监管等多个维度进行管理,有效地将医疗质量安全目标分解到监控指标,通过管控指标的设置与分发,进行质控与检测。通过利用区域平台采集的大量医疗和卫生数据,采用信息分析、挖掘、视图呈现等方式进行数据多维分析和挖掘,趋势预测分析和规划,为各级政府部门的科学决策提供信息支撑,为医疗科研和其他机构提供医疗卫生方面的数据共享服务。

大数据的个人应用

数据和个人数据正汇集到一起,构筑互联网上最令人惊叹的消费者产品。它们会预测你的需要,存储你的记忆——如果你允许它们这么做的话。

你会用你的个人数据换取对未来的一瞥吗?安德烈亚斯·韦恩德就这么做了。

韦恩德曾是亚马逊网站的首席科学官,现任斯坦福大学社会数据实验室主管。他说了一个他自己的故事。某天,他在天亮时分醒来,准备去机场搭乘从上海飞来的航班。这时,他刚开始使用的应用程序Google Now告诉他,这趟航班延误了。

这个软件会在用户的Gmail邮箱、日程表,以及地图和航班时刻表之类的数据库里四下查看。它在韦恩德的出行计划中发现了这个小差错,于是提醒他不需要赶时间。韦恩德登机时,飞机上的其他人都已经在机场枯坐了好几个小时,要等飞机的一个备用部件运抵。

韦恩德提供消费者行为方面的咨询,也就这些内容授课。他语速很快。对他来说,他经历的这类小插曲显示了“一个基于10倍数据的社会所具有的能力”。他说,如果上个世纪的标志性成就是对有形物质互动的观察能力(例如X光和雷达技术),那么本世纪的标志性能力将是通过人们与他人分享的个人数据来研究他们。

像Google Now这样所谓的预期系统是未来技术的例子之一。我们已经看到了大数据给广告这类可以一次测量数百万人的行为的业务所带来的转变。现在数据科学家们正在思考大数据如何能够帮助个人。及时通知一架联航班机的飞行情况可能是比较乏味的应用之一。但是,想象一下这样的数据模式:它能告诉你该找什么工作,或者在你感觉不适之前就提醒你可能感冒了。

计算机能够获得的个人数据正在极大膨胀,推动了这样的趋势。根据咨询公司IDC的统计,全世界创造的数字数据每两年增加一倍,而其中大部分是由消费者生成的:电影下载、IP语音电话、电子邮件、手机位置显示,等等,但其中仅有约0.5%的数据被分析过。

“存在着那么多数据可以拿来服务于个人的需要,而且是可负担的。”在伦敦大学学院研习社交网络的数据学家帕特里克·沃尔夫说,“统计学的优势来自于把人们汇集在一起,但这之后,锦上添花的事是把你的发现个人化”。

谷歌、Facebook、LinkedIn这些硅谷的数据精炼厂把合并大数据和个人数据作为一个目标已经有些日子了。这种合并创造出广告商可以使用的工具,也创造出尤其“让人上瘾”的产品。毕竟,有什么比你自己更有趣呢?Facebook告诉你谁可能是你的朋友。你给GoogleNow的数据越多,它会为你服务得更好。

暴露更多个人数据似乎无可避免。韦恩德说,随着装载了加速器、摄像头和GPS的智能手机的销量大增,“人们已经获得了收集和传送个人数据的装备”。而这可能只是刚开始,已经有一小批技术爱好者发起了“自我量化”运动:在自己身上装上传感器、计步器,甚至植入葡萄糖监测器。搜索引擎WolframAlpha的创造者斯蒂芬·沃尔弗拉姆参与一个大型的自我跟踪项目已有多年。他把自己的电子邮件、敲击电脑键盘,甚至身体运动的情况都记录归档。他对预测性应用程序感兴趣,称它们为“个人分析”。他认为,就像他的搜索引擎试图组织、整理全世界所有的事实,“在个人分析中,你需要做的是试着把某个人的人生方方面面的信息聚集起来”。

沃尔弗拉姆说,现有的障碍是一些最有用的数据没被捕捉到,至少不能被轻易获得。部分原因是技术上的:缺乏整合。但大量数据是由Facebook、苹果和Fitbit(一个流行的计步器的生产商)这类私人公司存储着。现在,个人数据的价值日益显见,争端正在酝酿中。加州议员们2015年提出了“知情权”法案,要求公司向个人公布他们储藏的“个人信息”,也就是每次追踪方位和IP地址的数字拷贝。

这项法案是要求隐私保护和问责的社会运动的一部分。与此同时,它也对数据提供者和数据运用者之间的经济关系做出了重新安排。

大数据时代的互联网面临的问题

2013年8月13日召开的中国互联网大会上,中国互联网协会理事长、中国工程院院士邬贺铨从大数据、云计算、移动互联网三个角度分享了大数据时代的互联网面临三个问题:

第一个问题:互联网生产大数据

现如今每个城市都装有摄像头,这些摄像头在一个小时里会产生很多的数据,数据达到数百个TB,所以这个数据非常大。我们所熟知的波音飞机,每个飞行来回都会产生大量的数据。每几毫秒都就会产生一个数据,中国联通整理了一个月的用户上网记录,一个月就产生了一万多条,这一万条对应的数据量是几百个TB。医疗也是一个大数据,人们看医院的病例可以看到,医疗数据一个大脑的CT扫描图要让它分辨率很高,微米的数据量产生是4.5TB的数据。现在像北京大学301医院门诊量一万人,同时按照医疗规定一个患者的数据要保存50年。这将是一个十分庞大的数据。

淘宝网在”双十一“的时候每分钟都会产生几十个TB的数据,腾讯每天也会产生大量的数据。美国的计算机中心的72小时视频监控,网速达到720TB每秒,这相当于全世界有6亿人同时看不同的高清电影所产生的数据。2016年全世界互联网三分钟传播了300万小时的视频,这需要我们34年不吃饭不睡觉才可以看完这些视频。

现在全世界新产生的数据量每年增加14%左右,也就是说互联网每两年翻一番。2012年和2013年互联网所产生的流量相当于人类有意识以来,一直到2011年所产生的数据量总和,两年等于一万年。2011年全世界互联网总量1.8个GB。到了2020年全世界的数据将达到40个GB。这个重量相当于多少,相当于424艘美国的尼美兹号航母。

第二问题:大数据变革互联网

首先,大数据出现对互联网有很大的影响。有一种方式是演进型的,如果不考虑和互联网兼容那么还有一种方式是革命性。这两种方式各有各得好处。现在很难说哪一种更能解决当下的问题,总得来说我们希望互联网更加安全、可信。我们现在所提到的方式是物理和逻辑分离,物理上有71个,和逻辑上分割办法对应不同服务,有视频的服务,数据服务,不同服务要求的服务质量是不一样的,所以物理上是一个网络,逻辑上可以组成不同网络,我们需要把网络虚拟化,物理和逻辑分离。

其次,传统路由器,有传送功能,也有控制功能,有业务功能,大数据出现我们发现网络上时空不对应,很难判断哪个地方流量最高,目前来说只能把路由器网络控制功能抽出来,形成一个网络控制系统,把业务功能抽出来形成业务系统。灵活实现控制平面的建构,对于大数据流量是一种改型。随着流量增大,大部分流量过路多,落地少,凡是在光强上做的,就别在电厂做,凡是在IP上可以做的就不再IPO上做。IPO总召唤转变为承载,这只是一个包装,不是做一个召唤的功能了。召唤我们应该将来向召唤中心,要从承载分开。另外就是传统互联网IP地址表示主机的身份这个很正常,移动互联网的出现这个计算机从这到这里,位置变了,用户的身份没有变。身份和位置分离,身份在应用层面表示,这样分离好处支持移动性改变安全性。

现如今世界所有的数据中心一半多以上都是云计算中心,都是大容量的。云中心一般放在什么地方最安全?考虑到气候、能源工业等因素,所以云计算中心会向高纬度地区集中,比如说中国的云计算中心往内蒙一些凉快的地方迁徙,谷歌把他云计算中心放在摩洛哥,因为那比较凉快。数据中心大部分在北京、上海、广州,而未来数据中心会放在内蒙偏远的地方,将来云计算的出现会把用户以信息源为中心,向以能源为中心改变,中心节点发生变化。过去是以上海、北京、广州为中心,现在随着大数据出现发现了不能这样做,我们需要增加这个数据和中心。

1.全世界看来峰值

国际流量增加3%,这个绝对值国际流量增加,相对值就是说拉丁美洲的用户到美国访问量占整个国家的流量比较,亚洲、欧洲、和非洲的。尽管国际流量增加,但是国际流量占整个流量比例是下降的,直接互联导致全国互联网去中心化。现在谷歌纷纷在中国香港等等地方上节点,这时候对外的访问没必要跨洋过海到美国去访问,你可以在本地,这个意义上国际互连网流量比例在下降,所以说全球互联网去中心化。另外大数据区域网络扁平化,比如中国电信,现在随着大数据出现所有省之间都直连,不这样安排根本没有办法支持这么大的流量。还有城域网的体系化,大计算机大的主机,很时髦客户服务器,所有客户访问网络都到服务器上,一个热门的结果这个服务器要传送无数遍给终端,每个终端需要在热门的地方下载一小部分,另外一个终端小在另外一小部分互相交换。这样就形成了P2P。这个终端访问服务器数据量很大,不是一个服务器装得下的,你可能只访问一次,但是服务器的交换很多,基本以上服务器之间在增长,进一步发展服务器增长变成云了。

2.内容分配网络化

为了让用户更好更快接受,要做内容分配网。 电信运营商在靠近用户的地方建了很多CDN,这样适应大家更快访问视频,CDN的部署对互联网流量流向产生了影响,我国国际互连网占的比例的比较低的,互联网之间的流量比例也是很低的,绝对值增加,但是本地化的访问更多了,远端的访问降下来了。

移动网络一样,过去电话走电流交换,原来有基站,激战控制器网关。还有移动通讯天线分布化,据资料显示,2009年我国移动通讯所有呼叫中,发生在室内是63%,家里占29%,办公室占14%,越是大数据时代这个比例越来越高,室内转到WIFI,WIFI多了互相干扰,使用小蜂窝的技术,可以范围很小,损耗很小,因此调试率可以增加。一个蜂窝分成多个分布式的天线,这样有些蜂窝加上基站,但是蜂窝之间是统筹的,干扰统筹来解决数据量的传输问题。

从互联网到移动互联网将带来很大变化。互联网原来面向有线,由此用TC和IP没有问题。可是移动互联网的无线电路不可靠,如果继续用TCPR老同选,因此需要加入纠错编码,互联网面向PC端的,移动互联网自动检测网络的带宽和分辨。在传统电话话音传一百米到六百米,需要传一笔先令。

IBM从互联网新闻上PMI,一般PMI是代表政府的。美国印地安纳大学的学者,与谷歌提供情报,从用户尽千万留言算道琼斯指数准确率到87%,淘宝的CPI和国家统计的CPI不一样,但是淘宝的CPI更能反映物价的变动。国家统计局的CPI主要参数是食品,经济好与不好除非太差人们才会把食品开支省下来,否则谁会省吃饭的钱,淘宝的交易主要是服装和首饰,如果经济不好就会反映出来,所以首长到淘宝看了一下说你们每天把这个数据送到中南海。大数据提供咨询服务,我们到超市买东西,到超市买东西都打出条来,超市可以根据这个调配货物。哪些客户是最好买东西的客户,女性顾客最能舍得出买东西,女性里面孕妇,找出一些孕妇最常买的产品,没有刺激性的化妆品,关注一些婴儿东西等等,他判断这个是婴儿会把信息推送给他。有一家家里有一个上初中的女孩子,超市把孕妇东西送到他们家,招来一顿臭骂,结果过了几天,那家人又道歉了说他误会这家公司了,因为他女儿意外怀孕了。

人人网通过客户关系的分析,游戏业务取得100%的增长。我们在淘宝上买东西阿里公司把你的IP地址记下来,买首饰的用户IP地址,买化妆品的用户IP地址,买服装的IP地址,拿出来让卖化妆品和服装人竞价来购买这个IP地址。也就是阿里和商家网店都可以赚钱。百度搜索排名优先推荐,央视广告效果谁知道怎么样?央视2012年的广告收入269亿人民币,百度广告收入229亿人民币,百度广告连增加百分之五十多,央视才增加百分之十几,央视这才发现百度才是央视的竞争对手。

第三个问题:推动视频与互联网的融合

乐视网买到甄环传的网络播出独家权,搜狐视频拿下了中国好声音的版权,这就是大数据带来的好处。大数据提供集资服务,如果企业经济有压力,压力根据中小企业在平台上的表现,选出放心的中小企业,放贷一千多个亿,坏账率只有1.3%。2013年7月份统计阿里靠贷款每天利息一百万,京东收购了网民在线,从信用卡分期贷款,你在京东买东西留地址什么,他提供贷款。国美建立小贷公司解决贷款问题,他为了他的营销创造很好的条件。

上面说的是互联网企业进入金融,那么金融企业也不能坐以待毙,平安保险跟百度合作,涵盖保险银行投资,利用大数据分析消费者在网络的消费情况。中信银行使营销模式陪送从2周缩短到两天,客户开发率提高30%。互联网企业进入金融迫使金融企业加快互联网化。

银行业进入电商,过去银行业不做电子商务,现在平安银行做电子商务,把握客户偏好本身习惯包括风险,搞了平安好车网,到这个网上告诉你什么车型什么比较,4S店服务怎么样。同时它做金融不能只提供这个,涉及贷款、租赁二手车抵押这一块,建行、招行、民生银行等等统统往电子商务发展。又如北京的一卡通,如果把数据收集起来就可以知道北京有多少人从哪里换车,每天怎么流向,现今在中国很多地方有数据的不挖掘,能挖掘的地方没有数据。所以要把生活和网络结合起来。

每年赶到国庆的时候,很多人在之前就会在网上搜索游览的地方,还有酒店,私家车的路线,根据你搜索我们就可以知道哪个旅游点最热,那条路会堵,到了国庆的时候就可以提前知道,我们可以用微信短信研究发生的热点。百度成立了定位事业部,以地图为载体,覆盖到餐饮、KTV、上商场等。阿里有保护中心,在移动端加强与高德地图合作。腾讯推出会员卡,加上财富通和搜搜地图,线上线下本地化营销你可以看到现在所有网络都会和地图相结合。和位置结合,和本地生活结合。大数据提供医疗这个同时谷歌判断每个一个城市产生流感,一旦这个地方有流感,网民会搜索自己这个症状是不是流感,到哪个医院治好,谷歌跟这些判断哪个地方有流感,这个可以体现预测到。

我们利用短信、微博、微信知道收集热点和舆情,又如腾讯对每个用户都建档案。一个老头注册的时候说是18岁少女,无论用什么假名在网上时间长了一定露出本性,就可以知道他是是男的,女的,老的,少的,还是神经病。如果公安局要查神经病腾讯可以提供一堆神经病的IP地址。美国大西洋周刊报道纽约一对夫妇,男的搜索高压锅夫人搜索包,结果搜出六个人要造炸弹。

洛杉矶可以告诉你今天哪个街区会犯罪,今天是哪个地方多就巡逻那个地方,其他不怎么巡逻,发现大大节警力而且犯罪率下降。

计算机进一步发展就是微软比尔·盖茨,他要对全世界员工讲话,现在只要找到一张比尔·盖茨照片把比尔·盖茨声音传过来,动嘴巴,口形和表情对应。再如让这计算机看一个猫,我看完以后让计算机看两万张没有看过的照片,找到猫的概率达到15.8%。

有一个大学教授搞人脸识别系统,你不要随便应答我就知道你是张三还是李四。人们在街上看到某个人带着不像是这个人的小孩,拍张照片送到百度网站对比,如果对比率达到100%,百度就会通知家长来认。手机都有摄像头,你只要一点手机就可以打开了。你现在相亲,长多高多富都很难弄,他说我希望这个女的长的多漂亮,选一个你认为漂亮的女生一对脸,在网站找一个差不多的提供给你就可以了。

很多人习惯用谷歌搜索,网上有这么多文章,都可以在这个里面找到例句,根据规则,只要跟例句差不多就可以了。现在翻译用途也是很多的。百度可以看到这是昨天统计今日电影排行榜,小时代,环太平洋等。还有说有些电影不好看,也可能骂得人多了也排在上面,不见得排上面最好。前一段富二代,什么富春山居图,小时代什么不好的电影也上来了,我们可以看热点人物。

现在互联网企业当轻运营商,我们可以看到互联网现在企业除了管道需要运营商,现在其他东西都不需要依靠运营商都需要独立判断。公安局有微信公众号,招商银行也有,这些都可以很好的各种各样的增值服务都可以出现。电信运营商开展互联网活动,银行做电商互联网企业做金融,阿里控制电商的入口,腾讯主刀线交入口,他们希望向对方业务拓展,固定想做移动,移动想做固定,广播做电信,电信想做广播,运营的卖手机,手机的想做运营,现在很难区分大家的业务。我们看到自留地要种,别的也要搞,现在整个是浑浊了。电商和搜索会产生新的业态。

互联网产生大数据,移动互联网和物联网进一步推动数据的暴涨,网络中心体现去中心化,大数据促进了信息融合和产业跨界结合,大数据引发更多新业态出现,大数据对互联网发展是机遇也是挑战,是对我们国家互联网创新能力的一次大考。

已经读完最后一章啦!

全书完

90%的人强烈推荐

深圳传

深圳经济特区成立40年了,深圳故事不再简单。深圳的历史越挖越深,深圳的社会越来越繁复,不分枝叶地描述,可以汗牛充栋,化繁为简的叙说,妙在沙里淘金。 因特虎智库老亨的这部《深圳传》,有着独特研究视角和草根式的叙事范式,以十数个选点,囊括深圳宏大叙事:深圳何来?改革何谓?开放何所得?经济何以兴?科技何以领先?文化何以有新意?未来何以值得期许?皆借典型事例,条分缕析,周详解说。篇幅不甚长,当详则尽详;史料极其丰富,写意亦写情。 内容和写法上,甩开了传统编年、纪事和传记的正史写法,以散文笔法做传,抓住深圳40年历程中的核心要素和关键细节,关注民间,解剖案例,切换角度,提炼特质,发掘情怀。 纪念经济特区,纪念改革开放,需要一部这样有情有义有识见的作品。
已完结,累计25万字 | 最近更新:后记

学问深圳别有径

书名:
深圳传
作者:
老亨
本章字数:
2317

40年来,深圳积淀了一批文化研究成果,在当今中国产生了广泛影响。其中,于深圳特区成立30周年之际诞生的《深圳十大观念》,来自民间,风行天下,被誉为总结梳理深圳改革开放30年历程的“精神史”和“心灵史”,铭刻着深圳人乃至全国人民在改革开放征程中的集体记忆。“深圳观念”与“深圳速度”成为两个以我们这个城市冠名的时代产物。2019年、2020年分别是深圳建市40周年、深圳经济特区成立40周年,各种历史回顾和学术总结层出不穷,这是深圳精神升华的新机缘,也是深派学问长进的新机缘。老亨的《深圳传》是这种机缘的见证,并给人别开生面的感觉。

“腐儒心事呼天问,大地山河跨海来。”17世纪初叶辽阔的北美大陆只有几处零散的居民点和稀疏的人口,但开拓新大陆的生活现实逐步把三大人种的居民联系起来,并使他们的文化发生接触、冲突乃至融合。久而久之,形成了独具特色的美国民族文化。只有40多年历史的深圳也是这样。深圳曾经是文化边缘之地,但改革开放催生的新的观念和文化首先在这里找到了立足点和生长的机会,并形成了自身的文化风格。深圳因改革开放而生,因改革开放而兴。在改革开放进程中,各种思想观点、文化思潮在这里相互碰撞、充分交融,创造了世界工业化、城市化、现代化建设的奇迹,也生成了中华文化的新经验,孕育了中华文明的新可能。

人是文化的基本载体,只要有人的地方就有文化。流动的人群是流动文化的承载者。人的流动正如物的流动一样,越频繁,规模越大,一个地区就越有活力。1978年12月18日,党的十一届三中全会在北京开幕,中国改革开放的序幕正式拉开。历史总是充满了巧合,就在这一天,深圳第一家外向型“三来一补”加工企业上屋怡高电业厂签下深圳市“001号”办厂协议。自此开始,不到10年时间,数以百万计的外来务工者云集深圳,深圳因此成为产业大城。待到20世纪80年代末90年代初,特别是1992年邓小平同志“南方谈话”之后,越来越多的怀着不同初衷但都有一个梦想的劳动者选择来深圳。深圳高新技术产业异军突起,深圳城市品位有了质的提升,一个人口上千万的科技文化大城初具规模。

老亨他们就是1997年大学毕业之后来到深圳的,但是他们并非传统意义上的职业学者。无论是公务员,还是企业白领,他们都有自己赖以谋生的本职工作,只是在工作之余,或者说是为了长远的生计,他们开始关注深圳,研究深圳,成为深圳学派的另一股力量。他们往往是从工作和生活中遇到的问题出发来研究深圳。因此,在他们看来,深圳学派属于“问题型”学派。他们认为,集合全人类的智慧来创造性地解决当下及未来深圳生存与发展中面临的问题,才是深圳学派的初衷。搞活经济,振兴工商,遂兴商学、经济学;改善公共治理,建设城市社区,就需要新的政治学、社会学;“大运会”要向全世界介绍深圳,证明“深圳与世界没有距离”,那就需要对深圳作一个全球视野下的观照,并且作一个适合全球语境的诠释。因此,他们认为深圳学派不是源于“闲适”,而是源于“焦虑”;不是因为有“闲暇”,而是因为有“隐忧”。远虑近忧成就深圳学问。深圳学派“排忧解难”的深度、广度、强度,彰显其自身的学术价值。

务实地求解问题的思维方式,在这本《深圳传》中有充分的体现。从4分钱的奖金,到锱铢必较的工缴费,到令人眼花缭乱的土地使用费、开发建设费、房屋预售款,到不断变化的科技公司中无形资产的股权比例,老亨用掰指头算账的方式,论述了蛇口的改革开放第一炮的必要性和紧迫性、“三来一补”加工经济的合理性和局限性、高新技术产业在深圳崛起的可行性,以及“时间就是金钱、效率就是生命”的内在逻辑性。老亨他们提出的“深商”概念,迅速获得深圳商界和社会各界认可,看来确实是下了一番功夫的。这本《深圳传》,可以说是一本“深商传”。当然,《深圳传》也以较多的篇幅讲述了深圳文化,手法还是一以贯之的:力求发掘深圳文化繁荣背后的硬道理。譬如,深圳年轻人为什么喜欢“大家乐”?“大家乐”文化为什么会在深圳兴盛?大芬油画背后的商业逻辑是什么?商业与艺术的互动关系到底是怎样的?即便对于“深圳读书月”这样的主流文化活动,老亨的论述也力求均衡,既阐述官方主张,也发出民间声音。追求合理性,但不回避不同观点,这样的学问态度贯穿全书。

老亨他们也在探索深派学问的新形式。他们认为,深圳不可能回到说唱艺术时代,不可能回到单向的(通常总是自上而下的)大众传播时代。深圳扁平型的社会族群结构正好照应了扁平型的信息互联互通时代,深圳人文赖以生长的得天独厚的技术基础正是互联互通技术。这样的技术平台,可以激发无穷的创意和灵感,可以集成无数的思想与见解,可以遴选出令人意想不到的、足以深刻改变我们生活方式与生存状态的意见和意见领袖。

钱钟书先生说过,“大抵学问是荒江野老屋中二三素心人商量培养之事”,这自是学问之一种;书院、大学、图书馆、博物馆,又是一种;报纸、杂志、图书、广播、电影、电视,是又一种;BBS论坛、博客、短信、微信、电子邮件,也是一种。兵无常势,水无常形。深派学问不必泥古,不必食古,不必太自惭于古北京的翰墨,不必太沉溺于旧上海的音影,而应将互联网时代的便利用足、用好,方便学者,方便问者,方便用者。老亨他们在20年前就有意借助互联网平台做学问,确实有一定的超前性。

与传统学院派的叙述方式不同,老亨的这本《深圳传》采取以点带线、以点带面的方式来讲述深圳故事,互联网的思维和表达方式很突出:纵横捭阖,通俗易懂,符合普通人的阅读习惯。不足之处也很明显:不符合正规史传的学术标准,难免顾此失彼,以偏概全。40年的深圳故事如恒河之沙,若想淘出全部真金也不可能,而且这也需要长年累月的努力。

(本文作者王京生,现为国务院参事)