零基础自学Hadoop 一 大数据导论与Linux基础 01 大数据导论 1.3 大数据时代

零基础自学Hadoop

文章目录

• • • 零基础自学Hadoop
    • 一 大数据导论与Linux基础
    • 01 大数据导论
    • • 1.3 大数据时代
      • • 1.3.1 背景
        • 1.3.2 大数据定义
        • 1.3.3 大数据5V特征
        • 1.3.4 应用场景
        • 1.3.5 思考

【黑马程序员大数据Hadoop入门视频教程，适合零基础自学的大数据Hadoop教程】

一 大数据导论与Linux基础

01 大数据导论

1.3 大数据时代

1.3.1 背景

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，其称：“数据，已经渗透到当今每一个行业和业务职 能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到 来。”

2019年，央视推出了国内首部大数据产业题材纪录片《大数据时代》，节目细致而生动地讲述了大数据技术在政 府治理、民生服务、数据安全、工业转型、未来生活等方面给我们带来的改变和影响。

1.3.2 大数据定义

大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合；

是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1.3.3 大数据5V特征

5个V开头的单词，从5个方面准确、生动、形象的介绍了大数据特征。

• Volume：数据体量大
  • 采集数据量大
  • 存储数据量大
  • 计算数据量大
  • TB、PB级别起步
• Variety：种类、来源多样化
  • 种类：结构化、半 结构化、非结构化
  • 来源：日志文本、 图片、音频、视频
• Value：低价值密度
  • 信息海量但是价值 密度低
  • 深度复杂的挖掘分析需要机器学习参与
• Velocity：速度快
  • 数据增长速度快
  • 获取数据速度快
  • 数据处理速度快
• Veracity：数据的质量
  • 数据的准确性
  • 数据的可信赖度

1.3.4 应用场景

• 电商领域

  精准广告位、个性化推荐、大数据杀熟

  

  

• 传媒领域

  精准营销、猜你喜欢、交互推荐

  

• 金融方面

  理财投资，通过对个人的信用评估，风险承担能力评估，集合众多理财产品、推荐响应的投资理财产品。

  

• 交通领域

  拥堵预测、智能红绿灯、导航最优规划

  

• 电信领域

  基站选址优化、舆情监控、客户用户画像

  

  

• 安防领域

  犯罪预防、天网监控

  

• 医疗领域

  智慧医疗、疾病预防、病源追踪

  

1.3.5 思考

大数据场景下

• 海量数据如何存储？
• 海量数据如何计算？

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！