IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 大数据分析(一)——虚拟机环境配置 -> 正文阅读

[大数据]大数据分析(一)——虚拟机环境配置

大数据这个词已经是各行各业的朋友们都听说过的词,但在实践的层面来说,什么是大数据分析呢?作为同样初入门的我,也不懂那些一套一套的理论了,姑且写一篇简单的入门记录。可能在理论上不够严谨,仅供同样初入门的朋友看一看吧。

什么是大数据

很多很多的数据。“大”是规模大,体现在数据量特别特别多。

怎么找到大数据分析相关的工作

在看招聘岗位JD的时候,我发现几个关键词总是在相对高薪的岗位要求中出现:Spark、Hadoop、Hive、linux、shell。这都是什么呢?

Spark和Hadoop都是大数据框架,其内部包括多个功能模块,Hive就是Hadoop这个大框架下的一个功能模块。打个比方:Hadoop是一辆车,Hive是方向盘。Hive其他很多功能模块一起组成了Hadoop,就像方向盘和其他很多零部件一起组成了一辆车。(Spark也是一辆车,它也有它的零件们,在此不多说)

准确的说,linux是一个内核。内核是操作系统的一部分。而我们平时常说的windows和macOS,都是操作系统,Windows的内核是NT,macOS的内核是XNU混合内核。那么以Linux为内核的操作系统/Linux的发行版本都有哪些呢?最有名的两个当属Ubuntu和Cent OS,还有很多其他,详见常见Linux发行版本(转载)

虽然但是,现在大家都是用Linux这个词笼统地指以Linux为内核的操作系统。我猜测,是因为以Linux为内核的操作系统里还没有出现一个非常非常牛的,以至于足够占据统治地位的操作系统。

shell是Linux命令行解释器,类似windows下的cmd命令。笔者没有用过macOS系统,故不类比到macOS了。

在工作中,会用到虚拟机

虚拟机的优点很多,在此不赘述。对于贫穷的我而言,如果我需要用到linux和windows两个系统,相比于购买两台物理实体计算机,我不如买一台安装着windows的物理实体计算机,然后在上面开一个虚拟机运行linux系统。

当然,虚拟机不是linux的特有。我的一个朋友就是买了macbook,然后虚拟机开了windows系统(因为她不想花钱买正版office哈哈)。

虚拟机配置——virtualbox

我以virtualbox为例,因为它免费。官网下载,无脑下一步,完成安装。

虚拟机上的操作系统配置——Ubuntu

我以Ubuntu为例,因为它免费。安装步骤详见在Windows中使用VirtualBox安装Ubuntu_厦大数据库实验室博客

在安装完成后重启Ubuntu时,可能会遇到提示:Please remove the installation medium,then press enter。直接右上角叉掉,选择强制退出。

然后再次在virtualbox里点击显示。

点完显示之后,应该是这样的:

?但是此时的界面非常小,如何放大呢?看起来不是很舒服:设备-安装增强功能-右上设置-关机-重启-右下Ctrl+F,你就可以得到一个看起来很舒服的界面了。

此时虚拟机和主机还是隔绝的,你无法在两者之间复制黏贴。解决方案:直接右上角叉掉,选择强制退出。在vbox里设置-常规-高级-双向。点击显示,再次设备-安装增强功能-右上设置-关机-重启。

然后你就可以进入下一步啦——在虚拟机上安装hadoop和Spark。

?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-10-31 12:04:09  更:2022-10-31 12:06:42 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 10:19:08-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码