| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 大数据分析(一)——虚拟机环境配置 -> 正文阅读 |
|
[大数据]大数据分析(一)——虚拟机环境配置 |
大数据这个词已经是各行各业的朋友们都听说过的词,但在实践的层面来说,什么是大数据分析呢?作为同样初入门的我,也不懂那些一套一套的理论了,姑且写一篇简单的入门记录。可能在理论上不够严谨,仅供同样初入门的朋友看一看吧。 什么是大数据很多很多的数据。“大”是规模大,体现在数据量特别特别多。 怎么找到大数据分析相关的工作在看招聘岗位JD的时候,我发现几个关键词总是在相对高薪的岗位要求中出现:Spark、Hadoop、Hive、linux、shell。这都是什么呢? Spark和Hadoop都是大数据框架,其内部包括多个功能模块,Hive就是Hadoop这个大框架下的一个功能模块。打个比方:Hadoop是一辆车,Hive是方向盘。Hive其他很多功能模块一起组成了Hadoop,就像方向盘和其他很多零部件一起组成了一辆车。(Spark也是一辆车,它也有它的零件们,在此不多说) 准确的说,linux是一个内核。内核是操作系统的一部分。而我们平时常说的windows和macOS,都是操作系统,Windows的内核是NT,macOS的内核是XNU混合内核。那么以Linux为内核的操作系统/Linux的发行版本都有哪些呢?最有名的两个当属Ubuntu和Cent OS,还有很多其他,详见常见Linux发行版本(转载) 虽然但是,现在大家都是用Linux这个词笼统地指以Linux为内核的操作系统。我猜测,是因为以Linux为内核的操作系统里还没有出现一个非常非常牛的,以至于足够占据统治地位的操作系统。 shell是Linux命令行解释器,类似windows下的cmd命令。笔者没有用过macOS系统,故不类比到macOS了。 在工作中,会用到虚拟机虚拟机的优点很多,在此不赘述。对于贫穷的我而言,如果我需要用到linux和windows两个系统,相比于购买两台物理实体计算机,我不如买一台安装着windows的物理实体计算机,然后在上面开一个虚拟机运行linux系统。 当然,虚拟机不是linux的特有。我的一个朋友就是买了macbook,然后虚拟机开了windows系统(因为她不想花钱买正版office哈哈)。 虚拟机配置——virtualbox我以virtualbox为例,因为它免费。官网下载,无脑下一步,完成安装。 虚拟机上的操作系统配置——Ubuntu 我以Ubuntu为例,因为它免费。安装步骤详见在Windows中使用VirtualBox安装Ubuntu_厦大数据库实验室博客 在安装完成后重启Ubuntu时,可能会遇到提示:Please remove the installation medium,then press enter。直接右上角叉掉,选择强制退出。 然后再次在virtualbox里点击显示。 点完显示之后,应该是这样的: ?但是此时的界面非常小,如何放大呢?看起来不是很舒服:设备-安装增强功能-右上设置-关机-重启-右下Ctrl+F,你就可以得到一个看起来很舒服的界面了。 此时虚拟机和主机还是隔绝的,你无法在两者之间复制黏贴。解决方案:直接右上角叉掉,选择强制退出。在vbox里设置-常规-高级-双向。点击显示,再次设备-安装增强功能-右上设置-关机-重启。 然后你就可以进入下一步啦——在虚拟机上安装hadoop和Spark。 ? |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/26 10:19:08- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |