最新要闻
- 环球快资讯丨来了乌鲁木齐,相当于去了中东石油富豪区消费?
- 全面看齐新7系!宝马新一代5系G60外观、内饰首度公开亮相:发光双肾抢眼-全球速讯
- 门密码锁怎么加入指纹?第一次使用记住这4点 环球讯息
- 博安生物(6955.HK):地舒单抗注射液国际3期临床试验完成首例受试者入组|今日视点
- 纤薄身材也能满血发挥!耕升RTX 4070踏雪评测:2K游戏通吃的高颜值显卡 环球关注
- 购燃油车就送粤A蓝牌!广汽集团在广州推限时购车补贴
- 看不下去AI胡说八道 英伟达出手给大模型安了个“护栏”
- 世界通讯!鼠目寸光是什么生肖_鼠目寸光的意思及造句
- 2023山东东营市广饶县事业单位招聘面试通知书领取通知
- 十全食美多种零食 奥利奥大礼包39元1.6斤再发车
- 不涨价!小米13 Ultra限量定制色上架:16+512GB售价6499元
- 仙气飘飘 洛阳90后女生穿汉服开公交:展示传统文化之美
- 观察:发布整整10年后:第一代iPad Air被正式抛弃
- 刺客信条系列中哪个最好玩?刺客信条奥德赛选男还是女?
- 阿迪达斯官网买的产品是正品吗?阿迪达斯和耐克是什么关系?
- 承重墙允许开洞最大尺寸是多少?承重墙拆了要承担什么责任?
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
Hadoop运行集群搭建-世界速读
Hadoop运行集群搭建
虚拟机环境准备
安装虚拟机及基本配置
IP地址192.168.10.100、主机名称hadoop100,内存4G、硬盘50G
测试下虚拟机联网情况
(资料图片仅供参考)
1 [root@hadoop100 ~]# ping www.baidu.com2 PING www.baidu.com (14.215.177.39) 56(84) bytes of data.3 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=14 ttl=128 time=8.60 ms5 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=26 ttl=128 time=7.72 ms
安装 epel-release
注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包, 适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的)
[root@hadoop100 ~]# yum install -y epel-release
注意:如果 Linux 安装的是最小系统版,还需要安装如下工具;如果安装的是 Linux 桌面标准版,不需要执行如下操作
net-tool:工具包集合,包含 ifconfig 等命令
[root@hadoop100 ~]# yum install -y net-tools
vim:编辑器
[root@hadoop100 ~]# yum install -y vim
关闭防火墙
关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld [root@hadoop100 ~]# systemctl disable firewalld.service
注意:在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
创建用户snoopy,并修改用户密码
[root@hadoop100 ~]# useradd snoopy[root@hadoop100 ~]# passwd snoopy
配置 snoopy 用户具有 root 权限
方便后期加 sudo 执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers 文件,在%wheel 这行下面添加一行,如下所示:
## Allow root to run any commands anywhereroot ALL=(ALL) ALL## Allows people in group wheel to run all commands%wheel ALL=(ALL) ALLsnoopy ALL=(ALL) NOPASSWD:ALL
注意:snoopy这一行不要直接放到 root 行下面,因为所有用户都属于 wheel 组,你先 配置了 atguigu 具有免密功能,但是程序执行到%wheel 行时,该功能又被覆盖回需要 密码。所以 snoopy 要放到%wheel 这行下面。
在/opt 目录下创建文件夹
并修改所属主和所属组
在/opt 目录下创建 module、software 文件夹
[root@hadoop100 ~]# mkdir /opt/module[root@hadoop100 ~]# mkdir /opt/software
修改 module、software 文件夹的所有者和所属组均为snoopy 用户
[root@hadoop100 ~]# chown snoopy:snoopy /opt/module[root@hadoop100 ~]# chown snoopy:snoopy /opt/softwar
查看 module、software 文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/[root@hadoop100 opt]# ll总用量 12drwxr-xr-x. 2 atguigu atguigu 4096 5 月 28 17:18 moduledrwxr-xr-x. 2 root root 4096 9 月 7 2017 rhdrwxr-xr-x. 2 atguigu atguigu 4096 5 月 28 17:18 software
卸载自带的jdk
如果虚拟机是最小化安装不需要这一步
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e –nodeps:强制卸载软件
重启虚拟机
[root@hadoop100 ~]# reboot
克隆虚拟机
开始克隆
克隆三台虚拟机Hadoop102、Hadoop103、Hadoop104
克隆时,要先关闭hadoop100
修改克隆机IP
修改虚拟机的静态IP
[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
改为
TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFROUTE="yes"IPV6_FAILURE_FATAL="no"IPV6_ADDR_GEN_MODE="stable-privacy"NAME="ens33"UUID="f1b4f112-6706-4d05-b097-d60abe63fea0"DEVICE="ens33"ONBOOT="yes"IPADDR="192.168.153.100"GATEWAY="192.168.153.2"DNS1="192.168.153.2"
查看Linux虚拟机的虚拟网络编辑器
编辑->虚拟网络编辑器->VMnet8
查看Windows系统适配器
VMware Network Adapter VMnet8的IP地址
保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。
修改克隆机主机名
修改主机名称
[root@hadoop100 ~]# vim /etc/hostnamehadoop102
配置Linux克隆机主机名称映射hosts文件
[root@hadoop100 ~]# vim /etc/hosts添加内容
1 192.168.10.100 hadoop1002 192.168.10.101 hadoop1013 192.168.10.102 hadoop1024 192.168.10.103 hadoop1035 192.168.10.104 hadoop104
重启克隆机hadoop102
[root@hadoop100 ~]# reboot
修改windows的主机映射文件(hosts文件)
window7操作系统
进入 C:\Windows\System32\drivers\etc 路径
打开hosts文件并添加如下内容,然后保存
192.168.10.100 hadoop100192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103192.168.10.104 hadoop104
window10操作系统
先拷贝出来,修改保存以后,再覆盖即可
进入 C:\Windows\System32\drivers\etc 路径
拷贝 hosts 文件到桌面
打开桌面 hosts 文件并添加如下内容
1 192.168.10.100 hadoop1002 192.168.10.101 hadoop101 3 192.168.10.102 hadoop102 4 192.168.10.103 hadoop1035 192.168.10.104 hadoop104
将桌面 hosts 文件覆盖 C:\Windows\System32\drivers\etc 路径 hosts 文件
安装JDK和Hadoop
卸载现有的JDK
安装JDK前,一定确保提前删除了虚拟机自带的JDK。
rpm -qa | grep -i java | xargs -n1
传输JDK和Hadoop
利用XShell传输工具将JDK和Hadoop的包导入opt目录下的module文件夹下
查看是否导入成功
解压JDK和Hadoop
解压JDK到/opt/software目录下
[root@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/software/
解压Hadoop到/opt/software下面
[root@hadoop102 module]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/software/
配置JDK和Hadoop环境变量
新建/etc/profile.d/my_file.sh文件
[root@hadoop102 ~]$ sudo vim /etc/profile.d/my_file.sh
添加内容
#JAVA_HOME export JAVA_HOME=/opt/software/jdk1.8.0_212export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexport HADOOP_HOME=/opt/software/hadoop-3.1.3export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin
保存后退出
:wq
source一下/etc/profile文件,让新的环境变量PATH生效
[root@hadoop102 ~]$ source /etc/profile
测试JDK是否成功
[root@hadoop102 ~]$ java -version
测试Hadoop是否安装成功
[root@hadoop102 hadoop-3.1.3]$ hadoop version
重启(java -version可以用就不用重启)
[root@hadoop102 ~]$ reboot
Hadoop目录
Hadoop目录结构
[root@hadoop102 hadoop-3.1.3]$ ll总用量 52drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 bindrwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 etcdrwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 includedrwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 libdrwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 libexec-rw-r--r--. 1 atguigu atguigu 15429 5 月 22 2017 LICENSE.txt-rw-r--r--. 1 atguigu atguigu 101 5 月 22 2017 NOTICE.txt-rw-r--r--. 1 atguigu atguigu 1366 5 月 22 2017 README.txtdrwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 sbindrwxr-xr-x. 4 atguigu atguigu 4096 5 月 22 2017 share
重要目录
bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
sbin目录:存放启动或停止Hadoop相关服务的脚本
share目录:存放Hadoop的依赖jar包、文档、和官方案例
关键词:
Hadoop运行集群搭建-世界速读
golang基础知识 环球快讯
聚焦:用手机号码归属地 API 开发的应用推荐
环球快资讯丨来了乌鲁木齐,相当于去了中东石油富豪区消费?
全面看齐新7系!宝马新一代5系G60外观、内饰首度公开亮相:发光双肾抢眼-全球速讯
门密码锁怎么加入指纹?第一次使用记住这4点 环球讯息
让Visual Studio用上chatgpt
【解决方法】白嫖利用WPS自带C盘清理大师,清理C盘空间,自测清理19.5G空间,太感人了! 当前快播
Linux安装部署Redis(超级详细)-全球看热讯
博安生物(6955.HK):地舒单抗注射液国际3期临床试验完成首例受试者入组|今日视点
纤薄身材也能满血发挥!耕升RTX 4070踏雪评测:2K游戏通吃的高颜值显卡 环球关注
购燃油车就送粤A蓝牌!广汽集团在广州推限时购车补贴
看不下去AI胡说八道 英伟达出手给大模型安了个“护栏”
世界通讯!鼠目寸光是什么生肖_鼠目寸光的意思及造句
世界微资讯!热门的常用 API 大全分享
观速讯丨Spring AOP官方文档学习笔记(三)之基于xml的Spring AOP
播报:常见未授权访问漏洞汇总
每日播报!AD主辅域控切换-辅域控制器升级为主域控制器-详细操作
Excel文件根据自定义模板生成标签或数据报表
2023山东东营市广饶县事业单位招聘面试通知书领取通知
u18包括18岁吗?足球比赛中的u系列是什么意思?
英雄联盟150位英雄名字是什么?2022lpl夏季赛赛程表
iphone手机看电子书能用什么格式?iphone电子书APP推荐
NBA 2K14存档文件在哪里?nba2k14电脑版键盘操作
十全食美多种零食 奥利奥大礼包39元1.6斤再发车
不涨价!小米13 Ultra限量定制色上架:16+512GB售价6499元
仙气飘飘 洛阳90后女生穿汉服开公交:展示传统文化之美
观察:发布整整10年后:第一代iPad Air被正式抛弃
刺客信条系列中哪个最好玩?刺客信条奥德赛选男还是女?
阿迪达斯官网买的产品是正品吗?阿迪达斯和耐克是什么关系?
承重墙允许开洞最大尺寸是多少?承重墙拆了要承担什么责任?
安陵容知道是宝鹃害她的吗?甄嬛传当年火到什么程度?
广交会里的“大食物观” 食品企业坚持科技创新|全球今日报
只种一颗杨梅树会结果吗?宏宝莱杨梅冰多少钱一袋?
怎么改蚂蚁庄园小鸡的名字?蚂蚁森林如何修改自己的昵称?
天天微速讯:学系统集成项目管理工程师(中项)系列17a_范围管理(上)
使用python查看五黄及罗猴
世界百事通!【访问者设计模式详解】C/Java/JS/Go/Python/TS不同语言实现
THE PLANETS MERCURY -环境变量的设置提权以及SETENV的理解
嵌入式测试手册——基于NXP iMX6ULL开发板(2)
gta4热咖啡补丁下载_GTA4热咖啡
京口法院微电影把诈骗“演”给你看|世界热门
五一假期返程现特种兵式学习:小学生高铁小桌板上疯狂赶作业
1盒不到3元!特仑苏全脂/低脂牛奶大促:高蛋白 易吸收
世界简讯:AMD正式发布锐龙7040U APU:最先进4nm Zen4、15W超低功耗
“非洲狮的好朋狗”?动物园回应圈养鸡羊狗:珍稀品种 非普通家禽|每日观点
320.37万人次,42.32亿元!海南“五一”旅游成绩单出炉 今日热文
观热点:第1章 大数据概述
世界热点评!内网穿透
工控机中部署Ubuntu 22.04 系统
【财经分析】贝泰妮高增长不再 股价跌去六成后能否再出发?
全球热点评!众智科技:4月28日获融资买入89.58万元,占当日流入资金比例19.76%
特斯拉中国突然涨价 销售催“等等党”赶紧下单:早买车就是赚到
路人如何衡量汽车品牌营销费用高低?李想支了一招:看留言-天天速讯
止渴解腻夏日必备!果舒拉桂花酸梅晶好价:3盒券后29.9
男子在西湖捞手机日入约一万!官方回应:不是景区工作人员
热火老将乐福本赛季中期从骑士买断加盟
襄阳市市场监管局开展“你点襄检”专项执法行动_全球头条
【国际大宗商品早报】经济衰退前景打压国际油价大幅下挫4% 美麦涨超5% 当前关注
中国影史第三!今年五一档电影总票房超15亿元
【天天播资讯】40系显卡3大优势!再买30系就冤了
世界热议:喂到嘴边的肥肉!新势力无奈破产:富士康喜提造车工厂一座
阿里云:亏了13年刚赚钱 为啥被逼着五折大促销?
世界热资讯!916万人次假期逛郑州 尽享“文化味”“烟火气”
通过Python进行MySQL表信息统计
互联网鬼城!AI专属社交平台爆火:人类只能看不能说_全球最新
小米13 Ultra白色16GB+1 TB版今日首发:7299元
成交单价突破42万元 比亚迪:腾势D9连续4个月30万元以上新能源MPV第一
中远海发(02866.HK):5月3日南向资金减持98.5万股
芍药坦荡荡
云原生底座之上,这些企业领跑行业的秘密
二、高级语言语法描述
降价9万后雪铁龙C6销量暴涨!总经理:价格战对品牌有伤害
环球今日报丨李想怒怼车评媒体人:不投放你 就是因为你太爱煽风点火
骁龙8+平板只要2399!小米是懂人性弱点的-天天热讯
全网千万人学鼻子转牙签 详细教程在此:你学废了吗? 前沿热点
实时焦点:必胜韩国语园地原声韩剧在线观看_必胜韩国语园地
斩赤红之瞳结局谁活着_斩赤红之瞳结局
快消息!时隔7年季后赛再拿两双 两次重伤打不垮辽宁铁人
动态物体追踪 每日简讯
一季度苹果手机均价6800元 iPhone 14 Pro最畅销|全球即时看
上海漫展惊现“女菩萨”:还真有人顶礼膜拜-全球热头条
ASP.NET Core MVC 从入门到精通之HttpContext
24 操作系统的网络架构
AMD RX 7000全家倾巢出动 卡皇现世!苏姿丰:敬请期待
热心大哥高铁怒斥熊孩子家长获喝彩:掌声响起-世界最新
各地陆续迎来假期返程高峰
热推荐:汽油价格还要再大降?国际油价已跌超5%
全球今头条!徐州市人力和社会资源保障局网站_徐州市人力资源和社会保障网
最新:马斯克的星舰首飞:到底是成功了?还是失败了?
五一返程高峰遇强降雨 多地堵上加堵:局部140毫米大暴雨-热消息
天文专家回应哈尔滨现不明飞行物:可能是卫星残骸 没必要恐慌 每日资讯
KubeVela 稳定性及可扩展性评估_环球微动态
随机造数据的技巧总结
dotnetfx35无法安装_dotnetfx35
游客手机掉西湖被要1500元打捞费 景区:简单打捞不收费-全球观察
员工朋友圈未发广告被罚1万且开除:法院判赔5万 当前短讯
印度捷行航空申请破产 原因想不到:普惠发动机故障太多-视点
环球聚焦:appuploader 入门使用
环球快看点丨1、etcd基础介绍