可可-
1.1 终端使用技巧
自动补全
在敲出 文件/ 目录 / 命令 的前几个字母之后, 按下 tab键
如果还存在其他 文件 / 目录 / 命令, 再按一下tab键, 系统会提示可能存在的命令
曾经使用过的命令
使用 上 / 下 光标键可以在曾经使用过的命令之间来回切换
如果想要退出选择, 并且不想执行当前选中的命令, 可以按 ctrl + c
1.2 ls命令说明
ls 是英文单词list的简写, 其功能为列出目录的内容,是用户最常用的命令之一
因为需要编辑服务器上的文件, 所以需要先确认指定目录下 是否存在
linux 下文件和目录的特点
linux文件 或者 目录 名称最长可以 256 个字符
以 . 开头的文件为隐藏文件, 需要用 -a 参数才能显示
. 代表当前目录
.. 代表上一级目录
1.3 ls常用选项
如果 只使用ls命令 就只能看到当前目录下 非隐藏 文件。
如果想增强功能，就需要学习更多的选项
选项 含义
-a 显示指定目录下所有子目录与文件, 包含隐藏文件
-l 以列表方式显示文件的详细信息
-h 配合 -l 以人性化的方式显示文件大小
演练：
计算机中文件大小的表示方式(科普)
单温 英文 含义
字节 B(byte) 在计算机中作为一个数字单元,一般为8位二进制数
千 K(Kibibyte) 1KB = 1024 B, 千字节( 1024 = 2的10次方)
兆 M(Mebibyte) 1MB = 1024 KB, 百万字节
千兆 G(Gigabytee) 1GB = 1024 MB, 十亿字节, 千兆字节
太 T(Terabyte) 1 TB = 1024 GB, 万亿字节, 太字节
拍 P(Petabyte) 1 PB = 1024 PB, 百万亿字节, 拍字节
1.4 ls 和通配符的使用
准备工作
# 切换到临时目录
cd /usr/tmp
# 清空目录内容
rm -rf *
# 创建文件
touch a23.txt 11.txt 111.txt 112.txt 123.txt 223.txt 323.txt 423.txt 523.txt
# 查看目录内容
ls
登录后复制
通配符 含义
* 代表 任意个数 的字符
? 代表任意一个字符, 且只能是一个
演练:
1 查看以 1 开头的文件或目录
2 查看以 3.txt 结尾的 文件或目录
3 查看含有3的文件列表
4 查看第二个字符是2的文件
[root@k8s-master tmp]# ls 1*.txt
111.txt 112.txt 11.txt 123.txt
[root@k8s-master tmp]# ls *3.txt
123.txt 223.txt 323.txt 423.txt 523.txt a23.txt
[root@k8s-master tmp]# ls *3*.txt
123.txt 223.txt 323.txt 423.txt 523.txt a23.txt
[root@k8s-master tmp]# ls ?2?.txt
123.txt 223.txt 323.txt 423.txt 523.txt a23.txt
[root@k8s-master tmp]#
登录后复制
通配符 含义
[abc] 匹配a、b、c中任意一个
[a-f] 匹配从a到f范围内的任意一个字符
演练:
1 查看 第一个字符是 1到5, 以23.txt结尾 的 目录或文件名
[root@k8s-master tmp]# ls [1-5]23.txt
123.txt 223.txt 323.txt 423.txt 523.txt
[root@k8s-master tmp]#
登录后复制
02.切换目录
2.1 cd
cd 是英文单词 change directory 的缩写, 其功能为 更改当前的工作目录, 是用户最常用的命令之一
注意: linux的所有 目录 和 文件名 都是大小写敏感的
命令 含义
cd 目录 切换到指定目录下
cd … 切换到上级目录
cd - 可以在最近的两次目录之间切换
演练:
1 查看当前所在目录
2 切换到 /usr/local
3 切换到 上一级目录 /usr
4 后退到上一次访问的目录中
[root@k8s-master tmp]# pwd
/usr/tmp
[root@k8s-master tmp]# cd /usr/local
[root@k8s-master local]# cd ../
[root@k8s-master usr]# cd -
/usr/local
[root@k8s-master local]#
登录后复制
2.2 相对路径和绝对路径
2.2.1 目标 : 通过路径找到目标
2.2.2 如何分步骤实现:
u200b 第一步: 使用相对路径定位目标
u200b 第二步: 使用绝对路径定位目标
2.2.3 第一步: 使用相对路径定位目标
特征: 相对路径 输入路径时, 最前面不是以 “/” 开始的, 表示相对 当前目录 所在的位置
缺点: 参照工作目录 发生变化 相对路径也要发生变化
演练:
当前工作目录是 /usr, 使用相对路径 切换到 /usr/tmp 目录下
当前工作目录是 /root, 使用相对路径 切换到 /usr/tmp 目录下
[root@k8s-master local]# clear
[root@k8s-master local]# cd /usr
[root@k8s-master usr]# cd tmp/
[root@k8s-master tmp]# cd /root
[root@k8s-master ~]# cd ../usr/tmp/
[root@k8s-master tmp]#
登录后复制
2.2.4 第二步: 使用绝对路径定位目标
特征: 绝对路径 在输入路径时, 最前面是以 / 开始的, 表示 从 根目录 开始的具体目录位置
优点: 定位准确, 不会因为 工作目录变化 而变化
演练：
当前工作目录是 /usr, 使用绝对路径 切换到 /usr/tmp 目录下
当前工作目录是 /root, 使用绝对路径 切换到 /usr/tmp 目录下
[root@k8s-master tmp]# cd /usr
[root@k8s-master usr]# cd /usr/tmp/
[root@k8s-master tmp]# cd /root
[root@k8s-master ~]# cd /usr/tmp
[root@k8s-master tmp]#
登录后复制
2.2.5 小总结
相对路径 在输入路径时, 最前面不是以 / 开始的 , 表示相对 当前目录 所在的目录位置
绝对路径 在输入路径时, 最前面是以 / 开始的, 表示 从 根目录 开始的具体目录位置
03.创建和删除操作
3.1 touch
3.1.1 目标
通过 touch 命令 创建文件
3.1.2 路径
第一步: 创建一个空白文件
第二步: 修改文件的末次修改日期
3.1.3 实现
3.1.3.1 第一步: 创建一个空白文件
touch 不存在的文件
登录后复制
3.1.3.2 第二步: 修改文件的末次访问时间
touch 存在的文件
登录后复制
3.1.4 小结
通过 touch 文件名 创建文件 和 修改文件的末次访问时间
3.2 mkdir
3.2.1 目标:
通过 mkdir 命令 创建目录
3.2.2 路径:
第一步: 创建 没有层级关系的目录
第二步: 创建 有层级关系的目录
3.2.3 实现
3.2.3.1 第一步: 创建 没有层级关系的目录
mkdir 目录名
登录后复制
3.2.3.2 第二步: 创建 有层级关系 的目录
mkdir -p 目录1/目录2/目录3
登录后复制
创建一个新的目录
选项 英文 含义
-p parent 可以递归创建目录
3.2.4 小结
通过 mkdir -p 目录名 命令 创建目录
注意: 新建目录的名称 不能与当前目录中 已有的目录或文件 同名
3.3 rm
3.3.1 目标
通过 rm 文件/目录 命令实现删除 文件和目录的功能, rm 对应的英文是 remove 含义: 删除
3.3.2 路径
第一步: 删除文件 (有提示)
第二步: 删除文件 (取消提示)
第三步: 删除目录
第四步: rm 结合 通配符
3.3.3 实现
3.3.3.1 第一步: 删除文件 (有提示)
rm 文件
登录后复制
3.3.3.2 第二步: 删除文件 (取消提示)
rm -f 文件
登录后复制
参数 英文 含义
-f force (强制) 强制删除,忽略不存在的文件, 无需提示
3.3.3.3 第三步: 删除有内容的目录
rm -rf 目录
登录后复制
参数 英文 含义
-r recursive (递归) 递归地删除目录下的内容, 删除文件夹 时必须加此参数
3.3.3.4 第四步: rm 结合 通配符 * ? [abc][a-z]
rm -rf *.txt
登录后复制
3.3.4 小结
通过 rm -rf 文件/目录 完成删除 文件或目录的功能.
注意: 使用 rm 命令要小心, 因为文件删除后不能恢复
04.拷贝和移动文件
序号 命令 对应英文 作用
01 tree [目录名] tree 以树状图 列出目录中的内容
02 cp 源文件 目标文件 copy 复制文件或者目录
03 mv 源文件 目标文件 move 移动文件或目录 或者 重命名
4.1 tree (扩展)
4.2.1 目标
通过 tree 命令可以以树状图列出文件目录结构.
4.2.2 路径
第一步: 以树形结构显示目录中的文件和目录
第二步: 只显示 当前目录中的目录
第三步: 显示指定的两层
4.2.3 实现
准备工作
# 创建目录
mkdir -p /export/aaa/bbb/ccc
# 创建文件
touch /export/aaa/01.txt /export/aaa/02.txt
touch /export/aaa/bbb/03.txt /export/aaa/bbb/04.txt
touch /export/aaa/bbb/ccc/05.txt /export/aaa/bbb/ccc/06.txt
登录后复制
默认没有安装 tree 组件, 需要联网时安装:
# 安装 tree组件
yum -y install tree
# 卸载 tree组件
yum -y remove tree
登录后复制
4.2.3.1 第一步: 以树形结构显示目录中的文件和目录
tree [目录]
登录后复制
如果指定目录, 就显示指定目录的内容
如果不指定目录,就显示当前目录的内容
4.2.3.2 第二步: 只显示 当前目录中的目录
tree -d [目录]
登录后复制
选项 英文 含义
-d derictory (目录) 只显示目录, 不显示文件
4.2.3.3 第三步: 显示指定的两层
tree -L n [目录]
登录后复制
选项 英文 含义
-L level (层级) 显示几层目录
4.2.4 小结
通过 tree 目录 命令可以以树状图列出文件目录结构.
4.2 cp
4.2.1 目标
通过 cp 实现复制将指定的 文件 或 目录 复制到 两一个 文件 或 目录中
4.2.2 路径
第一步: 备份指定文件
第二步: 将文件复制到目录中
第三步: 将文件复制到另一个文件中, 实现覆盖效果
第四步: 复制目录 到指定 目录中
4.2.3 实现
4.2.3.1 第一步: 备份指定文件
cp 文件1 备份文件名
登录后复制
4.2.3.2 第二步: 将文件复制到目录中
cp 文件1 目录/
登录后复制
4.2.3.3 第三步: 将文件复制到另一个文件中, 实现覆盖效果
cp 文件1 文件2(存在的)
登录后复制
4.2.3.4 第四步: 复制目录 到指定 目录中
cp -r 目录1/ 目录2/
登录后复制
命令 英文 作用
-r recursive (递归) 递归复制目标目录的内容
4.2.4 小结
cp命令的功能是将给出的 文件 或 目录 复制到另一个 文件 或 目录中
4.3 mv
4.3.1 目标
通过mv 命令可以用来 移动 文件 或 目录, 也可以给 文件或目录重命名
4.3.2 路径
第一步: 将文件 移动 另一个目录中
第二步: 重命名
第三步: 将目录移动到 另一个目录中
4.3.3 实现
4.3.3.1 第一步: 将文件 移动 另一个目录中
mv 文件 目录/
登录后复制
4.3.3.2 第二步: 重命名
mv 旧文件名 新文件名
登录后复制
4.3.3.3 第三步: 将目录移动 到 另一个目录中
mv 被移动目录 目标目录
登录后复制
4.3.4 小结
mv 可以用来 移动 文件 或 目录, 也可以给 文件或目录重命名
05.查看文件内容
序号
命令
对应英文
作用
01
cat 文件名
concatenate
查看小文件内容
02
less -N 文件名
less
分频 显示大文件内容
03
head -n 文件名
查看文件的前一部分
04
tail -n 文件名
查看文件的最后部分
05
grep 搜索文本 文件名
grep
根据关键词, 搜索文本文件内容
准备工作
# 清空指定目录内容
cd /export/
rm -rf *
# 复制 /etc/passwd 文件 到 /export/ 目录中
cp /etc/passwd /export/
# 复制 /etc/profile 文件 到 /export/ 目录中
cp /etc/profile /export/
# 罗列目录中内容
tree /export
登录后复制
5.1 cat
5.1.1 目标
通过 cat 会一次显示所有的内容, 适合 查看内容较少 的文本文件
5.1.2 路径
第一步: 显示文件内容
第二步: 显示文件内容(显示行号 包含空行)
第三步: 显示文件内容(显示行号 排除空行)
5.1.3 实现
5.1.3.1 第一步: 显示文件内容(不显示行号)
cat 文件名
登录后复制
5.1.3.2 第二步: 显示文件内容(显示行号 包含空行)
cat -n 文件名
登录后复制
参数 英文 含义
-n number 显示行号
缺点: 空行也显示行号
5.1.3.3 第三步: 显示文件内容(显示行号 排除空行)
cat -b 文件名
登录后复制
参数 英文 含义
-b number-nonblank 非空行 显示行号
nl 文件名 也可以实现 非空行显示行号的效果
命令 英文 含义
nl 文件 number lines of files 查看文件内容 且 非空行显示行号
5.1.4 小结
通过 cat 文件名 查看 小文件内容
准备工作
# >> 重定向这个命令, 为了课程需要 我们先用, 后面我们会讲
# 将文件 /etc/profile 的内容 追加到 /export/01.txt目录中
cat /etc/profile >> /export/01.txt
cat /etc/profile >> /export/01.txt
cat /etc/profile >> /export/01.txt
cat /etc/profile >> /export/01.txt
cat /etc/profile >> /export/01.txt
登录后复制
5.2 less
5.2.1 目标
通过 less [参数] 文件名 命令可以用于分屏显示文件内容, 每次只显示一页内容
less 命令适合查看 内容较多 的文本文件
5.2.2 路径
第一步 : 分屏显示文件内容
第二步 : 根据关键词搜索内容
5.2.3 实现
5.2.3.1 第一步 : 分屏显示文件内容
命令 作用
less -N 文件名 分屏展示文件内容, 适合 大文件
参数 英文 含义
-N number 显示文件内容 且 显示行号
使用 more 的操作键:
操作键 功能
空格键 显示手册页的下一屏幕
Enter 键 一次滚动手册页的一行
b 回滚一屏
f 向前一屏
q 退出
/word 搜索word字符串
5.2.3.2 第二步: 根据关键词 搜索
# 根据关键词搜索
/word
登录后复制
操作键 功能
n 向下找
N 向上找
5.2.4 小结
less 命令适合查看 内容较多 的文本文件
准备工作
# 准备一个26个字母的文件, 使用 WINscp客户端 上传到 /export/ 目录下
登录后复制
5.3 head
5.3.1 目标
通过 head 命令查看文档的前几行内容
5.3.2 路径
第一步: 查看文件的前5行内容
5.3.3 实现
5.3.3.1 第一步:查看文件的前5行内容
head -n 数字 文件
登录后复制
参数 英文 含义
-n number 表示显示前几行内容
5.3.4 小结
通过 head 命令查看文档的前几行内容
5.4 tail
5.4.1 目标
需求: 查看文档(日志)的后几行内容
5.4.2 路径
第一步: 查看文档的最后10行内容
第二步: 动态显示文档的最后内容,一般用来查看日志
第三步: 动态显示文档的最后10行内容
5.4.3 实现
第一步: 查看文档的最后10行内容
tail -10 文件
登录后复制
第二步: 动态显示文档的最后内容,一般用来查看日志
tail -f 文件名
登录后复制
第三步: 动态显示文档的最后100行内容
tail -100f 文件名
登录后复制
5.4.4 小结
通过 tail -10f 文件 命令 查看文档(日志)的后几行内容
5.5 grep
5.5.1 目标
通过 grep 命令 搜索存在 关键字 的行
5.5.2 路径
第一步: 搜索 存在关键字 的行
第二步: 搜索 存在关键字 的行 且 显示行号
第三步: 忽略大小写 搜索 存在关键字 的行
第四步: 搜索 不存在关键字 的行
第五步: 搜索 以关键字开始 的行 或 以关键字结尾 的行
5.5.3 实现
5.5.3.1 第一步: 搜索 存在关键字 的行
grep 关键字 文件名
登录后复制
5.5.3.2 第二步: 搜索 存在关键字 的行 且 显示行号
grep -n 关键字 文件名
登录后复制
选项 英文 含义
-n number 显示匹配行和行号
5.5.3.3 第三步: 忽略大小写 搜索 存在关键字 的行
grep -i 关键字 文件名
登录后复制
选项 英文 含义
-i ignore-case 忽略大小写
5.5.3.4 搜索 不存在关键字 的行
grep -v 关键字 文件名
登录后复制
选项 英文 含义
-v invert-match 显示 不包含关键字 的所有行
5.5.3.5 第五步: 搜索 以关键字开始 的行 或 以关键字结尾 的行
grep 正则 文件名
登录后复制
参数 含义
^a 行首,搜索以a开头的行
ke$ 行尾,搜索以ke结束的行
5.3.4 小结
通过 grep 命令 搜索存在 关键字 的行
06 其他
6.1 管道 |
6.1.1 目标
通过 命令1 | 命令2 可以将命令1的结果 通过 命令2 作进一步的处理
6.1.2 路径
第一步 : 过滤 /etc/ 目录下 以 pro 开头的文件
第二步 : 搜索 存在关键字 的行数
6.1.3 实现
第一步 : 过滤 /etc/ 目录下 以 pro 开头的文件
ls /etc/ | grep ^pro
登录后复制
第二步 : 搜索存在关键字的行数
ls /etc | grep ^pro | wc -l
登录后复制
英文 作用
命令: wc [参数] [文件] 打印文件的行数, 单词数, 字节数
参数: -l line 行 显示 行数
6.1.4 小结
通过 命令1 | 命令2 可以将命令1的结果 通过 命令2 作进一步的处理
6.2 echo 文字内容
echo string 将字符串输出到控制台 , 通常回和 重定向 联合使用
echo hello
# 如果字符串有空格, 为了避免歧义 请增加 双引号 或者 单引号
echo "hello world"
登录后复制
6.3 重定向 > 和 >>
6.2.1 目标
默认情况下 命令的结果 输出到 控制台
通过 重定向 可以将结果 输出到文件
6.2.2 路径
第一步: 将 命令的成功结果 覆盖 指定文件内容
第二步: 将 命令的成功结果 追加 指定文件的后面
6.2.3 实现
第一步: 将命令的成功结果 覆盖 指定文件内容
echo 2222 > 01.txt
登录后复制
命令 作用
结果 > 文件名 > 表示输出, 会覆盖文件的原有内容
第二步: 将命令的成功结果 追加 指定文件的后面
echo 3333333 >> 01.txt
登录后复制
命令 作用
命令 >> 文件名 >> 表示追加, 会将内容追加到已有文件的末尾
第三步: 将 命令的失败结果 追加 指定文件的后面
cat 不存在的目录 &>> error.log
登录后复制
命令 作用
命令 &>> 文件 &>> 表示不区分错误类型 通通放到 日志中
6.2.4 小结
通过 命令 > 文件 将命令的成功结果 覆盖 指定文件内容
通过 命令 >> 文件 将命令的成功结果 追加 指定文件的后面
通过 命令 &>> 文件 将 命令的失败结果 追加 指定文件的后面
6.4 && 和 ||
6.4.1 目标
如果 创建 目录 成功, 就提示 创建成功
如果 创建 目录 失败, 就提示 创建失败
6.4.2 实现
第一步: 如果 创建 目录 成功, 就提示 创建成功
命令 作用
命令1 && 命令2 如果 命令1执行成功了, 才执行 命令2
mkdir -p 正确目录 && echo "提示创建目录成功"
登录后复制
第二步: 如果 创建 目录 失败, 就提示 创建失败
命令 作用
命令1 || 命令2 如果 命令1 执行失败了, 才执行 命令2
mkdir 错误目录 || echo "提示创建目录失败"
登录后复制
6.4.3 小结:
通过 命令1 && 命令2 实现 如果 命令1 执行成功, 就执行 命令2的效果
通过 命令1 || 命令2 实现 如果 命令1 执行失败, 就执行 命令2的效果
准备工作
0 清空/export目录中内容
cd /export && rm -rf *
# 1 创建目录
mkdir -p /export/aaa/bbb/ccc/ddd/eee
# 2 创建文件
touch /export/aaa/bbb/ccc/ddd/eee/01.txt /export/aaa/bbb/ccc/ddd/eee/02.txt
# 3 切换到 /export/aaa/bbb/ccc/ddd/eee/ 目录下 且 查看内容
# 3.1 cd /export/aaa/bbb/ccc/ddd/eee/ && ll
# 3.2 软链接(快捷方式) cd 软链接 && ll
登录后复制
6.5 软链接
在linux中 文件名 和 内容 是两个文件, 分开的!
6.5.1 目标
因为 某些文件和目录 的 路径很深, 所以 需要增加 软链接(快捷方式)
6.5.2 实现
语法如下:
命令 英文 作用
ln -s 目标文件绝对路径 快捷方式路径 link 给目标文件增加一个软链接, 通俗讲就是快捷方式
6.5.3 小结
通过 ln -s 源文件的绝对路径 快捷方式路径 给 目标文件 增加 快捷方式
注意: 必须 增加 -s , 否则 就变成了 硬链接(同样指向真是存在的目标内容)
陶小凡-
启动
start-hbase.sh
1
1
连接
hbase shell
1
1
Shell操作
status #查看HBase状态
version #查看版本
whoami
1
2
3
1
2
3
命名空间（namespace类似RDBMS的数据库）操作
create_namespace "cjh" #创建一个普通的命名空间
create_namespace "cjh",{"name"=>"666"} #创建带属性的命名空间
drop_namespace "baizhi" #删除命名空间
describe_namespace "shahe" # 描述命名空间
alter_namespace "cjh",{METHOD => "set", "name"=>"777"} # 修改命名空间
list_namespace # 列出所有命名空间
1
2
3
4
5
6
1
2
3
4
5
6
表操作(DDL数据定义语言)
create "cjh:t_user","cf1","cf2" # 创建cjh namespace的下的表叫做 t_user，有两个列簇叫做 cf1 cf2
# 创建一个最多有三个版本的表
create "cjh:t_user",{NAME=>"cf1",VERSIONS=>3}
describe "cjh:t_user" #描述表
#删除表，不可以直接删除，要先禁用
disable "cjh:t_user"
drop "cjh:t_user"
list #列出所有表
list_namespace_tables "cjh" # 列出某个命名空间下的表
1
2
3
4
5
6
7
8
9
1
2
3
4
5
6
7
8
9
数据操作（数据管理语言 DML）
#put
put "cjh:t_user","1","cf1:name","zhangsan" # 最普通的插入语句的方式
t = get_table "cjh:t_user" # 将表对象复制给变量t
# 使用复制对象t 对表进行操作
t.put "1","cf1:age",18
# 覆盖操作和put插入相似 写入相同的条件 写入值就可覆盖
t.put "1","cf1:age",19
# 扫描 当前的表
t.scan
#get
# 获取cjh：t_user 下的rowk为1 的所有的cell
get "cjh:t_user" ,"1"
t.get "1"
#获取某一值的不同版本的数据
t.get "1",{COLUMN=>"cf1:name",VERSIONS=>3}
#delete /deleteall
t.delete "1","cf1:name"
# 根据时间戳进行删除
t.delete "1","cf1:age",1569279066158
#删除所有
deleteall "cjh:t_user","1"
#scan
# 查询列簇为cf1 从第一行开始
scan "cjh:t_user",{COLUMNS=>["cf1"],STARTROW=>"1"}
# 查询列簇为cf1 从第一行开始 只显示一行
scan "cjh:t_user",{COLUMNS=>["cf1"],STARTROW=>"1",LIMIT=>1}
#count 查询表中数据条数
count "cjh:t_user"
#append在指定值上追加数据
append "cjh:t_user","1","cf1:name","666"
#truncate(删除)(执行之前买好飞机票)
truncate "cjh:t_user"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
Hive
#启动
./bin/hive
#查看当前数据库
select current_database();
#展示所有数据库
show databases;
#显示所有表
show tables;
#直接查询
./bin/hive -e "select * from t_user"
#服务启动-JDBC
./bin/hiveserver2 #启动hive服务,挂起
#以cloudera-scm 的身份 以jdbc 的方式连接远程的 hiveserver2
./bin/beeline -u jdbc:hive2://$HOSTNAME:10000 -n root
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Hive表操作
#创建表
create table t_user(
id int,
name string,
sex boolean,
birthDay date,
salary double,
hobbies array<string>,
card map<string,string>,
address struct<country:string,city:string>
)
#将数据导入到表中（写好数据格式）
#不常用
[root@centos ~]# hdfs dfs -put t_user /user/hive/warehouse/cjh.db/t_user
#使用hive加载数据(先进入hive命令行)
0: jdbc:hive2://CentOS:10000> load data local inpath "/root/t_user_c" overwrite into table t_user_c;
#"local"表示本地加载信息，‘overwrite"：表示数据覆盖。
#自定义分隔符
create table t_user_c(
id int,
name string,
sex boolean,
age int,
salary double,
hobbies array<string>,
card map<string,string>,
address struct<country:string,city:string>
)
row format delimited fields terminated by ","
collection items terminated by "|"
map keys terminated by ">"
lines terminated by " ";
#CSV格式文件
CREATE TABLE t_csv(
id int,
name string,
sex boolean,
age int
)
ROW FORMAT SERDE "org.apache.hadoop.hive.serde2.OpenCSVSerde"
WITH SERDEPROPERTIES (
"separatorChar" = ",",
"escapeChar" = "\"
);
#JSON格式数据
create table t_user_json(
id int,
name varchar(32),
sex boolean,
birth date
)ROW FORMAT SERDE "org.apache.hive.hcatalog.data.JsonSerDe";
#数据导入（管理员）
#x新建表
0: jdbc:hive2://CentOS:10000> create table t(id string ,name string);
#批量插入
0: jdbc:hive2://CentOS:10000> INSERT into t(id,name) values(1,"zs"),(2,"ww");
#复制表
0: jdbc:hive2://CentOS:10000> insert into table t select ip,last_time from t_access;
#复制表结构
0: jdbc:hive2://CentOS:10000> create table temp1 as select ip,last_time from t_access;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
Hive SQL操作
#使用正则表达式
#需要设置如下属性才能使用 注意 在Hive编程指南中没有对此问题作出解答
set hive.support.quoted.identifiers=none；
select userid, `.*string` from logs;
#注意次引号为 反单引号 （ESC那个！）
#limit限制返回数据条数
select * from testuser limit 2;
#where条件查询
select * from testuser where id = "1" ;
#group by分组
#根据性别进行分组查询每个性别的平均工资
select sex , avg(salary) as avgSalary from testuser group by sex;
#join
#内连
#使用内连接，查询性别不同但是工资相同的人
select a.sex, a.name, a.salary , b.sex , b.name,b.salary from testuser a join testuser b on a.salary = b.salary where a.sex = false and b.sex = true;
#三表连接
#使用内连接，查询来自三个不同城市的人且具有相同的第二种爱好
select
a.address.city , a.name as name , a.hobbies[1] as hobby ,
b.address.city , b.name as name ,b.hobbies[1] as hobby ,
c.address.city , c.name as name ,c.hobbies[1] as hobby
from testuser a
join testuser b on a.hobbies[1] = b.hobbies[1]
join testuser c on a.hobbies[1] = c.hobbies[1]
where a.address.city = "bj" and b.address.city = "sh" and c.address.city = "ly";
#LEFT OUTER JOIN 左外连接（左链接,显示关键词left左边表中的所有数据,右边表数据数据少了补NULL值,数据多了不显示;）
#连接部门表查询员工来自哪个部门
select a.name ,b.depname from testemp a left join testdep b on a.depid = b.id;
#FULL OUTER JOIN 全连接|满外连接
#RIGHT OUTER JOIN 右外连接（左表中匹配不上的字段值用NULL代替。）
select a.name ,b.depname from testemp a right join testdep b on a.depid = b.id;
#笛卡尔积JOIN（将左表每条数据与右表每条数据分别相连）
#不带条件
SELECT * FROM testemp , testdep;
#带条件
SELECT * FROM testemp a ,testdep b where a.depid = b.id;
#排序 ORDER BY | SORT BY|CLUSTER BY
#order by
#在这里叫全局排序，也就是一个MR程序中，升序的关键字ASC，默认升序。DESC为降序。 ORDER BY 子句在SELECT语句的结尾。
#按照工资就行降序排序（默认升序asc,可以不写）
select * from testuser order by salary desc;
#SORT BY
#每个MapReduce内部进行排序，对全局结果集来说不是排序，但是对于Reduce=1的情况是无法体现和ORDER BY的区别
#设置Reduce个数
set mapreduce.job.reduces=2;
#查看Reduce个数
get mapreduce.job.reduces;
#按工资升序查询
select * from testuser sort by salary;
#Distribute By
#Distribute By：类似MR中partition，进行分区，结合sort by使用。
#注意，Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。
select * from logs distribute by dateString sort by timeString;
#Cluster By
#当distribute by和sorts by字段相同时，可以使用cluster by方式。cluster by除了具
#有distribute by的功能外还兼具sort by的功能。但是排序只能是倒序排序，不能指定排
#序规则为ASC或者DESC。
select * from logs cluster by timeString;
select * from logs distribute by timeString sort by timeString;
#上述两种写的方式是相同的
#抽样
#Hive提供了另外一种按照百分比进行抽样的方式，这种事基于行数的，按照输入路径下的数
#据块百分比进行的抽样。
select * from testuser tablesample(0.1 percent);
#提示：这种抽样方式不一定适用于所有的文件格式。另外，这种抽样的最小抽样单元是一个HDFS数据块。因此，如果表的数据大小小于普通的块大小128M的话，那么将会返回所有行。
#分桶
#分区针对的是数据的存储路径；分桶针对的是数据文件。分区提供一个隔离数据和优化查询的
#便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适
#的划分大小这个疑虑。分桶是将数据集分解成更容易管理的若干部分的另一个技术。
#创建表
create table
logs_buck
(
uuid string,
userid string ,
fromUrl string ,
dateString string,
timeString string,
ipAddress string,
browserName string,
pcSystemNameOrmobileBrandName string ,
systemVersion string,
language string,
cityName string
)
clustered by(uuid)
into 3 buckets row format delimited fields terminated by " ";
set hive.enforce.bucketing = true;#启用桶表
load data local inpath "/root/realclean.log" overwrite into table logs_buck;
#我们看到虽然设置了强制分桶，但实际student表下面只有一个logs一个文件。分桶也就是分
#区，分区数量等于文件数，所以上面方法并没有分桶。
##创建一个新表
create table
logs_buck1
(
uuid string,
userid string ,
fromUrl string ,
dateString string,
timeString string,
ipAddress string,
browserName string,
pcSystemNameOrmobileBrandName string ,
systemVersion string,
language string,
cityName string
)
clustered by(uuid)
into 3 buckets row format delimited fields terminated by " ";
#这是我们这是的是3个桶
#所以设置一下reducetask的个数
set mapreduce.job.reduces=3;
insert into table logs_buck1 select * from logs_buck distribute by(timeString) sort by(timeString asc);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
Hive函数
#查询系统现在已经存在函数
show functions;
#显示自带函数用法
desc function upper;
#详细显示自带函数用法
desc function extended upper
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
Flume
启动Flume Agent服务实例（加载配置）
[root@HadoopNode00 apache-flume-1.7.0-bin]# bin/flume-ng agent --conf conf --conf-file conf/simple.properties --name a1 -Dflume.root.logger=INFO,console
读取指定文件
[root@Spark apache-flume-1.7.0-bin]# ./bin/flume-ng avro-client --host hadoopnode01 --port 44444 --filename /root/a.txt
Kafka
启动
[root@HadoopNode0* kafka_2.11-2.2.0]# bin/kafka-server-start.sh -daemon config/server.properties
关闭
[root@HadoopNode0* kafka_2.11-2.2.0]# bin/kafka-server-stop.sh config/server.properties
新建Topic
[root@HadoopNode01 kafka_2.11-2.2.0]# bin/kafka-topics.sh --bootstrap-server HadoopNode01:9092,HadoopNode02:9092,HadoopNode03:9092 --topic t1 --partitions 3 --replication-factor 3 --create
展示Topic列表
[root@HadoopNode01 kafka_2.11-2.2.0]# bin/kafka-topics.sh --bootstrap-server HadoopNode01:9092,HadoopNode02:9092,HadoopNode03:9092 --list
删除Topic
[root@HadoopNode02 kafka_2.11-2.2.0]# bin/kafka-topics.sh --bootstrap-server HadoopNode01:9092,HadoopNode02:9092,HadoopNode03:9092 --delete --topic t2
描述Topic
[root@HadoopNode02 kafka_2.11-2.2.0]# bin/kafka-topics.sh --bootstrap-server HadoopNode01:9092,HadoopNode02:9092,HadoopNode03:9092 --describe --topic t1
修改Topic
[root@HadoopNode02 kafka_2.11-2.2.0]# bin/kafka-topics.sh --bootstrap-server HadoopNode01:9092,HadoopNode02:9092,HadoopNode03:9092 --alter --t
余辉-
将文件中的dsj替换为bigdata的命令是什么
1、打开eXeScope界面，在左侧的窗口中点击“资源——加速器”，系统快捷键都保存在里面的“1”、“2”、“3”等子项中，选择其中一个点击，在右侧窗口中就可看到快捷键。
2、其命名规则是：“次键，编码，virtkey，主键”，这里以“ctrl+x”更改为F10为例，具体修改方法，主键是指要先按住的键，即ctrl，次键则是第二个要按住的键，即x。就是将“ctrl+X”的值是“x，28696，virtkey，control”，修改成“F10，28696，virtkey”即可。
3、单击“编辑——保存更新”命令将修改保存，进入Winpe系统，用修改的shell32.dll替换原始文件，这样“ctrl+x”就更改为F10键。
S笔记-
将文件中的dsj替换为bigdata的命令是什么
答：使用命令提示符，进入包含整个文件架的文件夹，运行tree>*.big 比如，把D盘下的a文件夹下的所有转换成BIG文件 cd D:cd a tre...
BigData Linux 文件和目录常用命令 - 待烟火清凉的博客
1. 终端使用技巧 自动补全 在敲出 文件/ 目录 / 命令 的前几个字母之后, 按下tab键 如果还存在其他 文件 / 目录 / 命令,
2. ls命令说明 ls是英文单词list的简写, 其功能为列出目录的内容,是用户最常用的命令之一 因为需要编辑服务器上的文件, 所以需要先确认指定目录下 是否
3. ls常用选项 如果 只使用ls命令 就只能看到当前目
gitcloud-
将文件中的dsj替换为bigdata的命令是什么：基本替换 u200b 1: :s/vivian/sky/ #替换当前行第一个 vivian 为 sky u200b 2: :s/vivian/sky/g #替换当前行所有 vivian 为 sky u200b 3: :n,$s/vivian/sky/ #替换第 n 行开始到最后一行中每一行的第一个 vivian 为 sky u200b 4: :n,$s/vivian/sky/g #替换第 n 行开始到最后一行中每一行所有 vivian 为 sky （n 为数字，若 n 为 .，表示从当前行开始到最后一行。
cloudcone-
将文件中的dsj替换为bigdata的命令是
，进入包含整个文件架的文件夹，运行tree>*.big
比如，把D盘下的a文件夹下的所有转换成BIG文件
cd
D:
cd a
tree>a.BIG
然后在a文件夹下就能看见A.BIG
FinCloud-
在敲出 文件/ 目录 / 命令 的前几个字母之后, 按下 tab键
如果还存在其他 文件 / 目录 / 命令, 再按一下tab键, 系统会提示可能存在的命令
曾经使用过的命令
使用 上 / 下 光标键可以在曾经使用过的命令之间来回切换
如果想要退出选择, 并且不想执行当前选中的命令, 可以按 ctrl + c
1.2 ls命令说明
ls 是英文单词list的简写, 其功能为列出目录的内容,是用户最常用的命令之一
因为需要编辑服务器上的文件, 所以需要先确认指定目录下 是否存在
linux 下文件和目录的特点
linux文件 或者 目录 名称最长可以 256 个字符
以 . 开头的文件为隐藏文件, 需要用 -a 参数才能显示
. 代表当前目录
.. 代表上一级目录
snjk-
显示行号
:set nu
2隐藏行号
:set nonu
3查找关键字
:/you ##效果：查找文件中出现的you，并定位到第一次出现的位置，按n匹配到下一个you，N匹配到上一个you出现的位置；
替换操作
1将第一行的第一个sad替换为bbb
:1s/sad/bbb
2将第一行到第五行的第一个sad替换为bbb
:1,5s/sad/bbb
3将第一行到光标所在行的第一个sad替换为bbb
:1,.s/sad/bbb
4将光标行到缓冲区最后一行的第一个sad替换为bbb
:.,$s/sad/bbb
5光标所在行的第一个sad替换为bbb
:s/sad/bbb
6光标所在行所有sad替换为bbb
:s/sad/bbb/g
7文件中所有行 第一次出现sad替换为bbb
:%s/sad/bbb
8文件中所有的sad替换为bbb(我最长用的一个)
:%s/sad/bbb/g
如果有特殊字符，需要转义字符""修饰
再也不做稀饭了-
Linux不同于Windows系统（Windows系统要盘符，比如c盘、d盘……），Linux的目录结构是一个树形结构，系统默认有很多文件夹，作为开发人员我们应该清楚每个目录大致是做什么的。
1、/bin目录：二进制目录所在目录
2、/boot目录：系统引导程序所需要的文件目录
3、/dev目录：设备软件目录、磁盘、光驱
4、/etc目录：系统配置、程序启动
5、/home目录：普通用户的家，目录默认数据存放目录
6、/lib目录：共享库文件和内核模块存放目录
7、/mnt目录：临时挂在储存设备的挂载点
8、/opt目录：额外的应用软件包
9、/proc目录：操作系统运行时，进程信息和内核信息存放在这里
10、/root目录：Linux超级权限用户root家目录
11、/sbin目录：和管理系统相关的命令，超级管理员用
12、/temp目录：临时文件目录，这个目录可以当回收站使用
13、/usr目录：用户或系统软件应用程序目录
okok云-
使用命令提示符，进入包含整个文件架的文件夹，运行tree>*.big
比如，把D盘下的a文件夹下的所有转换成BIG文件
cd
D:
cd a
tree>a.BIG
然后在a文件夹下就能看见A.BIG
里论外几-
使用命令提示符，进入包含整个文件架的文件夹，运行tree>*.big
比如，把D盘下的a文件夹下的所有转换成BIG文件
cd
D:
cd a
tree>a.BIG
然后在a文件夹下就能看见A.BIG
左迁-
先在你的电脑上安装WINRAR软件（大部分的电脑在装机的时候都装的有），在文件夹上点鼠标右键，选添加到档案文件或者直接选它下面一个，就可以再把这个文件夹压缩成一个大文件了。修改BIG，那肯定是修改游戏了。修改游戏的话，通过与游戏互备的MOD工具，压缩成BIG文件。怎么用自己研究吧！只要不是太冷门的游戏，一般都有很详细的教程。
北境漫步-
使用命令提示符，进入包含整个文件架的文件夹，运行tree>*.big
比如，把D盘下的a文件夹下的所有转换成BIG文件
cd
D:
cd a
tree>a.BIG
然后在a文件夹下就能看见A.BIG
Chen-
使用命令提示符，进入包含整个文件架的文件夹，运行tree>*.big
比如，把D盘下的a文件夹下的所有转换成BIG文件
cd
D:
cd a
tree>a.BIG
然后在a文件夹下就能看见A.BIG
wpBeta-
使用命令提示符，进入包含整个文件架的文件夹，运行tree>*.big
比如，把D盘下的a文件夹下的所有转换成BIG文件
cd
D:
cd a
tree>a.BIG
然后在a文件夹下就能看见A.BIG