Linux重定向与管道(Pipe)

重定向

  • stdout:标准输出流,文件描述符为1
  • stderr:标准错误流,文件描述符为2
  • stdin:标准输入流,文件描述符0

阅读全文

Hadoop_Zookeeper


Zookeeper是用于分布式环境协调服务的项目

特性

  • 高可用性:以集群部署的Zookeeper上,保证半数以上的结点存活即可提供正常服务。

阅读全文

Hadoop_Hive


Hive是基于Hadoop的数据仓库工具,将SQL语句转换为MapReduce任务。

Hive特点

数据源采集到数据仓库中需要依靠ETL(Extract-Transform-Load),数据抽取转换与加载。

阅读全文

Hadoop_Hive安装


Hive模式

  • 内嵌模式:数据储存于默认的Derby数据库,每次只能访问一个数据文件,不支持多会话连接。
  • 本地模式:数据储存于单独的数据库中(MySQL),每个用户必须拥有MySQL的用户名与密码才能进行操作。

阅读全文

Linux Bash指南

echo

  • -n:取消末尾的回车符,不换行。
  • -e:解释特殊字符(如”,\n),如果不适用-e参数,特殊字符会以普通字符的形式输出。

阅读全文