1. База данных
1.1 Просмотр списка данных
show databases;
1.2 Использование базы данных
USE database_name;
1.3 Создайте новую базу данных
грамматика:
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等价的
[COMMENT database_comment] --数据库注释
[LOCATION hdfs_path] --存储在 HDFS 上的位置
[WITH DBPROPERTIES (property_name=property_value, ...)]; --指定额外属性
Пример:
CREATE DATABASE IF NOT EXISTS hive_test
COMMENT 'hive database for test'
WITH DBPROPERTIES ('create'='heibaiying');
1.4 Просмотр информации о базе данных
грамматика:
DESC DATABASE [EXTENDED] db_name; --EXTENDED 表示是否显示额外属性
Пример:
DESC DATABASE EXTENDED hive_test;
1.5 Удалить базу данных
грамматика:
DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];
- Поведение по умолчанию — RESTRICT, и удаление завершается ошибкой, если таблица существует в базе данных. Чтобы удалить библиотеку и ее таблицы, используйте каскадное удаление CASCADE.
Пример:
DROP DATABASE IF EXISTS hive_test CASCADE;
2. Создайте таблицу
2.1 Синтаксис создания таблицы
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name --表名
[(col_name data_type [COMMENT col_comment],
... [constraint_specification])] --列名 列数据类型
[COMMENT table_comment] --表描述
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] --分区表分区规则
[
CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS
] --分桶表分桶规则
[SKEWED BY (col_name, col_name, ...) ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
[STORED AS DIRECTORIES]
] --指定倾斜列和值
[
[ROW FORMAT row_format]
[STORED AS file_format]
| STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]
] -- 指定行分隔符、存储文件格式或采用自定义存储格式
[LOCATION hdfs_path] -- 指定表的存储位置
[TBLPROPERTIES (property_name=property_value, ...)] --指定表的属性
[AS select_statement]; --从查询结果创建表
2.2 Внутренние таблицы
CREATE TABLE emp(
empno INT,
ename STRING,
job STRING,
mgr INT,
hiredate TIMESTAMP,
sal DECIMAL(7,2),
comm DECIMAL(7,2),
deptno INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";
2.3 Внешние таблицы
CREATE EXTERNAL TABLE emp_external(
empno INT,
ename STRING,
job STRING,
mgr INT,
hiredate TIMESTAMP,
sal DECIMAL(7,2),
comm DECIMAL(7,2),
deptno INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_external';
использоватьdesc format emp_externalКоманда может просмотреть детали таблицы следующим образом:
2.4 Таблица разделов
CREATE EXTERNAL TABLE emp_partition(
empno INT,
ename STRING,
job STRING,
mgr INT,
hiredate TIMESTAMP,
sal DECIMAL(7,2),
comm DECIMAL(7,2)
)
PARTITIONED BY (deptno INT) -- 按照部门编号进行分区
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_partition';
2,5 ковшовый стол
CREATE EXTERNAL TABLE emp_bucket(
empno INT,
ename STRING,
job STRING,
mgr INT,
hiredate TIMESTAMP,
sal DECIMAL(7,2),
comm DECIMAL(7,2),
deptno INT)
CLUSTERED BY(empno) SORTED BY(empno ASC) INTO 4 BUCKETS --按照员工编号散列到四个 bucket 中
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_bucket';
2.6 Таблица наклона
Или, указав часто встречающееся значение (критическое отклонение) множества столбцов, Hive автоматически задействует разбиение значений данных на отдельные файлы. , Если связано со значением наклона, когда он получает запрос непосредственно из отдельного файла данных, вместо сканирования всех файлов, что приводит к повышению производительности.
CREATE EXTERNAL TABLE emp_skewed(
empno INT,
ename STRING,
job STRING,
mgr INT,
hiredate TIMESTAMP,
sal DECIMAL(7,2),
comm DECIMAL(7,2)
)
SKEWED BY (empno) ON (66,88,100) --指定 empno 的倾斜值 66,88,100
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_skewed';
2.7 Временные таблицы
Временные таблицы видны только в текущем сеансе, и их данные будут храниться в промежуточном каталоге пользователя и удаляться после завершения сеанса. Если временная таблица имеет то же имя, что и постоянная таблица, любая ссылка на это имя таблицы будет разрешаться во временную, а не в постоянную таблицу. Временные таблицы также имеют следующие два ограничения:
- Столбцы разделов не поддерживаются;
- Создание индекса не поддерживается.
CREATE TEMPORARY TABLE emp_temp(
empno INT,
ename STRING,
job STRING,
mgr INT,
hiredate TIMESTAMP,
sal DECIMAL(7,2),
comm DECIMAL(7,2)
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";
2.8 CTAS создать таблицу
Поддержка результата результатов из оператора запроса:
CREATE TABLE emp_copy AS SELECT * FROM emp WHERE deptno='20';
2.9 Структура таблицы копирования
грамматика:
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name --创建表表名
LIKE existing_table_or_view_name --被复制表的表名
[LOCATION hdfs_path]; --存储位置
Пример:
CREATE TEMPORARY EXTERNAL TABLE IF NOT EXISTS emp_co LIKE emp
2.10 Загрузка данных в таблицу
Загрузка данных в таблицу — это операция DML.Для удобства тестирования вот краткое введение в загрузку локальных данных в таблицу:
-- 加载数据到 emp 表中
load data local inpath "/usr/file/emp.txt" into table emp;
Содержимое emp.txt следующее, вы можете скопировать и использовать его напрямую, или вы можете перейти на этот складresourcesСкачать каталог:
7369 SMITH CLERK 7902 1980-12-17 00:00:00 800.00 20
7499 ALLEN SALESMAN 7698 1981-02-20 00:00:00 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-02-22 00:00:00 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-04-02 00:00:00 2975.00 20
7654 MARTIN SALESMAN 7698 1981-09-28 00:00:00 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-05-01 00:00:00 2850.00 30
7782 CLARK MANAGER 7839 1981-06-09 00:00:00 2450.00 10
7788 SCOTT ANALYST 7566 1987-04-19 00:00:00 1500.00 20
7839 KING PRESIDENT 1981-11-17 00:00:00 5000.00 10
7844 TURNER SALESMAN 7698 1981-09-08 00:00:00 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-05-23 00:00:00 1100.00 20
7900 JAMES CLERK 7698 1981-12-03 00:00:00 950.00 30
7902 FORD ANALYST 7566 1981-12-03 00:00:00 3000.00 20
7934 MILLER CLERK 7782 1982-01-23 00:00:00 1300.00 10
После загрузки вы можете запросить данные в таблице:
3. Таблица модификаций
3.1 Переименовать таблицу
грамматика:
ALTER TABLE table_name RENAME TO new_table_name;
Пример:
ALTER TABLE emp_temp RENAME TO new_emp; --把 emp_temp 表重命名为 new_emp
3.2 Изменить столбцы
грамматика:
ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type
[COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];
Пример:
-- 修改字段名和类型
ALTER TABLE emp_temp CHANGE empno empno_new INT;
-- 修改字段 sal 的名称 并将其放置到 empno 字段后
ALTER TABLE emp_temp CHANGE sal sal_new decimal(7,2) AFTER ename;
-- 为字段增加注释
ALTER TABLE emp_temp CHANGE mgr mgr_new INT COMMENT 'this is column mgr';
3.3 Новый столбец
Пример:
ALTER TABLE emp_temp ADD COLUMNS (address STRING COMMENT 'home address');
В-четвертых, очистить таблицу/удалить таблицу
4.1 Очистить таблицу
грамматика:
-- 清空整个表或表指定分区中的数据
TRUNCATE TABLE table_name [PARTITION (partition_column = partition_col_value, ...)];
- В настоящее время только внутренняя таблица может выполнять операцию TRUNCATE, и при выполнении внешней таблицы будет выдано исключение.
Cannot truncate non-managed table XXXX.
Пример:
TRUNCATE TABLE emp_mgt_ptn PARTITION (deptno=20);
4.2 Удалить таблицу
грамматика:
DROP TABLE [IF EXISTS] table_name [PURGE];
- Внутренняя таблица: будут удалены не только метаданные таблицы, но и данные в HDFS;
- Внешняя таблица: будут удалены только метаданные таблицы, а данные на HDFS не будут удалены;
- Предупреждение не выдается, когда таблица, на которую ссылается представление, удаляется (но представление является недопустимым и должно быть удалено или создано заново пользователем).
5. Другие заказы
5.1 Describe
Посмотреть базу данных:
DESCRIBE|Desc DATABASE [EXTENDED] db_name; --EXTENDED 是否显示额外属性
Посмотреть таблицу:
DESCRIBE|Desc [EXTENDED|FORMATTED] table_name --FORMATTED 以友好的展现方式查看表详情
5.2 Show
1. Просмотрите список баз данных
-- 语法
SHOW (DATABASES|SCHEMAS) [LIKE 'identifier_with_wildcards'];
-- 示例：
SHOW DATABASES like 'hive*';
Предложение LIKE позволяет фильтровать с помощью регулярных выражений, но предложение LIKE в операторе SHOW поддерживает только*(подстановочный знак) и|(Условное ИЛИ) Два символа. Напримерemployees,emp *,emp * | * ees, все из которых будут соответствовать именам сemployeesбаза данных.
2. Просмотрите список таблиц
-- 语法
SHOW TABLES [IN database_name] ['identifier_with_wildcards'];
-- 示例
SHOW TABLES IN default;
3. Просмотрите список просмотра
SHOW VIEWS [IN/FROM database_name] [LIKE 'pattern_with_wildcards']; --仅支持 Hive 2.2.0 +
4. Просмотр списка разделов таблицы
SHOW PARTITIONS table_name;
5. Просмотр оператора создания таблицы/представления
SHOW CREATE TABLE ([db_name.]table_name|view_name);
использованная литература
Другие статьи серии больших данных можно найти в проекте с открытым исходным кодом GitHub.:Руководство для начинающих по большим данным