引导者

本篇文章给大家谈谈mysqlcollect_set，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、collecr_set函数在gp数据库怎么实现
• 2、如何实现监控mysql，并将有变动的数据表写入指定的文件夹？
• 3、Hive / ClickHouse 行转列函数 collect_set() / groupUniqArray()
• 4、mysql 如何处理亿级数据
• 5、SQL---CONCAT系列函数
• 6、hive中对多行进行合并—collect_set&collect_list函数

collecr_set函数在gp数据库怎么实现

数据仓库

数据仓库——collect_set函数、NVL函数、日期处理



Poolweet_

原创

关注

0点赞·881人阅读



目录

1.collect_set函数

2.nvl函数

3.日期处理函数

1.collect_set函州郑数

数据：

id order-type order-number

1 aa 5

2 bb 2

1 bb 1

2 aa 3

1 aa 2

需求：对用户的订单进行分析，将不同订单类型分别多少单展示出来改让，每个用户一行

实现：

1.使用concat（）函数将order_type和order_number连接起来

concat（order_type,'(',order_number,')'）

2.使用concat_ws（）和collect_set（）进行合并行

将上面列表中一个user可能会占用多行转换为每个user占一行的目标表格式，实际是册歼颂“列转行”

select user,concat_ws(',',collect_set(concat（order_type,'(',order_number,')'）)) order from table group by user

order是别名

如何实现监控mysql，并将有变动的数据表写入指定的文件夹？

首先介绍下 pt-stalk，它是 Percona-Toolkit 工具包中的一个工具，说起 PT 工具包大家都不陌生，平时常用的 pt-query-digest、 pt-online-schema-change 等工具都是出自于这个中坦工具包，这里就不多介绍了。

pt-stalk 的主要功能是在出现问题时收集 OS 及 MySQL 的诊断信息，这其中包括：

1. OS 层面的 CPU、IO、内存、磁盘、网络等信息；

2. MySQL 层面的行锁等待、会话连接、主从复制，状态参数等信息。

而且 pt-stalk 是一个 Shell脚本，对于我这种看不懂 perl 的人来说比较友好，脚本里面的监控逻辑与监控命令也可以拿来参考，用于构建自己的监控体系。

三、使用

接着我们来看下如何使用这个工具。

pt-stalk 通常以后台服务形式监控 MySQL 并等待触发条件，当触发条件时收集相关诊断数据。

触发条件相关的参数有以下伍培坦几个：

function：

∘ 默认为 status，代表监控 SHOW GLOBAL STATUS 的输出；

∘ 也可以设置为 processlist，代表监控 show processlist 的输出；

variable：

∘ 默认为 Threads_running，代表 监控参数，根据上述监控输出指定具体的监控项；

threshold：

∘ 默认为 25，代表 监控阈值，监控参数超过阈值，则满足触发条腔桐件；

∘ 监控参数的值非数字时，需要配合 match 参数一起使用，如 processlist 的 state 列；

cycles：

∘ 默认为 5，表示连续观察到五次满足触发条件时，才触发收集；

连接参数：host、password、port、socket。

其他一些重要参数：

iterations：该参数指定 pt-stalk 在触发收集几次后退出，默认会一直运行。

run-time：触发收集后，该参数指定收集多长时间的数据，默认 30 秒。

sleep：该参数指定在触发收集后，sleep 多久后继续监控，默认 300 秒。

interval：指定状态参数的检查频率，判断是否需要触发收集，默认 1 秒。

dest：监控数据存放路径，默认为 /var/lib/pt-stalk。

retention-time ：监控数据保留时长，默认 30 天。

daemonize：以后台服务运行，默认不开启。

log：后台运行日志，默认为 /var/log/pt-stalk.log。

collect：触发发生时收集诊断数据，默认开启。

∘ collect-gdb：收集 GDB 堆栈跟踪，需要 gdb 工具。

∘ collect-strace：收集跟踪数据，需要 strace 工具。

∘ collect-tcpdump：收集 tcpdump 数据，需要 tcpdump 工具。

Hive / ClickHouse 行转列函数 collect_set() / groupUniqArray()

Hive中的 collect_set() 函数功能，将某一列岁薯蚂中的value取值转换手慧成一个 set ；

在 ClickHouse 中可以通乎埋过 groupUniqArray() 来实现。

[img]

mysql 如何处理亿级数据

1、数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。　

2、最后collect 为 10万条记录，数链孙据库表占用硬盘1.6G。OK ,看下面这条sql语句：select id,title from collect limit 1000,10; 很快；基本伍唤消上0.01秒就OK，再腔知看下面的select id,title from collect limit 90000,10; 从9万条开始分页。

3、8-9秒完成。

4、看下面一条语句:select id from collect order by id limit 90000,10; 很快，0.04秒就OK。因为用了id主键做索引当然快。

SQL---CONCAT系列函数

MYSQL里的CONCAT函数用于将两个字符串连接起来，形成一个单一的字符串。

如下面的例子：

mysql select concat('11','22','33');

+------------------------+

| concat('11','22','33') |

+------------------------+

| 112233 |

+------------------------+

1 row in set (0.00 sec)

MySQL的concat函数在连接字符串的时候，只要其中一个是NULL,那么将返回NULL

mysql select concat('11','22',null);

+------------------------+

| concat('11','22',null) |

+------------------------+

| NULL   |

+------------------------+

1 row in set (0.00 sec)

MySQL中concat_ws函数

使用方法：

contcat_ws(separator,str1,str2,...)

contcat_ws() 代表 CONCAT With Separator ，是CONCAT()的特殊形式。第一个参数是其它参数的分隔符。分隔符的位置放在要连接的两个字符串之间。分隔符可以是一个字符串，也可以是其它参数。老历

注意：

如果分隔符为 NULL，则结果为 NULL。函数会忽略任何分隔符参数后的 NULL 值侍档搜。

如连接后以逗号分隔

mysql select concat_ws(',','11','22','33');

+-------------------------------+

| concat_ws(',','11','22','33') |

+-------------------------------+

| 11,22,33 |

+-------------------------------+

1 row in set (0.00 sec)

和MySQL中concat函数不同的是, concat_ws函数在执行的时候,不会因为NULL值而返回NULL 

mysql select concat_ws(',','11','22',NULL);

+-------------------------------+

| concat_ws(',','11','22',NULL) |

+-------------------------------+

| 11,22 |

+-------------------------------+

1 row in set (0.00 sec)

HQL里的CONCAT函数大致用法更SQL的相同

我使用的常用形式为：

select a, b, concat_ws(',' , collect_set(cast(c as string)))

from table group by a,b;

上文HQL中collect_set 有两个作用，第一个是 去重 ，去除group by后的重复元素，

第二个是形成一个 集合 ，将group by后属于同一组的第三列集合起来成为一个集合。与contact_ws

结合使用就是将这些元蠢扮素以逗号分隔形成字符串。当使用collect_list是则不会去重，它会将第三列的集合全部都列出来

cast  ，用法cast(value as type)，将某个列的值显示的转化为某个类型，cast(age as string ) 将int类型的数据转化为了String类型。

hive中对多行进行合并—collect_set&collect_list函数

最近在做高旦项目的时候需要对数据组埋点得到的数据进行合并：

1.原始数据我需要拿到post_id,district_id字段，而一个post可能投放到同一城市的多个district，而在后期使用数据时，需要的数据形式是同一个post_id的记录不可以差伏因为多个district产生多条记录，因此需要将多个district合并为一个值；

2.而在原始表中，district_id的值是INT类型；

3.需要对字段进行去重。

因此，我进行了如下操作：

select

        post_id,

        concat_ws(',',collect_set(string(district_id))) district_id

from

        ods.ods_jz_post_address

group by post_id

***若不需要去重，可选择collect_list()函数虚念携代替collect_set()，具体语法请自行查找***

关于mysqlcollect_set和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。