场景一、查询占cpu高的****SQL

运维过ClickHouse都知道，ClickHouse很容易cpu飙高，当ClickHouse的节点cpu飙高时，那么，需要找到对应的SQL，下面的语句可以协助你找到很耗cpu的SQL语句，找到语句后剩下的就是SQL优化了。

#在最近十分钟，消耗cpu top 10的SQL WITH ( SELECT sum(ProfileEvents['OSCPUVirtualTimeMicroseconds']) FROM clusterAllReplicas(集群名称, system.query_log) WHERE event_time > (now() - toIntervalMinute(10)) ) AS cpu_total_microseconds SELECT normalized_query_hash, query_kind, first_value(query), sum(ProfileEvents['OSCPUVirtualTimeMicroseconds']) AS cpu_microseconds, (((cpu_microseconds / 1000) / 1000) / 60) / 10 AS kernel_num, (cpu_microseconds / cpu_total_microseconds) * 100 AS percent FROM clusterAllReplicas(集群名称, system.query_log) WHERE event_time > (now() - toIntervalMinute(10)) GROUP BY normalized_query_hash, query_kind ORDER BY cpu_microseconds DESC LIMIT 10 SETTINGS max_threads = 2

场景二、杀掉具体查询和****MUTATION

如若在生产数据库上，发现某个查询很耗费资源，并且执行时间特别久，经过排查该SQL不重要可以杀掉，那么可以使用KILL语句把这个SQL干掉。

（1）查询耗时很长的SQL

select query_id,elapsed,query from system.processes where elapsed > xxx;

（2）执行KILL语句

KILL QUERY WHERE query_id = ‘xxx’;

有些任务会异步执行的，比如说delete,当执行了后会立即返回结果，任务在后台异步执行的，如若担心mutation影响到数据库的性能了，想kill这个操作，那么可以这么干，先查出相关信息，然后再执行kill。

(1) 查询出具体的mutation_id

select * from system.mutations where database = ‘xxx’ and table = ‘xxx’;

(2)通过KILL语句干掉MUTATION

KILL MUTATION WHERE database = ‘xxx’ AND table = ‘xxx’ AND mutation_id = ‘xxx’;

场景三、修改某个参数

有些时候我们需要对账号进行一些资源限制，比如下面我要对所有账号限制其并发查询最大线程数，那么可以使用如下命令

CREATE SETTINGSPROFILE max_threads_profile SETTINGS max_threads = 10 TO ALL

如若我要对某个账号限制其查询的执行时间，则可以使用如下命令

CREATE SETTINGS PROFILE max_execution_time_profile SETTINGS max_execution_time = 600 TO 账号_A ；注意这个设置了对该账号的insert也生效的

场景四、查看执行计划

查到了占cpu高的或者耗时长的SQL，那么就要看这个SQL的执行计划，分析是否有优化的空间，ClickHouse查看执行计划有很多种方式，这里只介绍最常用的方式。

explain indexes=1 select * from table_a limit 1;

场景五、查询表大小、集群信息、磁盘信息

#查看表在磁盘上的大小，压缩、未压缩的大小、压缩率 SELECT database, table, formatReadableSize(size) AS size, formatReadableSize(bytes_on_disk) AS bytes_on_disk, formatReadableSize(data_uncompressed_bytes) AS data_uncompressed_bytes, formatReadableSize(data_compressed_bytes) AS data_compressed_bytes, compress_rate, rows, days, formatReadableSize(avgDaySize) AS avgDaySize FROM ( SELECT database, table, sum(bytes) AS size, sum(rows) AS rows, min(min_date) AS min_date, max(max_date) AS max_date, sum(bytes_on_disk) AS bytes_on_disk, sum(data_uncompressed_bytes) AS data_uncompressed_bytes, sum(data_compressed_bytes) AS data_compressed_bytes, (data_compressed_bytes / data_uncompressed_bytes) * 100 AS compress_rate, max_date - min_date AS days, size / (max_date - min_date) AS avgDaySize FROM system.parts WHERE active AND (database = 'xxx') GROUP BY database, table ) #查看集群信息 select * from system.clusters  #查看磁盘信息 select * from system.disks;

场景六、停止****Merge

某些场景下存在需要把表的merge操作临时停掉，避免出现文件不存在的错误，比如迁移数据，下面是停止表merge和启动表merge的命令

(1)停止merge

ALTER TABLE tab_name ON CLUSTER cluster_name MODIFY SETTING max_replicated_merges_in_queue = 0, max_bytes_to_merge_at_max_space_in_pool = 0, max_bytes_to_merge_at_min_space_in_pool = 0

(2)开启merge

ALTER TABLE tab_name ON CLUSTER cluster_name MODIFY SETTING max_replicated_merges_in_queue = 16, max_bytes_to_merge_at_max_space_in_pool = 32212254720, max_bytes_to_merge_at_min_space_in_pool = 1048576

场景七、创建外表、分区移动

     ClickHouse支持外表，把数据存储在mysql或者其他存储介质上，通过ClickHouse本地来查询，下面是创建外地表的命令

CREATE TABLE 库名.表名 ( 字段1 UInt32, 字段2 String, 字段3 UInt32 ) ENGINE = MySQL('ip:port', '库名', '表名', '账号', '密码')

有时候会有把表的分区移动到另外一个表中的需求，比如把一些不怎么使用的数据移动到另外一个表中，保留一段时间后进行删除，可以使用如下命令进行移动。

ALTER TABLE 库名.表名 MOVE PARTITION 19700120 TO TABLE 库名.表名;

场景八、给表数据设置****TTL

某些场景会给表设置数据生命周期，比如几个月之前的数据可能不需要，就可以删除掉，节省存储，ClickHouse也支持TTL，无需自己去手动删除数据，设置好策略自动帮你清理数据，命令如下：

create table 库名.表名 （字段1 Int32, 字段2 String, 字段3 DateTime ）engine = MergeTree  Order by 字段3 TTL 字段3 + INTERVAL 3 MONTH

场景九、集群间数据迁移

经常会存在把这个集群的表中的数据迁移到另外一个集群中的表中，我们会使用remote的这个工具来进行迁移，命令如下:

#迁移数据 Insert into 库名.表名 select * from remote(‘ip:port’,’库名’,’表名’,’账号’,’密码’)

场景十、备份与恢复

数据库备份和恢复是最常见的操作，ClickHouse也有原生的备份和恢复工具，分别是backup和restore，这里使用表备份到oss存储上进行举例说明其用法，表格里面是详细的命令，对表的备份和恢复需要了解以下两个知识点

一是backup和restore，只能操作本地表，只在一个节点执行，因为backup和restore可以通过zk分发到各个节点上，所以不需要去每个节点执行。

二是backup和restore不能备份和还原分布式表，备份和还原过程都不会报错，备份的文件大小也跟本地表备份大小无差别，但是恢复后，数据为0。

(1)备份表到oss BACKUP TABLE  库名.表名 TO S3('oss地址', '账号', '密码') BACKUP TABLE 库名.表名 PARTITION  202504 TO S3('oss地址', '账号', '密码') (2)从oss恢复数据 RESTORE TABLE 库名.表名 FROM  S3('oss地址', '账号', '密码') SETTINGS allow_non_empty_tables=true

35岁+运维人员的发展与出路

经常有人问我：干网工、干运维多年遇瓶颈，想学点新技术给自己涨涨“身价”，应该怎么选择？

聪明人早已经用脚投票：近年来，越来越多运维的朋友寻找新的职业发展机会，将目光聚焦到了网络安全产业。

1、为什么我建议你学习网络安全？

有一种技术人才：华为阿里平安等大厂抢着要，甚至高薪难求——白帽黑客。白帽黑客，就是网络安全卫士，他们“低调”行事，同时“身价”不菲。

根据腾讯安全发布的《互联网安全报告》，目前中国**网络安全岗位缺口已达70万，缺口高达95%。**而与网络安全人才需求量逐年递增局面相反的是，每年高校安全专业培养人才仅有3万余人，很多企业却一“将”难求，网络安全人才供应严重匮乏。

这种供求不平衡直接反映在安全工程师的薪资上，简单来说就是：竞争压力小，薪资还很高。

而且安全行业就业非常灵活，既可以就职一家公司从事信息安全维护和研究，也可以当作兼职或成为自由职业者，给SRC平台提交漏洞获取奖金等等。

随着国家和政府的强监管需求，一线城市安全行业近年来已经发展的相当成熟工作机会非常多，二三线城市安全也在逐步得到重视未来将有巨大缺口。

作为运维人员，这几年对于安全的技能要求也将不断提高，现阶段做好未来2到3年的技术储备，有非常大的必要性

2、运维转型成为网络安全工程师，是不是很容易？

运维转安全，因为本身有很好的Linux基础，相对于其他人来说，确实有一定的优势，入门会快一些。
系统管理经验
运维对服务器、网络架构的深度理解，可直接迁移到安全防护场景。例如，熟悉Linux/Windows系统漏洞修补、权限管控，能快速上手安全加固工作。
网络协议与架构知识
运维日常接触TCP/IP、路由协议等，有助于分析网络攻击路径（如DDoS防御、流量异常检测）。
自动化与脚本能力
运维常用的Shell/Python脚本技能，可无缝衔接安全工具开发（如自动化渗透脚本、日志分析工具）。
平滑过渡方向
从安全运维切入，逐步学习渗透测试、漏洞挖掘等技能，利用现有运维经验快速上手。
学习资源丰富
可复用运维工具（如ELK日志分析、Ansible自动化）与安全工具（如Nessus、Metasploit）结合学习，降低转型成本。

3. 转型可以挖漏洞搞副业获取收益挖SRC漏洞

1. 合法挖洞：在合法的平台上挖掘安全漏洞，提交后可获得奖励。这种方式不仅能够锻炼你的技能，还能为你带来额外的收入。

2. 平台推荐：

补天：国内领先的网络安全漏洞响应平台。

漏洞盒子：提供丰富的漏洞挖掘任务。

CNVD：国家信息安全漏洞共享平台。

关于我

有不少阅读过我文章的伙伴都知道，笔者曾就职于某大厂安全联合实验室。从事网络安全行业已经好几年，积累了丰富的技能和渗透经验。

在这段时间里，我参与了多个实际项目的规划和实施，成功防范了各种网络攻击和漏洞利用，提高了互联网安全防护水平。

学习资源

如果你是也准备转行学习网络安全（黑客）或者正在学习，这里开源一份360智榜样学习中心独家出品《网络攻防知识库》,希望能够帮助到你

知识库由360智榜样学习中心独家打造出品，旨在帮助网络安全从业者或兴趣爱好者零基础快速入门提升实战能力，熟练掌握基础攻防到深度对抗。

1、知识库价值

深度： 本知识库超越常规工具手册，深入剖析攻击技术的底层原理与高级防御策略，并对业内挑战巨大的APT攻击链分析、隐蔽信道建立等，提供了独到的技术视角和实战验证过的对抗方案。

广度： 面向企业安全建设的核心场景（渗透测试、红蓝对抗、威胁狩猎、应急响应、安全运营），本知识库覆盖了从攻击发起、路径突破、权限维持、横向移动到防御检测、响应处置、溯源反制的全生命周期关键节点，是应对复杂攻防挑战的实用指南。

实战性： 知识库内容源于真实攻防对抗和大型演练实践，通过详尽的攻击复现案例、防御配置实例、自动化脚本代码来传递核心思路与落地方法。

2、 部分核心内容展示

360智榜样学习中心独家《网络攻防知识库》采用由浅入深、攻防结合的讲述方式，既夯实基础技能，更深入高阶对抗技术。

360智榜样学习中心独家《网络攻防知识库》采用由浅入深、攻防结合的讲述方式，既夯实基础技能，更深入高阶对抗技术。

内容组织紧密结合攻防场景，辅以大量真实环境复现案例、自动化工具脚本及配置解析。通过策略讲解、原理剖析、实战演示相结合，是你学习过程中好帮手。

1、网络安全意识

2、Linux操作系统

3、WEB架构基础与HTTP协议

4、Web渗透测试

5、渗透测试案例分享

6、渗透测试实战技巧

7、攻防对战实战

8、CTF之MISC实战讲解

3、适合学习的人群

‌一、基础适配人群‌

1. ‌零基础转型者‌：适合计算机零基础但愿意系统学习的人群，资料覆盖从网络协议、操作系统到渗透测试的完整知识链‌；
2. ‌开发/运维人员‌：具备编程或运维基础者可通过资料快速掌握安全防护与漏洞修复技能，实现职业方向拓展‌或者转行就业；
3. ‌应届毕业生‌：计算机相关专业学生可通过资料构建完整的网络安全知识体系，缩短企业用人适应期‌；

‌二、能力提升适配‌

1、‌技术爱好者‌：适合对攻防技术有强烈兴趣，希望掌握漏洞挖掘、渗透测试等实战技能的学习者‌；

2、安全从业者‌：帮助初级安全工程师系统化提升Web安全、逆向工程等专项能力‌；

3、‌合规需求者‌：包含等保规范、安全策略制定等内容，适合需要应对合规审计的企业人员‌；

因篇幅有限，仅展示部分资料，完整版的网络安全学习资料已经上传CSDN，朋友们如果需要可以在下方CSDN官方认证二维码免费领取【保证100%免费】

因篇幅有限，仅展示部分资料，完整版的网络安全学习资料已经上传CSDN，朋友们如果需要可以在下方CSDN官方认证二维码免费领取【保证100%免费】

🐵这些东西我都可以免费分享给大家，需要的可以点这里自取👉:网安入门到进阶资源