技术博客

本文详细介绍如何基于 Docker 容器技术，搭建 Kettle 9.2 版本的分布式集群环境，包含环境准备、镜像制作、配置编排和多节点部署等完整流程，适用于需要实现 ETL 及数据集成作业分布式调度与管理的应用场景。 集群架构与基础环境规划 Kettle版本：9.2 JDK版本：1.8 集群拓扑结构： 主机 角色 master 主节点 node1 从节点1 node2 从节点2 项目目录结构概览123456789101112131415161718[lbs@master kettle]$ tree -L 3.├── centos7_openjdk8│ ├── Dockerfile│ └── init│ ├── Centos-7.repo│ ├── nux-dextop-release-0-5.el7.nux.noarch.rpm│ └── openlogic-openjdk-8u422-b05-linux-x64.tar.gz└── kettle9.2 ├── conf │ └──...

在现代应用开发与运维中，中间件的部署与管理是保障系统稳定高效运行的关键环节。Docker作为轻量级容器化技术，极大简化了中间件的安装、配置和升级流程，提高了环境一致性和部署效率。本文汇总了多款常用中间件的Docker Compose部署文件，包括数据库（MySQL、PostgreSQL、MongoDB）、缓存（Redis）、消息队列（Kafka）、搜索引擎（Elasticsearch）、大数据组件（Doris）以及监控系统（Prometheus、Grafana等）。无论是单机部署还是集群搭建，均提供详尽配置示例，方便开发者和运维人员快速上手，实现一键部署和高效管理。如果您正在规划容器化中间件的部署方案，本篇博文将是您实用且全面的参考资源。 Memos12345678910111213141516version: '2.1'services: memos: image: neosmemo/memos:stable container_name: memos volumes: - data:/var/opt/memos ...

在 Linux 系统中，rm 命令会直接删除文件，无法撤销。这容易导致误删文件的情况发生。为了避免这种风险，我们可以为 rm 命令添加一个回收站功能。本文将介绍如何编写并部署一个 Bash 脚本，使系统中的所有用户在使用 rm 命令时，文件会被移动到回收站目录，而不是被永久删除。 脚本实现以下是实现回收站功能的 Bash 脚本： 12345678910111213141516171819202122232425262728293031323334353637383940414243#!/bin/bashalias rm='trash'alias rl='trashlist'LocalTrash="$HOME/.local/share/Trash/files"trash() { local files="" [ ! -d $LocalTrash ] && mkdir -p $LocalTrash while [ -n "$1" ];...

在现代企业级应用与大数据环境中，常用中间件如 Zookeeper、Kafka、Redis、Elasticsearch、Flink、Hadoop 以及 Doris 等，扮演着关键的角色，保证系统的高可用性、可扩展性和稳定运行。而 systemd 作为主流的 Linux 初始化系统和服务管理器，提供了统一、可靠的方式来管理这些中间件的启动、停止与自动重启。本文详细汇总了一系列常用中间件的 systemd 单元配置文件示例，覆盖直接运行进程和基于 Docker Compose 的容器化服务，帮助运维人员快速配置与管理各类中间件服务。通过规范的 systemd 配置，能够有效简化运维流程，提高服务启动效率，确保业务连续性。 zookeeper123456789101112131415161718192021222324sudo tee /etc/systemd/system/zookeeper.service...

Spring Boot 默认使用 Lettuce 作为 Redis 客户端，它支持响应式编程且易于使用。但在部分低版本 Spring Boot 中，Lettuce 与 Redis 集群存在版本兼容性问题，导致连接不稳定或无法连接集群。鉴于此，采用 Jedis 客户端作为 Redis 集群的连接方案成为了切实可行的替代方案。 本文详细介绍如何在 Spring Boot 项目中使用 Jedis 整合 Redis 集群，包含依赖配置、属性设置、关键代码实现以及调用示例，为实际项目中使用 Redis 集群提供完整参考。 相关文章源码地址请参考：springboot-example 项目 — redis-cluster-jedis 分支 引入关键依赖在 Maven 的 pom.xml 中，除了引入 Spring Boot Web 和 Redis 相关依赖外，需要注意的是要排除默认的 Lettuce 依赖，改用 Jedis...

在现代大数据架构中，Kafka作为分布式消息系统广泛应用于流式数据传输，而Doris作为高性能的MPP数据库，支持实时数据分析与查询。本文将详细介绍如何利用Doris的Routine Load功能，直接从Kafka导入数据，实现实时数据同步，涵盖CSV和JSON格式的数据导入，并提供相关操作指令及调优建议。 Doris中创建Routine Load导入任务Doris支持通过CREATE ROUTINE LOAD命令创建常驻的Routine...

在进行大数据和高并发环境下的性能压测时，JMeter 可能出现卡死或崩溃现象，常见错误日志显示为： 1java.lang.OutOfMemoryError: Java heap space 其根本原因是 JMeter 所使用的 Java 虚拟机（JVM）堆内存配置不足，导致内存溢出。为了避免这种情况，必须为 JMeter 设置更合理的内存上限，确保测试过程顺畅。 本文将详解如何在 Windows、Mac 及 Linux 三大平台下修改 JMeter 的内存配置，并教你如何验证内存调整是否生效。 Windows 环境下调整 JMeter 内存配置查找 JMeter 安装路径若通过环境变量配置安装，可以直接查看配置文件路径，或者在命令行中执行： 1where jmeter 该命令会返回 JMeter 可执行文件所在路径，定位到安装目录。 修改 jmeter.bat 文件中的内存参数进入 JMeter 安装目录下的 bin/ 文件夹，找到并用文本编辑器打开 jmeter.bat 文件。 搜索包含如下内容的一行： 1set HEAP=-Xms1g -Xmx1g...

随着高分辨率显示器的普及，尤其是4K分辨率，许多开发和测试工具在默认配置下界面元素显得过小，影响使用体验。Apache JMeter虽然从高版本开始已经支持HiDPI（高DPI）屏幕，但默认状态下这项功能并未启用。本文将介绍如何针对JMeter 5.3版本，在Windows 10系统和4K显示环境下，进行字体和界面图标的适配设置，提升使用舒适度。 JMeter高分屏支持背景说明JMeter 5.3版本引入了对HiDPI屏幕的支持，允许用户通过修改配置文件调整界面元素的缩放和字体大小，解决4K等大分辨率屏幕上界面细节过小的问题。然而，这些适配参数默认是关闭状态，必须手动开启并调整合适的比例。 环境准备 操作系统: Windows 10 JMeter版本: 5.3 显示器分辨率:...

作为后端开发者，确保我们构建的应用在高并发场景下依然稳定高效是至关重要的。Apache JMeter 作为一款开源的、基于 Java 的压力测试工具，因其功能全面、使用便捷且跨平台（Linux/Windows/macOS），成为了我们进行接口测试与性能（压力）测试的首选工具之一。本文将引导您从 JMeter 的基础配置入手，逐步构建一个涉及登录、数据提取、多步骤依赖的复杂场景并发测试。 前提条件： 由于 JMeter 是 Java 开发的，请确保您的测试环境中已正确安装 JDK。 JMeter 下载： JMeter 官网 一、JMeter 核心组件概览在深入实践之前，我们先简单了解一下 JMeter 的几个核心组件，这有助于我们理解后续的操作： 测试计划 (Test Plan)： 所有测试元素的顶层容器，描述了测试的整体流程和配置。 线程组 (Thread Group)： 定义虚拟用户（线程）数量、并发策略（Ramp-Up 时间）和循环次数。每个线程模拟一个真实用户。 取样器 (Sampler)： 实际发送请求的组件，如 HTTP 请求、FTP...

最近因为系统开发需要，要模拟业务系统生产业务数据推送到Kafka中。同时对于生成的业务数据有一定逻辑要求，故采用了先使用代码生成测试业务数据到Json文件中，然后通过Jmeter读取Json文件以一定的并发数推送到Kafka中的方案。 环境准备# 安装JDK8并配置环境变量 windows步骤 点击链接 # 下载 Jmeter，并解压到指定路径 # 下载 di-kafkameter 到Jmeter根目录下的lib\ext目录下 进入到Jmeter根目录下的bin目录下，双击jmeter.bat，进入到GUI界面 设置为中文 新增并配置线程组，线程数设置为100，永远循环 新增并配置Constant Throughput Timer，用于控制并发吞吐量一分钟执行18万次，即3000TPS 新增并配置CSV Data Set...