TechBlog
首页分类标签搜索关于
← 返回标签列表
加载中...

© 2025 TechBlog. All rights reserved.

#标签

共 194 篇文章
ES基础入门

ES基础入门

本文介绍了Elasticsearch的核心架构概念和基本操作。架构部分包括:集群(Cluster)由多个节点组成,节点(Node)分为主节点、数据节点等类型,分片(Shard)包括主分片和副本分片。基本概念涵盖文档(Document)和字段(Field),索引(Index)和映射(Mapping)。操作部分详细说明了索引库的创建、查询、修改和删除,以及文档的新增、查询、删除和修改(全量和增量)方法。全文提供了Elasticsearch的完整操作指南。

时间:12/22/2025

SpringBootElasticsearch实现高效全文搜索

SpringBootElasticsearch实现高效全文搜索

通过这个简单的示例,你已经成功地将Elasticsearch集成到了SpringBoot应用程序中。这使得你能够轻松地实现全文搜索功能,提升了应用程序对大量数据的管理和检索效率。当然,根据具体业务需求,你还可以进一步优化和扩展这个基础架构,使用Elasticsearch提供的更高级功能。希望这篇文章能够帮助你在SpringBoot项目中利用Elasticsearch实现强大的全文搜索功能。

时间:12/19/2025

Kibana-数据可视化的新配色方案-我们如何以及为什么创建它

Kibana-数据可视化的新配色方案-我们如何以及为什么创建它

Kibana数据可视化推出全新配色方案,作为设计系统视觉刷新的一部分。该方案基于Elastic品牌形象,在OKLCH色彩空间通过数学生成10种色调,包含5种基础色的深浅组合。新方案解决了旧系统无法支持复杂场景的问题,提升了一致性和可访问性(WCAG标准4.5:1对比度),同时优化了堆叠图表等场景的可读性。方案于2024年11月测试,2025年4月随Kibana9.0正式发布,为严重性等级等场景提供了统一处理标准。团队将持续迭代改进可视化体验。

时间:12/19/2025

git命令大全

git命令大全

本文整理了2025年最新实用的Git常用命令大全,涵盖日常开发全流程。包括基础配置、仓库克隆、本地开发操作、分支管理、撤销修复、远程仓库管理等核心命令。重点介绍了高频使用的gitstatus、gitcommit、gitpush/pull等基础命令,以及gitswitch、gitstash等实用技巧。同时提供了SSH配置、冲突解决等常见问题解决方案,并推荐了提升效率的命令别名。这些命令覆盖了95%的日常开发需求,是开发者必备的Git速查手册。

时间:12/17/2025

架构设计ElasticSearchHBase-海量存储架构设计与实现

架构设计ElasticSearchHBase-海量存储架构设计与实现

架构设计:ElasticSearch+HBase海量存储架构设计与实现

时间:12/17/2025

SpringBoot整合Sharding-jdbc分库分表及ES搜索引擎解决无分片键查询

SpringBoot整合Sharding-jdbc分库分表及ES搜索引擎解决无分片键查询

Setter@Getter@Data@Document(indexName="account_info_index")//对应ES索引名//由分布式id生成器生成//SpringDataElasticsearch仓库接口//方法名解析查询:根据账户名模糊搜索//根据手机号精确查询。

时间:12/14/2025

Elasticsearch大慢查询隔离二选择插件

Elasticsearch大慢查询隔离二选择插件

本文分类介绍了Elasticsearch中用于查询隔离、限流和保护的主要插件。首先介绍了官方和主流插件如SearchGuard和ReadonlyREST,它们提供基于角色的查询限制、速率控制等功能。其次介绍了专用查询管理插件QueryGuard和SearchProfiler,专注于查询保护和诊断。文章还展示了自定义开发插件的示例代码,以及监控告警插件如HQ和Prometheus的配置方法。这些插件共同构成了Elasticsearch查询隔离和保护的技术方案。

时间:12/13/2025

ElasticsearchES搜索引擎

ElasticsearchES搜索引擎

假如我们要查第100页数据,每页查十条,也就是查第990到1000这十条数据。但并不是简单的查到这1000条数据然后返回最后十条,而是把每个分片前1000条数据都拿出来合并到一起排序,选出前1000条然后返回最后十条。当要查询第一万页数据时,数据量极大,可能会导致内存炸裂。不能修改索引库已有的字段,因为之前创建好的倒排索引跟分词会受到干扰,对索引库影响很大。数据库采用正向索引:一般情况下会根据id创建索引,形成B+树,如果根据id检索效率就会比较高。先创建好mapping映射,在Java客户端创建索引库。

时间:12/13/2025

安装部署Elasticsearch-Logstash-Filebeat-Kibana-Redis

安装部署Elasticsearch-Logstash-Filebeat-Kibana-Redis

本文提供了一套完整的ElasticStack(ELK)与Redis集成部署指南,适用于Ubuntu/CentOS系统。主要内容包括:1)环境准备要求(8GB内存、20GB磁盘、Java11+);2)典型架构拓扑(Filebeat→Redis→Logstash→Elasticsearch→Kibana);3)分步安装配置各组件(Java、Redis、Elasticsearch、Logstash、Filebeat、Kibana);4)完整链路验证方法;5)系统优化与安全加固建议;6)故障排查技巧;7)提供监控

时间:12/12/2025

filebeat日志时区问题处理

filebeat日志时区问题处理

摘要:解决Filebeat写入Elasticsearch时日志时间差8小时的问题。尝试通过配置timezone参数无效后,采用JavaScript脚本手动处理时区偏移:在获取日志时间后,使用setMinutes()方法加上本地时区偏移量(getTimezoneOffset)来修正时间戳。该方法通过script处理器实现,能准确将日志时间转换为正确的UTC时间存储到@timestamp字段。

时间:12/06/2025

ElasticSearch服务端报错Unrecognized-VM-option-UseAVX2

ElasticSearch服务端报错Unrecognized-VM-option-UseAVX2

摘要:Elasticsearch节点启动失败,日志显示"UnrecognizedVMoption'UseAVX=2'"错误

时间:12/03/2025

Elastic-Stack梳理深度解析Elasticsearch分布式查询机制与相关性算分优化实践

Elastic-Stack梳理深度解析Elasticsearch分布式查询机制与相关性算分优化实践

分布式搜索中的Elasticsearch面临查询流程复杂性和相关性算分失真两大挑战。Query-Then-Fetch机制通过两阶段处理:Query阶段各分片独立计算并返回TopN文档,Fetch阶段聚合完整数据。分片本地统计导致BM25算法算分偏差,解决方案包括单分片模式、DFS查询模式(预收集全局统计量)和混合方案。NestJS集成示例展示了基础检索和DFS算分修正的实现。关键点在于分片选择必须覆盖所有ID,深分页需调整参数,DFS模式虽提升算分准确性但增加性能开销。

时间:12/02/2025

使用-Flink-CDC-搭建跨库-Streaming-ETLMySQL-Postgres-Elasticsearch-实战

使用-Flink-CDC-搭建跨库-Streaming-ETLMySQL-Postgres-Elasticsearch-实战

基于FlinkCDC的实时数据集成方案本教程演示了使用FlinkCDC实现多源数据实时ETL的方案。通过DockerCompose部署MySQL、PostgreSQL、Elasticsearch和Kibana环境,构建完整的流式数据处理链路。方案包含:数据源准备:MySQL存储商品和订单数据,PostgreSQL存储物流信息实时处理:FlinkSQL通过CDC连接器捕获源库变更,执行实时JOIN结果输出:将富化后的订单数据写入Elasticsearch可视化:通过Kibana展示实时

时间:11/25/2025

exa-在-HarmonyOS-上的构建与适配

exa-在-HarmonyOS-上的构建与适配

exa是一个现代化的ls命令替代品,使用Rust语言编写,提供了更丰富的功能和更好的默认设置。本文将详细介绍如何将exa适配到HarmonyOS平台,包括交叉编译配置、构建脚本编写以及使用说明。v0.10.1构建系统转换:从Makefile转向Cargo,需要理解Rust的构建系统交叉编译配置:正确配置Rust工具链和目标平台链接器配置:通过配置HarmonyOSSDK的链接器环境变量:使用Cargo特定的环境变量格式配置工具链。

时间:11/24/2025

Elasticsearch集群部署实战指南

Elasticsearch集群部署实战指南

浏览器访问http://192.168.73.128:9200、http://192.168.73.128:9200查看节点Node1、Node2的信息。-e:从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当作Logstash的配置(如果是空,则默认使用stdin作为输入,stdout作为输出)。pretty检查群集状态信息。浏览器访问http://192.168.73.129:9100/查看索引信息,可以看见索引默认被分片5个,并且有一个副本。

时间:11/24/2025

es-api介绍

es-api介绍

kibana应该有一些非常实用的场景,仅仅作为一个可视化的esdql图形化界面是很重的,跟原有的postman功能使用上会重叠。execution_hint可以不指定,es会自己选取。,利用aggs聚合处理结果集,aggs可以嵌套。已预设聚合函数包括桶聚合与度量聚合。

时间:11/23/2025

Springboot中使用Elasticsearch部署使用讲解-最完整

Springboot中使用Elasticsearch部署使用讲解-最完整

这里只做演示和介绍,如果只需要了解在Java中使用可跳过,去看第四部分,但是这些还是很有必要了解一下。Docs。

时间:11/21/2025

c中间件Elasticsearch介绍与安装-核心概念-Kibana-二次封装

c中间件Elasticsearch介绍与安装-核心概念-Kibana-二次封装

Elasticsearch是一个开源分布式搜索引擎,具有分布式、自动发现、索引分片等特点。它通过RESTfulAPI隐藏Lucene复杂性,实现全文搜索功能。安装步骤包括添加仓库秘钥、安装ES服务、配置外网访问等。Kibana是ES的数据分析与可视化平台,提供交互式控制台。核心概念包括索引(类似数据库)、文档(数据单元)和字段(数据属性)。ES支持多种数据类型,如字符串、整数、日期等。安装完成后可通过Kibana进行数据管理和分析。

时间:11/21/2025

Flink-CDC-用-SqlServer-CDC-实时同步数据到-Elasticsearch

Flink-CDC-用-SqlServer-CDC-实时同步数据到-Elasticsearch

本文演示了如何通过FlinkCDC实现SqlServer到Elasticsearch的数据实时同步。主要步骤包括:使用DockerCompose部署SqlServer2019、Elasticsearch7.6.0和Kibana7.6.0环境在SqlServer中创建inventory数据库和products/orders表,并开启CDC功能配置Flink环境,添加SqlServerCDC和Elasticsearch连接器在FlinkSQL中定义CDC源表和ES目标表通过SQL实现表关

时间:11/21/2025

CanalElasticsearchRabbitMq构建高可用高性能的异构数据同步方案亲测可用

CanalElasticsearchRabbitMq构建高可用高性能的异构数据同步方案亲测可用

非侵入性:同步逻辑独立于业务代码。事务一致性:仅捕获已提交的事务,保证时序正确。高性能:毫秒级延迟,对MySQL无额外负载。数据完整性:支持捕获INSERT、UPDATE、DELETE操作,确保下游数据一致。通过Canal,企业可以构建可靠、高可用的数据通道,为实时数据平台和用户体验优化提供坚实基础。

时间:11/20/2025

Flink-CDC-用-OceanBase-CDC-实时同步数据到-Elasticsearch

Flink-CDC-用-OceanBase-CDC-实时同步数据到-Elasticsearch

本文演示了如何使用FlinkSQL实现OceanBase到Elasticsearch的实时数据同步。通过DockerCompose启动包含OceanBaseCE、oblogproxy、Elasticsearch和Kibana的测试环境,在OceanBase中创建示例订单和商品表并插入数据。配置Flink环境后,使用OceanBaseCDC连接器定义源表,通过FlinkSQL将两表实时Join并写入Elasticsearch结果表。最终可在Kibana中实时查看数据变化,验证INSERT/UPDAT

时间:11/20/2025

Flink-CDC-用-Db2-CDC-实时同步数据到-Elasticsearch

Flink-CDC-用-Db2-CDC-实时同步数据到-Elasticsearch

本文介绍了如何通过Docker和FlinkCDC实现Db2到Elasticsearch的实时数据同步。首先使用docker-compose部署Db2、Elasticsearch和Kibana环境。然后在Flink中配置Db2CDC源表和Elasticsearch目标表,通过SQL建立同步管道。随后演示了在Db2中执行增删改操作后,数据如何实时反映到Elasticsearch索引中。文章还提供了Kibana查看数据的方法,并指出可扩展方向,如实时ETL、多表join等。整个流程构建了一个完整的Db2→Fl

时间:11/20/2025

电商系统中ES检索技术设计和运用

电商系统中ES检索技术设计和运用

本文介绍了电商系统搜索功能的设计与实现,包括核心需求、架构设计、索引与查询优化,以及SpringCloud与Elasticsearch的集成方案。重点阐述了高相关性搜索、个性化体验、性能优化等关键点,并提供了实际代码示例。文章还探讨了语义搜索、机器学习排序等高级功能,最后给出版本兼容、监控和渐进式实施等实践建议。通过合理的架构设计和优化策略,可构建高效稳定的电商搜索系统。

时间:11/17/2025

全文检索ElasticSearch实战

全文检索ElasticSearch实战

全文检索是以非结构化数据为对象的计算机检索技术,允许用户通过自然语言直接匹配文本中的字符、词语或短语进行内容搜索,其核心流程包括文本索引构建与快速匹配查询。该技术通过分词处理将文档切分为独立词汇,基于倒排索引建立词汇与文档的映射关系,支持通配符、模糊搜索、精确短语检索等多种查询方式,并采用BM25算法进行相关性排序。全文检索系统由索引构建、查询处理、结果展示三大模块构成,其中索引核心采用层次化存储结构,支持分布式分片与副本机制以实现高可用性。

时间:11/17/2025

上一页
12345...9
下一页第 1 / 9 页