古道长亭

Contact me with ixiaoqiang0011@gmail.com


  • 首页

  • 归档

  • 分类

  • 关于

  • Book

  • 搜索

Elasticsearch入门使用

时间: 2023-07-02   |   分类: Elasticsearch   搜索引擎   | 字数: 6936 字 | 阅读约: 14分钟

Elasticsearch入门使用

Elasticsearch是基于Lucene的全文检索引擎,本质也是存储和检索数据。ES中的很多概念与MySQL类 似 我们可以按照关系型数据库的经验去理解。

阅读全文 »

Elasticsearch基础

时间: 2023-07-01   |   分类: Elasticsearch   搜索引擎   | 字数: 3889 字 | 阅读约: 8分钟

Elasticsearch基础

1. 简介

Elaticsearch简称为ES,是一个开源的可扩展的分布式的全文检索引擎,它可以近乎实时的存储、检索数据。本身扩展性很好,可扩展到上百台服务器,处理PB级别的数据。ES使用Java开发并使用Lucene作为其核心来实现索引和搜索的功能,但是它通过简单的RestfulAPI和javaAPI来隐藏Lucene的复杂性,从而让全文搜索变得简单

阅读全文 »

SolrCloud

时间: 2023-06-28   |   分类: Solr   搜索引擎   | 字数: 2311 字 | 阅读约: 5分钟

SolrCloud

1. 简介

SolrCloud 是Solr提供的分布式搜索方案,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。当一个系统的索引数据量少的时候是不需要使用SolrCloud的。

阅读全文 »

Solr性能优化

时间: 2023-06-27   |   分类: Solr   搜索引擎   | 字数: 3791 字 | 阅读约: 8分钟

Solr性能优化

1. 配置文件

1.1 schema.xml配置

schema 配置不合理,往往会导致查询性能低,索引占用磁盘、内存空间大的问题

  • 合理设置域属性
    • 域是否要检索(indexed),是否要存储(stored),按需配置,避免不必要的空间浪费。
    • 域是否需要根据文本长度算分,是否需要在建索引时设置权重,如果不需要,设置omitNorms=true
    • omitPositions、omitTermFreqAndPositions,词频信息和打分相关,位置信息和高亮显示相关,当不需要这些功能,则可设置为 true,节省磁盘空间,提升搜索速度。
    • 对于需要排序的字段,使用 docValues,构造 fifieldCache 会进行压缩,节省内存使用
  • 使用正确的数据类型
    • 对于数值类型,使用能正确存储的最小数值类型,更小的数值类型占用更小的磁盘、内存、CPU缓存,并且处理时的 CPU 周期也更少。
    • 数值类型不要用 string,一个整型占 4 字节,用 string,大小为 1000 以上的整型就占了 4 个字节了。当然,对于只有几个值(比如 0、1、2、3)的可枚举的,可以用 string。
    • 不需要分词的域,用 string,不要用 text,text 默认用标准分词器分词。
    • 需要范围查询的数值类型,需要使用 plong、pint 等分精度索引的类型,范围查询性能是不分精度索引的数值类型的 10 倍。当然,也不能滥用,分精度索引的数值类型比较占用空间,如果没有范围查询的需求,则不需要使用。

1.2 solrconfig.xml

  • 索引目录类型

阅读全文 »

Solr数据操作

时间: 2023-06-26   |   分类: Solr   搜索引擎   | 字数: 1342 字 | 阅读约: 3分钟

Solr数据操作

1. 使用dataimport导入数据库数据

不作演示了……………….

阅读全文 »
2 3 4 5 6 7 8 9 10
古道长亭

古道长亭

Always remember that your present situation is not your final destination. The best is yet to come.

226 日志
57 分类
104 标签
GitHub Gitee
友情链接
  • 古道长亭的BOOK
  • JAVA学习
标签云
  • Mysql
  • 搜索引擎
  • Mybatis
  • 容器
  • 架构
  • 消息队列
  • Flink
  • Sharding sphere
  • 流处理
  • 缓存
© 2019 - 2024 京ICP备19012088号-1
0%