数据库 – 碎言碎语

2020-02-14

使用migrage指令进行Redis数据迁移

redis-cli -n 5 -h 127.0.0.1 -p 6379 -a uwhxh2746dbap keys '*' | xargs -I '{}' redis-cli -n 5 -h 127.0.0.1 -p 6379 -a uwhxh2746dbap migrate r-bp1b7f4fc1328784992.redis.rds.aliyuncs.com 6379 '' 5 1000 COPY KEYS '{}'

1	redis-cli -n 5 -h 127.0.0.1 -p 6379 -a uwhxh2746dbap keys '*' \| xargs -I '{}' redis-cli -n 5 -h 127.0.0.1 -p 6379 -a uwhxh2746dbap migrate r-bp1b7f4fc1328784992.redis.rds.aliyuncs.com 6379 '' 5 1000 COPY KEYS '{}'

Continue reading "使用migrage指令进行Redis数据迁移"

2019-06-172019-06-17

Redis内存分析

一般会采用 bgsave 生成 dump.rdb 文件，再结合 redis-rdb-tools 和 sqlite 来进行静态分析。

BGSAVE：在后台异步(Asynchronously)保存当前数据库的数据到磁盘。

BGSAVE 命令执行之后立即返回 OK ，然后 Redis fork 出一个新子进程，原来的 Redis 进程(父进程)继续处理客户端请求，而子进程则负责将数据保存到磁盘，然后退出。

生成内存快照: redis-rdb-tools 是一个 python 的解析 rdb 文件的工具，在分析内存的时候，主要用它生成内存快照。 Continue reading "Redis内存分析"

2019-06-142019-06-14

MySQL 5.7 中文全文检索使用教程

在MySQL 5.7.6之前，全文索引只支持英文全文索引，不支持中文全文索引，需要利用分词器把中文段落预处理拆分成单词，然后存入数据库。
从MySQL 5.7.6开始，MySQL内置了ngram全文解析器，用来支持中文、日文、韩文分词。
本文使用的MySQL 版本是5.7.22，InnoDB数据库引擎。 Continue reading "MySQL 5.7 中文全文检索使用教程"

2019-04-082019-04-08

MongoDB基本命令

MongoDB是NoSQL数据库系统中比较流行的数据库之一。它也是最接近关系型数据库的，一个数据库可以包含多个集合（Collection），类似于关系数据库中的表；而每个集合中可以存储一组由列标识的记录，列是可以自由定义的，非常灵活，这就类似于关系数据库表中的每一条记录。下面和大家一起熟悉下MongoDB的基本管理命令。 Continue reading "MongoDB基本命令"

2019-01-31

Redis集群水平扩展（二）

原始集群(见下图)由6个节点组成，且6个节点都在一台机器上(ip为192.168.0.61)，采用伪分布式的三主三从模式。

Continue reading "Redis集群水平扩展（二）"

2019-01-312019-01-31

Redis集群水平扩展（一）

Redis分布式方案一般有两种

1、客户端分区，优点是分区逻辑可控，缺点是需要客户端处理数据路由、高可用、故障转移等。

2、代理方案，优点是简化客户端逻辑和升级，缺点是加重架构复杂性和性能损耗。

Redis Cluster是官方提供的分布式解决方案，从3.0版本正式推出，和以上两种方案都不太一样，采用了虚拟槽分区，分区方式采用了hash分区，它并没有使用一致性hash（增减节点会导致部分数据无法命中，当使用少量节点时节点变化会导致影响数据映射），而是使用改进的一致性hash-虚拟槽方式分区。Redis Cluster使用了 16384 个虚拟槽，槽被分配给节点管理。

Continue reading "Redis集群水平扩展（一）"

2019-01-07

Redis数据迁移

一、AOF方式

需求：一个没有数据的redis。

清空redis数据方法

bash> echo "keys *" | redis-cli --raw -p 6378 |sed -r 's/(.*)/redis-cli --raw -p 6378 del \1 /g' |bash

1	bash> echo "keys " \| redis-cli --raw -p 6378 \|sed -r 's/(.)/redis-cli --raw -p 6378 del \1 /g' \|bash

Continue reading "Redis数据迁移"

2018-12-202019-04-02

ElasticSearch数据迁移

使用 https://github.com/taskrabbit/elasticsearch-dump

安装 npm后使用 npm install elasticdump -g安装。

使用参考：

ES=http://search-es-0.search-es.app.svc.cluster.local:9200
ED=http://es-0.es.infra.svc.cluster.local:9200

for index in `curl -s -XGET $ES/_cat/indices?h=i`
do
    # settings, analyzer, data, mapping, alias, template
    echo "elasticdump --input=$ES/$index --output=$ED/$index"
    elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=settings --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'
    elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=analyzer --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'
    elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=alias --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'
    elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=template --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'
    elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=mapping --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'
    elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=data --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'
    echo ""
done

ES=http://search-es-0.search-es.app.svc.cluster.local:9200

ED=http://es-0.es.infra.svc.cluster.local:9200

for index in `curl -s -XGET $ES/_cat/indices?h=i`

# settings, analyzer, data, mapping, alias, template

echo "elasticdump --input=$ES/$index --output=$ED/$index"

elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=settings --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'

elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=analyzer --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'

elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=alias --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'

elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=template --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'

elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=mapping --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'

elasticdump --input=$ES/$index --output=$ED/$index --limit=10000 --type=data --searchBody '{"query": { "match_all": {} }, "stored_fields": ["*"], "_source": true }'

echo ""

done

Continue reading "ElasticSearch数据迁移"