目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等。想象一下，给你一张草稿纸，一只笔，一个编辑器，你能立即实现一颗红黑树，或者AVL树出来吗？ 很难吧，这需要时间，要考虑很多细节，要参考一堆算法与数据结构之类的树，还要参考网上的代码，相当麻烦。用跳表吧，跳表是一种随机化的数据结构，目前开源软件 Redis 和 LevelDB 都有用到它，它的效率和红黑树以及 AVL 树不相上下，但跳表的原理相当简单，只要你能熟练操作链表，就能轻松实现一个 SkipList。 Continue reading "SkipList跳表"
最近对于注重性能的应用程序,我们有了一种能显著提高程序性能的选择:多线程.线程的概念实际上已经存在了很长时间.在过去,多数计算机只有一个处理器,线程主要用于将一个大的任务拆分成一系列更小的执行单元.以使得当其中某些执行单元因为等待资源而被阻塞的时候剩余的执行单元能继续执行。举个示例,一个网络应用程序,它监听一个TCP端口,当有外部请求到达时,处理请求.对于一个单线程的应用程序来说,只能在处理完一个请求之后再处理另外的请求,显然这个应用程序对用户非常不友好,它为一个用户服务的时候别的用户就只能干等.而对于多线程解决方案,我们可以让另外的线程来处理接收到的请求,主线程继续等待在服务端口上接受新的请求.
在只有一个处理器的机器上,一个多线程应用程序可能无法达到我们对它的预期.因为所有的线程都要争抢处理器以获得执行机会.而它的性能说不定比一个用单线程方式去解决同样问题的程序还要差,因为线程之间的通讯和数据共享也有不小的开销.
而在一个对称多处理器机器上(SMP),一个多线程应用可以真正的实现多任务并行执行.每个线程都可以拥有单独的处理器以获得执行的机会,不需要再像单处理器一样,必须要等到处理器空闲才能获得执行机会.对一个有N个处理器的SMP系统来说,理论上一个N线程的应用程序只需要它的单线程版本的1/N的时间就可以完成相同的任务(实际上这个理论值是无法达到的,因为线程之间的通讯和数据共享有不小的开销).
SMP的机器在过去是非常昂贵的,只有一些大公司和组织才能负担得起.而现今,多核心处理器已经相当廉价(现今市场上的pc处理器至少都拥有一个以上的核心),所以让应用程序并行化以提高性能现在已经变得非常流行.
但是编写多线程应用程序显然不是一件简单的事.线程之间需要共享数据,互相通信,很快你就会发现又要面对以前就遇到过的老问题:死锁, 对共享数据的非法访问,多线程动态分配/释放内存等.如果你足够幸运,参与到一个对性能有极高要求的项目中,你将会遇到更多导致性能不达标的问题:
本文主要介绍一种基于数组实现的无锁队列用于解决上述三个性能问题,特别是动态内存分配,因为此无锁队列最初的设计目的就是为了解决这个问题. Continue reading "基于循环数组的无锁队列"
算法的精髓在于，跟它一比高数也显得那么生动活泼…。本文由啊哈磊吐槽而成，话说我还是头一次见到这么萌的变量，简直颠覆我对变量这个兵种、对算法这个种族的传统观念。。 Continue reading "坐在马桶上看算法：快速排序"
我们都是知道在ES6以前，var关键字声明变量。无论声明在何处，都会被视为声明在函数的最顶部(不在函数内即在全局作用域的最顶部)。这就是函数变量提升例如:
|
1 2 3 4 5 6 7 |
function aa() { if(bool) { var test = 'hello man' } else { console.log(test) } } |
LRU（Least recently used，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。
最常见的实现是使用一个链表保存缓存数据，详细算法实现如下：
1. 新数据插入到链表头部；
2. 每当缓存命中（即缓存数据被访问），则将数据移到链表头部；
3. 当链表满的时候，将链表尾部的数据丢弃。 Continue reading "缓存淘汰算法 - LRU"
在了解一致性哈希算法之前，最好先了解一下缓存中的一个应用场景，了解了这个应用场景之后，再来理解一致性哈希算法，就容易多了，也更能体现出一致性哈希算法的优点，那么，我们先来描述一下这个经典的分布式缓存的应用场景。
gf框架提供了几个非常实用的并发安全容器，其中gmap就是项目开发中最常用的一个。
gmap具体的方法请参考godoc：https://godoc.org/github.com/johng-cn/gf/g/container/gmap
gmap内部有多个类型结构体定义，包括：IntBoolMap、IntIntMap、IntInterfaceMap、IntStringMap、InterfaceInterfaceMap、StringBoolMap、StringIntMap、StringInterfaceMap、StringStringMap、UintInterfaceMap。
从执行效率上考虑，基于不同的需求场景，选择合适的类型结构体，其执行效率是不一样的，以下使用基准测试来对比各个类型的写入性能(测试代码)：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
john@johnstation:~/Workspace/Go/GOPATH/src/gitee.com/johng/gf/g/container/gmap$ go test gmap_test.go -bench=".*" goos: linux goarch: amd64 BenchmarkIntBoolMap_Set-8 10000000 171 ns/op BenchmarkIntIntMap_Set-8 10000000 181 ns/op BenchmarkIntInterfaceMap_Set-8 10000000 227 ns/op BenchmarkIntStringMap_Set-8 10000000 271 ns/op BenchmarkInterfaceInterfaceMap_Set-8 5000000 331 ns/op BenchmarkStringBoolMap_Set-8 5000000 271 ns/op BenchmarkStringIntMap_Set-8 5000000 300 ns/op BenchmarkStringInterfaceMap_Set-8 5000000 363 ns/op BenchmarkStringStringMap_Set-8 5000000 394 ns/op BenchmarkUintInterfaceMap_Set-8 10000000 275 ns/op PASS ok command-line-arguments 37.024s |
项目地址：https://gitee.com/johng/gkvdb
距离在开源中国发布的gkvdb v1.81已经过去了近3个月，在这三个月中gkvdb也变得越来越成熟稳定，本次发布最大的两点在于gkvdb的性能改进以及高可用特性。
其中，性能改进主要是针对于gf框架改进的一些对应的协调改进工作，以及将同步机制从定时同步调整为使用golang的channel实现的实时同步，提高了同步的效率。
高可用特性保证了在任何的情况下，只要API调用成功，那么这条数据即是成功，处理结果在任何异常情况下也不会发生改变，该特性使得gkvdb可以被推广使用到更复杂的生产环境中，保证写入数据的稳定可靠。特别是，gkvdb经过了严格的并发安全测试，在高并发的环境下也表现得非常出色。
自己的博客，本次发布信息也就这些吧。
gf框架针对常用的数据格式编码解析，提供了异常强大灵活的功能，由gparser包提供，支持Go变量(interface{})、Struct、JSON、XML、YAML/YML、TOML数据格式之间的相互转换，支持按照层级进行数据检索访问、支持运行时动态新增/修改/删除层级变量(并发安全)等特性。gparser包使得对于未知数据结构、多维数组结构的访问、操作变得异常的简便。
Continue reading "gf框架之gparser - 强大灵活的数据格式编码/解析包"
gf提供了非常强大易用的数据校验功能，通过gvalid包提供，封装了40种常用的校验规则，支持单数据多规则校验、多数据多规则批量校验、自定义错误信息、自定义正则校验等特性。由于gf是模块化、低耦合设计，gvalid包也可以在项目中单独引入使用。
使用方式：
|
1 |
import "gitee.com/johng/gf/g/util/gvalid" |