golang 性能优化之累加哈希

不少时候性能问题老是发生在一些不起眼的地方。最近作一个性能问题分析的时候发现，一个函数里面使用因为字符串拼接产生的临时字符串致使内存上涨了40%（120G 内存的机器），而这些临时字符串给 GC 也带来了很是大的负担，成为主要的性能瓶颈，而这些字符串做为 map 的 key，又必需要拼接，因此想到了直接使用 hash 后的值做为 map 的 key，而这个 hash 值使用累加 hash 计算得出。

所谓累加 hash，就是对字符串的 hash 能够分为任意多段，对每一段连续 hash，结果累加，对于任意一种分段方式，最后能获得一致的 hash 结果，好比：H.hash("hello world"), H.hash("hello").hash(" ").hash("world"), H.hash("hello wo").hash("rld)" 这些结果最后都应该是一致的，利用这个特性，就能作到对多个字符串哈希而不用拼接

BKDR hash 实现

type StringHasherBKDR uint64

// NewStringHasherBKDR 建立一个新的 Hasher
func NewStringHasherBKDR() StringHasherBKDR {
    return StringHasherBKDR(0)
}

// AddStr 增长一个字符串
func (bkdr StringHasherBKDR) AddStr(str string) StringHasherBKDR {
    val := uint64(bkdr)
    for i := 0; i < len(str); i++ {
        val = val*131 + uint64(str[i])
    }
    return StringHasherBKDR(val)
}

// AddInt 添加一个 int 值
func (bkdr StringHasherBKDR) AddInt(i uint64) StringHasherBKDR {
    val := uint64(bkdr)
    val = val*131 + i
    return StringHasherBKDR(val)
}

// Val 转成 uint64 的值
func (bkdr StringHasherBKDR) Val() uint64 {
    return uint64(bkdr)
}

使用上也很简单

hasher := NewStringHasherBKDR()
So(hasher.AddStr("hello world").Val(), ShouldEqual, hasher.AddStr("hello").AddStr(" ").AddStr("world").Val())

参考连接

• 代码地址: https://github.com/hatlonely/easygolang/blob/master/hashopt/

转载请注明出处
本文连接：http://www.hatlonely.com/2018/04/12/golang-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E4%B9%8B%E7%B4%AF%E5%8A%A0%E5%93%88%E5%B8%8C/