本节我们要学习一些 Go 语言的魔法功能,通过内置的 unsafe 包提供的功能,直接操纵指定内存地址的内存。有了 unsafe 包,我们就可以洞悉 Go 语言内置数据结构的内部细节。

unsafe.Pointer

Pointer 代表着变量的内存地址,可以将任意变量的地址转换成 Pointer 类型,也可以将 Pointer 类型转换成任意的指针类型,它是不同指针类型之间互转的中间类型。Pointer 本身也是一个整型的值。

  1. type Pointer int

第 14 课 —— 魔术变性指针 - 图1

在 Go 语言里不同类型之间的转换是要受限的。普通的基础变量转换成不同的类型需要进行内存浅拷贝,而指针变量类型之间是禁止直接转换的。要打破这个限制,unsafe.Pointer 就可以派上用场,它允许任意指针类型的互转。

指针的加减运算

Pointer 虽然是整型的,但是编译器禁止它直接进行加减运算。如果要进行运算,需要将 Pointer 类型转换 uintptr 类型进行加减,然后再将 uintptr 转换成 Pointer 类型。uintptr 其实也是一个整型。

  1. type uintptr int

第 14 课 —— 魔术变性指针 - 图2

下面让我们就来尝试一下刚刚学到的魔法

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. type Rect struct {
  5. Width int
  6. Height int
  7. }
  8. func main() {
  9. var r = Rect {50, 50}
  10. // *Rect => Pointer => *int => int
  11. var width = *(*int)(unsafe.Pointer(&r))
  12. // *Rect => Pointer => uintptr => Pointer => *int => int
  13. var height = *(*int)(unsafe.Pointer(uintptr(unsafe.Pointer(&r)) + uintptr(8)))
  14. fmt.Println(width, height)
  15. }
  16. ------
  17. 50 50

上面的代码是用 unsafe 包来读取结构体的内容,形式上比较繁琐,注意看代码中的注释,读者需要稍微转一转脑袋来理解一下上面的代码。接下来我们再尝试修改结构体的值

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. type Rect struct {
  5. Width int
  6. Height int
  7. }
  8. func main() {
  9. var r = Rect {50, 50}
  10. // var pw *int
  11. var pw = (*int)(unsafe.Pointer(&r))
  12. // var ph *int
  13. var ph = (*int)(unsafe.Pointer(uintptr(unsafe.Pointer(&r)) + uintptr(8)))
  14. *pw = 100
  15. *ph = 100
  16. fmt.Println(r.Width, r.Height)
  17. }
  18. --------
  19. 100 100

代码中的 uintptr(8) 很不优雅,可以使用 unsafe 提供了 Offsetof 方法来替换它,它可以直接得到字段在结构体内的偏移量

  1. var ph = (*int)(unsafe.Pointer(uintptr(unsafe.Pointer(&r)) + unsafe.Offsetof(r.Height))

你也许会抱怨为啥指针操作这么繁琐,不能简单一点么?Go 语言的设计者故意这样设计的,因为指针操作非常的不安全,所以它要给用户设置障碍。

探索切片内部结构

在切片小节,我们知道了切片分为切片头和内部数组两部分,下面我们使用 unsafe 包来验证一下切片的内部数据结构,看看它和我们预期的是否一样。

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. func main() {
  5. // head = {address, 10, 10}
  6. // body = [1,2,3,4,5,6,7,8,9,10]
  7. var s = []int{1,2,3,4,5,6,7,8,9,10}
  8. var address = (**[10]int)(unsafe.Pointer(&s))
  9. var len = (*int)(unsafe.Pointer(uintptr(unsafe.Pointer(&s)) + uintptr(8)))
  10. var cap = (*int)(unsafe.Pointer(uintptr(unsafe.Pointer(&s)) + uintptr(16)))
  11. fmt.Println(address, *len, *cap)
  12. var body = **address
  13. for i:=0; i< len(body); i++ {
  14. fmt.Printf("%d ", body[i])
  15. }
  16. }
  17. ------------------
  18. 0xc42000a080 10 10
  19. 1 2 3 4 5 6 7 8 9 10

输出的结果正是我们锁期望的,不过读者需要仔细思考一下 address 为什么是二级指针变量。

第 14 课 —— 魔术变性指针 - 图3

字符串与字节切片的高效转换

在字符串小节我们提到字节切片和字符串之间的转换需要复制内存,如果字符串或者字节切片的长度较大,转换起来会有较高的成本。下面我们通过 unsafe 包提供另一种高效的转换方法,让转换前后的字符串和字节切片共享内部存储。

第 14 课 —— 魔术变性指针 - 图4

字符串和字节切片的不同点在于头部,字符串的头部 2 个 int 字节,切片的头部 3 个 int 字节

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. func main() {
  5. fmt.Println(bytes2str(str2bytes("hello")))
  6. }
  7. func str2bytes(s string) []byte {
  8. var strhead = *(*[2]int)(unsafe.Pointer(&s))
  9. var slicehead [3]int
  10. slicehead[0] = strhead[0]
  11. slicehead[1] = strhead[1]
  12. slicehead[2] = strhead[1]
  13. return *(*[]byte)(unsafe.Pointer(&slicehead))
  14. }
  15. func bytes2str(bs []byte) string {
  16. return *(*string)(unsafe.Pointer(&bs))
  17. }
  18. -----
  19. hello

切记通过这种形式转换而成的字节切片千万不可以修改,因为它的底层字节数组是共享的,修改会破坏字符串的只读规则。其次使用这种形式得到的字符串或者切片只可以用作临时的局部变量,因为被共享的字节数组随时可能会被回收,原字符串或者字节切片的内存由于不再被引用,让垃圾回收器解决掉了。

深入接口变量的赋值

在接口变量的小节,有一个问题还悬而未决,那就是接口变量在赋值时发生了什么?

第 14 课 —— 魔术变性指针 - 图5

通过 unsafe 包,我们就可以看清里面的细节,下面我们将一个结构体变量赋值给接口变量,看看修改结构体的内存会不会影响到接口变量的数据内存

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. type Rect struct {
  5. Width int
  6. Height int
  7. }
  8. func main() {
  9. var r = Rect{50, 50}
  10. // {typeptr, dataptr}
  11. var s interface{} = r
  12. var sptrs = *(*[2]*Rect)(unsafe.Pointer(&s))
  13. // var dataptr *Rect
  14. var sdataptr = sptrs[1]
  15. fmt.Println(sdataptr.Width, sdataptr.Height)
  16. // 修改原对象,看看接口指向的对象是否受到影响
  17. r.Width = 100
  18. fmt.Println(sdataptr.Width, sdataptr.Height)
  19. }
  20. -------
  21. 50 50
  22. 50 50

从输出中可以得出结论,将结构体变量赋值给接口变量,结构体内存会被复制。那如果是两个接口变量之间的赋值呢,会不会同样也需要复制指向的数据呢?

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. type Rect struct {
  5. Width int
  6. Height int
  7. }
  8. func main() {
  9. // {typeptr, dataptr}
  10. var s interface{} = Rect{50, 50}
  11. var r = s
  12. var rptrs = *(*[2]*Rect)(unsafe.Pointer(&r))
  13. var rdataptr = rptrs[1]
  14. var sptrs = *(*[2]*Rect)(unsafe.Pointer(&s))
  15. var sdataptr = sptrs[1]
  16. fmt.Println(sdataptr.Width, sdataptr.Height)
  17. fmt.Println(rdataptr.Width, rdataptr.Height)
  18. // 修改原对象
  19. sdataptr.Width = 100
  20. // 再对比一下原对象和目标对象
  21. fmt.Println(sdataptr.Width, sdataptr.Height)
  22. fmt.Println(rdataptr.Width, rdataptr.Height)
  23. }
  24. -----------
  25. 50 50
  26. 50 50
  27. 100 50
  28. 100 50

从输出中可以发现赋值前后两个接口变量共享了数据内存,没有发生数据的复制。接下来我们再引入第 3 个问题,不同类型的接口变量赋值会不会发生复制?

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. type Areable interface {
  5. Area() int
  6. }
  7. type Rect struct {
  8. Width int
  9. Height int
  10. }
  11. func (r Rect) Area() int {
  12. return r.Width * r.Height
  13. }
  14. func main() {
  15. // {typeptr, dataptr}
  16. var s Areable = Rect{50, 50}
  17. var r interface{} = s
  18. var rptrs = *(*[2]*Rect)(unsafe.Pointer(&r))
  19. var rdataptr = rptrs[1]
  20. var sptrs = *(*[2]*Rect)(unsafe.Pointer(&s))
  21. var sdataptr = sptrs[1]
  22. fmt.Println(sdataptr.Width, sdataptr.Height)
  23. fmt.Println(rdataptr.Width, rdataptr.Height)
  24. // 修改原对象
  25. sdataptr.Width = 100
  26. // 再对比一下原对象和目标对象
  27. fmt.Println(sdataptr.Width, sdataptr.Height)
  28. fmt.Println(rdataptr.Width, rdataptr.Height)
  29. }
  30. ------
  31. 50 50
  32. 50 50
  33. 100 50
  34. 100 50

结果是不同类型接口之间赋值指向的数据对象还是共享的。接下来我们再引入第 4 个 问题,接口类型之间在造型时是否会发生内存的复制。

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. type Areable interface {
  5. Area() int
  6. }
  7. type Rect struct {
  8. Width int
  9. Height int
  10. }
  11. func (r Rect) Area() int {
  12. return r.Width * r.Height
  13. }
  14. func main() {
  15. // {typeptr, dataptr}
  16. var s interface{} = Rect{50, 50}
  17. var r Areable = s.(Areable)
  18. var rptrs = *(*[2]*Rect)(unsafe.Pointer(&r))
  19. var rdataptr = rptrs[1]
  20. var sptrs = *(*[2]*Rect)(unsafe.Pointer(&s))
  21. var sdataptr = sptrs[1]
  22. fmt.Println(sdataptr.Width, sdataptr.Height)
  23. fmt.Println(rdataptr.Width, rdataptr.Height)
  24. // 修改原对象
  25. sdataptr.Width = 100
  26. // 再对比一下原对象和目标对象
  27. fmt.Println(sdataptr.Width, sdataptr.Height)
  28. fmt.Println(rdataptr.Width, rdataptr.Height)
  29. }
  30. ------
  31. 50 50
  32. 50 50
  33. 100 50
  34. 100 50

答案是不同接口类型之间造型数据还是共享的。最后再提一个问题,将接口类型造型成结构体类型,是否会发生内存复制?

  1. package main
  2. import "fmt"
  3. import "unsafe"
  4. type Areable interface {
  5. Area() int
  6. }
  7. type Rect struct {
  8. Width int
  9. Height int
  10. }
  11. func (r Rect) Area() int {
  12. return r.Width * r.Height
  13. }
  14. func main() {
  15. // {typeptr, dataptr}
  16. var s interface{} = Rect{50, 50}
  17. var r Rect = s.(Rect)
  18. var sptrs = *(*[2]*Rect)(unsafe.Pointer(&s))
  19. var sdataptr = sptrs[1]
  20. // 修改原对象
  21. sdataptr.Width = 100
  22. // 再对比一下原对象和目标对象
  23. fmt.Println(sdataptr.Width, sdataptr.Height)
  24. fmt.Println(r.Width, r.Height)
  25. }

答案是将接口造型成结构体类型,内存会发生复制,它们之间的数据不会共享。

从上面 5 个 问题,我们可以得出结论,接口类型和结构体类型似乎是两个不同的世界。只有接口类型之间的赋值和转换会共享数据,其它情况都会复制数据,其它情况包括结构体之间的赋值,结构体转接口,接口转结构体。不同接口变量之间的转换本质上只是调整了接口变量内部的类型指针,数据指针并不会发生改变。

通过 unsafe 包我们还可以分析很多细节,在高级内容部分,我们将会频繁使用这个工具。

第 14 课 —— 魔术变性指针 - 图6

阅读更多精品文章,微信扫一扫上面的二维码关注公众号「码洞」