二进制,字符串和字符列表

  1. 1. UTF-8Unicode
  2. 2. 二进制数(和位串)
  3. 3. 字符列表

在“基本类型”一章,我们学会使用is_binary/1函数来检查字符串:

  1. iex> string = "hello"
  2. "hello"
  3. iex> is_binary(string)
  4. true

本章,我们将介绍什么是二进制数,它们是如何与字符串相联系的,还有单引号的值,like this,在Elixir中代表什么。

UTF-8和Unicode

一个字符串是一段UTF-8编码的二进制数。为了理解它们,我们首先需要明白字节与代码点的区别。

Unicode标准将代码点赋值给许多我们熟知的字符。例如,字母a拥有代码点97,字母ł拥有代码点322。当将字符串"hełło"写入磁盘时,我们需要将代码点转换为字节。如果我们遵守一个字节代表一个代码点的规则,那么我们就不能写入"hełło",因为ł的代码点是322,而一个字节只能表示0255的数字。但我们总有办法表示"hełło",这就是编码在发挥作用。

当用字节来表示代码点时,我们需要对它们进行编码。Elixir选择UTF-8编码作为其主要和默认的编码。当我们说一个字符串是UTF-8编码的二进制数,那意味着它是一串通过UTF-8编码来代表特定代码点的字节。

我们需要不止一个字节来代表例如ł322这样的代码点。这就是byte_size/1String.length/1返回值不同的原因:

  1. iex> string = "hełło"
  2. "hełło"
  3. iex> byte_size(string)
  4. 7
  5. iex> String.length(string)
  6. 5

UTF-8要求以一个字节来表示heo的代码点,以两个字节表示ł的。在Elixir中,你可以通过?来得到代码点的值:

  1. iex> ?a
  2. 97
  3. iex>
  4. 322

你也可以使用String模块中的函数来依照代码点分割一个字符串:

  1. iex> String.codepoints("hełło")
  2. ["h", "e", "ł", "ł", "o"]

你会发现Elixir对于字符串操作有着良好的支持。事实上,Elixir将所有测试内容放到了文章“字符串类型崩溃了”中。

然而,字符串只是故事的一部分。我们通过is_binary/1得知字符串是二进制数,所以Elixir一定是以一种底层类型控制着字符串。让我们来讨论一下二进制数!

二进制数(和位串)

在Elixir中,你可以用<<>>来定义二进制数:

  1. iex> <<0, 1, 2, 3>>
  2. <<0, 1, 2, 3>>
  3. iex> byte_size(<<0, 1, 2, 3>>)
  4. 4

一个二进制数只不过是连续的字节。这些字节可以以任何形式组合,即使不形成一个合法的字符串:

  1. iex> String.valid?(<<239, 191, 191>>)
  2. false

字符串连接符实际上是二进制数连接符:

  1. iex> <<0, 1>> <> <<2, 3>>
  2. <<0, 1, 2, 3>>

Elixir中有一个技巧是将字符串与空字节<<0>>相连接,以查看字符串内部的二进制数:

  1. iex> "hełło" <> <<0>>
  2. <<104, 101, 197, 130, 197, 130, 111, 0>>

二进制数中的每个数字代表一个字节,因此上限是255.二进制数允许修改存储大小来存放大于255的数,或将代码点以utf8格式表示:

  1. iex> <<255>>
  2. <<255>>
  3. iex> <<256>> # truncated
  4. <<0>>
  5. iex> <<256 :: size(16)>> # use 16 bits (2 bytes) to store the number
  6. <<1, 0>>
  7. iex> <<256 :: utf8>> # the number is a code point
  8. "Ā"
  9. iex> <<256 :: utf8, 0>>
  10. <<196, 128, 0>>

如果一个字节有8位,那么将其传送至1位空间会发生什么?

  1. iex> <<1 :: size(1)>>
  2. <<1::size(1)>>
  3. iex> <<2 :: size(1)>> # truncated
  4. <<0::size(1)>>
  5. iex> is_binary(<< 1 :: size(1)>>)
  6. false
  7. iex> is_bitstring(<< 1 :: size(1)>>)
  8. true
  9. iex> bit_size(<< 1 :: size(1)>>)
  10. 1

其值不再是二进制数,而是位串——只是一串位!所以一个二进制数是一个位数为8的倍数的位串。

我们也可以对二进制数与位串进行模式匹配:

  1. iex> <<0, 1, x>> = <<0, 1, 2>>
  2. <<0, 1, 2>>
  3. iex> x
  4. 2
  5. iex> <<0, 1, x>> = <<0, 1, 2, 3>>
  6. ** (MatchError) no match of right hand side value: <<0, 1, 2, 3>>

注意二进制数匹配中的每个入口都期望匹配到8bit。如果我们想要匹配一个未知大小的二进制数,可以在模式的结尾使用二进制数修改器:

  1. iex> <<0, 1, x :: binary>> = <<0, 1, 2, 3>>
  2. <<0, 1, 2, 3>>
  3. iex> x
  4. <<2, 3>>

可以用字符串连接符达到类似的效果:

  1. iex> "he" <> rest = "hello"
  2. "hello"
  3. iex> rest
  4. "llo"

关于二进制数/位串构造符<<>>的完整介绍可以在Elixir文档中找到。总结一下位串,二进制数和字符串。一个字符串是一个以UTF-8格式编码的二进制数,而一个二进制数是一个位数为8的倍数的位串。尽管我们展示了Elixir处理bit位和字节的灵活性,但99%的时间你都在和二进制数打交道,并且使用is_binary/1byte_size/1函数。

字符列表

字符列表仅仅是字符的列表:

  1. iex> 'hełło'
  2. [104, 101, 322, 322, 111]
  3. iex> is_list 'hełło'
  4. true
  5. iex> 'hello'
  6. 'hello'

可以看出,一个字符列表包含了单引号间的字符的代码点,而非字节(注意如果某个字符超出了ASCII的范围,IEx将只输出其代码点)。所以双引号代表一个字符串(二进制数),单引号代表一个字符列表(列表)。

在实践中,字符列表通常用于与Erlang的接口,因为一些旧的库不接受二进制数作为参数。你可以使用to_string/1to_char_list/1函数来相互转化字符列表和字符串:

  1. iex> to_char_list "hełło"
  2. [104, 101, 322, 322, 111]
  3. iex> to_string 'hełło'
  4. "hełło"
  5. iex> to_string :hello
  6. "hello"
  7. iex> to_string 1
  8. "1"

注意这些函数是多态的。它们不仅能将字符列表转换成字符串,也能将整数,原子等转换成字符串。

介绍完二进制数,字符串和字符列表,接下来将讨论的是键值对数据结构。