时间:2021-05-23
1 概述
Go语言的字符串是使用 UTF-8 编码的。UTF-8 是 Unicode 的实现方式之一。本文内容包括:UTF-8 和 Unicode 的关系,Go语言提供的 unicode 包和 unicode/utf8 包的使用。
下面话不多说了,来一起看看详细的介绍吧
2 UTF-8 和 Unicode 的关系
Unicode一种字符集,是国际标谁化组织(ISO)设计的一个包括了地球上所有文化、所有字母和符号 的编码。他们叫它 Universal Multiple-Octet Coded Character Set,简称 UCS,也就是 Unicode。Unicode 为每一个 字符 分配一个唯一的 码点(Code Point),就是一个唯一的值。例如 康 的码点就是 24247,十六进制为 5eb7。
Unicode 字符集仅仅定义了字符与码点的对应关系,但是并没有定义该如何编码(存储)这个码值,这就导致了很多问题。例如由于字符的码值不同,导致所需要的存储空间是不一致的,计算机不能确定接下来的字符是占用几个字节。还有就是如果采用固定的长度假设都是4个字节来存储码点值,那么会导致空间的额外浪费,因为 ascii 码字符其实仅仅需要一个字节的空间。
UTF-8 就是解决如何为 Unicode 编码而设计的一种编码规则。可以说 UTF-8 是 Unicode 的实现方式之一。其特点是一种变长编码,使用1到4个字节表示一个字符,根据不同的符号而变化长度。UTF-8 的编码规则有二:
以下是编码规则:
Unicode | UTF-8--------------------------------------------------------- 0000 0000-0000 007F | 0xxxxxxx0000 0080-0000 07FF | 110xxxxx 10xxxxxx0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx---------------------------------------------------------Go语言中,对于 Unicode 和 UTF-8 使用了 unicode 和 unicode/utf8 包来实现,下面是阅读 API 的总结和说明。
3 Unicode 包
Go语言中,提供了 Unicode 包,处理与 Unicode 相关的操作,整理如下:
Is(rangeTab *RangeTable, r rune) bool
检测 rune r 是否在 rangeTable 指定的字符范围内。
rangeTable 一个 Unicode 码值集合,通常使用 unicode 包中定义的集合。
判断字符是否出现在汉字集合中:
In(r rune, ranges …*RangeTable) bool
检测 rune r 是否在多个 rangeTable 指定的字符范围内。
rangeTable 一个 Unicode 码值集合,通常使用 unicode 包中定义的集合。
unicode.In('康', unicode.Scripts["Han"], unicode.Scripts["Latin"])// 返回 trueunicode.In('k', unicode.Scripts["Han"], unicode.Scripts["Latin"])// 返回 trueIsOneOf(ranges []*RangeTable, r rune) bool
检测 rune r 是否在 rangeTable ranges 指定的字符范围内。与 In 功能类似,推荐使用 In。
IsSpace(r rune) bool
检测字符 rune r 是否是空白字符。在Latin-1字符空间中,空白字符为:
'\t', '\n', '\v', '\f', '\r', ' ', U+0085 (NEL), U+00A0 (NBSP)其它的空白字符请参见策略Z和属性Pattern_White_Space。
IsDigit(r rune) bool
检测字符 rune r 是否是十进制数字字符。
unicode.IsDigit('9')// 返回 trueunicode.IsDigit('k')// 返回 falseIsNumber(r rune) bool
检测字符 rune r 是否是 Unicode 数字字符。
IsLetter(r rune) bool
检测一个字符 rune r 是否是字母
unicode.IsLetter('9')// 返回 falseunicode.IsLetter('k')// 返回 trueIsGraphic(r rune) bool
一个字符 rune r 是否是 unicode 图形字符。图形字符包括字母、标记、数字、符号、标点、空白。
unicode.IsGraphic('9')// 返回 trueunicode.IsGraphic(',')// 返回 trueIsControl(r rune) bool
检测一个字符 rune r 是否是 unicode 控制字符。
IsMark(r rune) bool
检测一个字符 rune r 是否是标记字符。
IsPrint(r rune) bool
检测一个字符 rune r 是否是的可打印字符,基本与图形字符一致,除ASCII空白字符U+0020。
IsPunct(r rune) bool
检测一个字符 rune r 是否是 unicode标点字符。
unicode.IsPunct('9')// 返回 falseunicode.IsPunct(',')// 返回 trueIsSymbol(r rune) bool
检测一个字符 rune r 是否是 unicode 符号字符。
IsLower(r rune) bool
检测一个字符 rune r 是否是小写字母。
unicode.IsLower('h')// 返回 trueunicode.IsLower('H')// 返回 falseIsUpper(r rune) bool
检测一个字符 rune r 是否是大写字母。
unicode.IsUpper('h')// 返回 falseunicode.IsUpper('H')// 返回 trueIsTitle(r rune) bool
检测一个字符 rune r 是否是Title字符。大部分字符的 Title 格式就是其大写格式,少数字符的 Title 格式是特殊字符,例如 ᾏᾟᾯ。
unicode.IsTitle('ᾯ')// 返回 trueunicode.IsTitle('h')// 返回 falseunicode.IsTitle('H')// 返回 trueTo(_case int, r rune) rune
将字符 rune r 转换为指定的格式,格式_case支持:unicode.UpperCase、unicode.LowerCase、unicode.TitleCase
unicode.To(unicode.UpperCase, 'h')// 返回 HToLower(r rune) rune
将字符 rune r 转换为小写。
unicode.ToLower('H')// 返回 hfunc (SpecialCase) ToLower
将字符 rune r 转换为小写。优先使用映射表 SpecialCase。
映射表 SpecialCase 是特定语言环境下大小写的映射表。主要应用于一些欧洲字符,例如土耳其 TurkishCase。
unicode.TurkishCase.ToLower('İ')// 返回 iToUpper(r rune) rune
将字符 rune r 转换为大写。
unicode.ToUpper('h')// 返回 Hfunc (SpecialCase) ToUpper
将字符 rune r 转换为大写。优先使用映射表 SpecialCase。
映射表 SpecialCase 是特定语言环境下大小写的映射表。主要应用于一些欧洲字符,例如土耳其 TurkishCase。
unicode.TurkishCase.ToUpper('i')// 返回 İToTitle(r rune) rune
将字符 rune r 转换为 Title 字符。
unicode.ToTitle('h')// 返回 Hfunc (SpecialCase) ToTitle
将字符 rune r 转换为 Title 字符。优先使用映射表 SpecialCase。
映射表 SpecialCase 是特定语言环境下大小写的映射表。主要应用于一些欧洲字符,例如土耳其 TurkishCase。
unicode.TurkishCase.ToTitle('i')// 返回 İSimpleFold(r rune) rune
在 unicode 标准字符映射中查找与 rune r 互相对应的 unicode 码值。向码值大的方向循环查找。互相对应指的是同一个字符可能出现的多种写法。
unicode.SimpleFold('H')// 返回 hunicode.SimpleFold('Φ')) // 返回 φ4 unicode/utf8 包
DecodeLastRune(p []byte) (r rune, size int)
解码 []byte p 中最后一个 UTF-8 编码序列,返回该码值和长度。
utf8.DecodeLastRune([]byte("小韩说课"))// 返回 35838 3// 35838 就是课的 unicode 码值DecodeLastRuneInString(s string) (r rune, size int)
解码 string s 中最后一个 UTF-8 编码序列,返回该码值和长度。
utf8.DecodeLastRuneInString("小韩说课")// 返回 35838 3// 35838 就是课的 unicode 码值DecodeRune(p []byte) (r rune, size int)
解码 []byte p 中第一个 UTF-8 编码序列,返回该码值和长度。
utf8.DecodeRune([]byte("小韩说课"))// 返回 23567 3// 23567 就是 小 的 unicode 码值DecodeRuneInString(s string) (r rune, size int)
解码 string s 中第一个 UTF-8 编码序列,返回该码值和长度。
utf8.DecodeRuneInString("小韩说课")// 返回 23567 3// 23567 就是 小 的 unicode 码值EncodeRune(p []byte, r rune) int
将 rune r 的 UTF-8 编码序列写入 []byte p,并返回写入的字节数。p 满足足够的长度。
buf := make([]byte, 3)n := utf8.EncodeRune(buf, '康')fmt.Println(buf, n)// 输出 [229 186 183] 3FullRune(p []byte) bool
检测 []byte p 是否包含一个完整 UTF-8 编码。
buf := []byte{229, 186, 183} // 康utf8.FullRune(buf)// 返回 trueutf8.FullRune(buf[:2])// 返回 falseFullRuneInString(s string) bool
检测 string s 是否包含一个完整 UTF-8 编码。
buf := "康" // 康utf8.FullRuneInString(buf)// 返回 trueutf8.FullRuneInString(buf[:2])// 返回 falseRuneCount(p []byte) int
返回 []byte p 中的 UTF-8 编码的码值的个数。
buf := []byte("小韩说课")len(buf)// 返回 12utf8.RuneCount(buf)// 返回 4RuneCountInString(s string) (n int)
返回 string s 中的 UTF-8 编码的码值的个数。
buf := "小韩说课"len(buf)// 返回 12utf8.RuneCountInString(buf)// 返回 4RuneLen(r rune) int
返回 rune r 编码后的字节数。
utf8.RuneLen('康')// 返回 3utf8.RuneLen('H')// 返回 1RuneStart(b byte) bool
检测字节 byte b 是否可以作为某个 rune 编码的第一个字节。
buf := "小韩说课"utf8.RuneStart(buf[0])// 返回 trueutf8.RuneStart(buf[1])// 返回 falseutf8.RuneStart(buf[3])// 返回 trueValid(p []byte) bool
检测切片 []byte p 是否包含完整且合法的 UTF-8 编码序列。
valid := []byte("小韩说课")invalid := []byte{0xff, 0xfe, 0xfd}utf8.Valid(valid)// 返回 trueutf8.Valid(invalid)// 返回 falseValidRune(r rune) bool
检测字符 rune r 是否包含完整且合法的 UTF-8 编码序列。
valid := 'a'invalid := rune(0xfffffff)fmt.Println(utf8.ValidRune(valid))// 返回 truefmt.Println(utf8.ValidRune(invalid))// 返回 falseValidString(s string) bool
检测字符串 string s 是否包含完整且合法的 UTF-8 编码序列。
valid := "小韩说课"invalid := string([]byte{0xff, 0xfe, 0xfd})fmt.Println(utf8.ValidString(valid))// 返回 truefmt.Println(utf8.ValidString(invalid))// 返回 false完!
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对的支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
准确地讲,Python没有专门处理字节的数据类型。但由于str既是字符串,又可以表示字节,所以,字节数组=str。而在C语言中,我们可以很方便地用struct、
前言众所周知在java或php等很多面向对象的语言中,异常处理是依靠throw、catch来进行的。在go语言中,panic和recover函数在作用层面分别对
详解C++中String类模拟实现以及深拷贝浅拷贝在C语言中/C++中,字符串是一个应用很广泛的类型,也是很基础的类型,C语言并没有直接处理字符串的操作而是采用
1.单字节字符串反转php提供了用于字符串反转的函数strrev()$str='abcdef';echostrrev($str);2.对于包含中文的多字节字符串
前言在所有编程语言中都涉及到大量的字符串操作,可见熟悉对字符串的操作是何等重要。本文通过示例详细介绍了Go语言实现字符串切片赋值的方法,感兴趣的朋友们跟着小编一