Redis系统入门【上】

本帖最后由 eying 于 2015-11-18 21:25 编辑
问题导读：

1.Redis是什么？

2.Redis数据结构是什么？

3.Redis的集合？

Redis系统入门【下】

第1章　初识Redis

本章主要内容
Redis与其他软件的相同之处和不同之处
Redis的用法
使用Python示例代码与Redis进行简单的互动
使用Redis解决实际问题

Redis是一个远程内存数据库，它不仅性能强劲，而且还具有复制特性以及为解决问题而生的独一无二的数据模型。Redis提供了5种不同类型的数据结构，各式各样的问题都可以很自然地映射到这些数据结构上：Redis的数据结构致力于帮助用户解决问题，而不会像其他数据库那样，要求用户扭曲问题来适应数据库。除此之外，通过复制、持久化（persistence）和客户端分片（client-side sharding）等特性，用户可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系统。

笔者第一次使用Redis是在一家公司里面，这家公司需要对一个保存了6万个客户联系方式的关系数据库进行搜索，搜索可以根据名字、邮件地址、所在地和电话号码来进行，每次搜索需要花费10～15秒的时间。在花了一周时间学习Redis的基础知识之后，我使用Redis重写了一个新的搜索引擎，然后又花费了数周时间来仔细测试这个新系统，使它达到生产级别，最终这个新的搜索系统不仅可以根据名字、邮件地址、所在地和电话号码等信息来过滤和排序客户联系方式，并且每次操作都可以在50毫秒之内完成，这比原来的搜索系统足足快了 200 倍。阅读本书可以让你学到很多小技巧、小窍门以及使用Redis解决某些常见问题的方法。

本章将介绍Redis的适用范围，以及在不同环境中使用Redis的方法（比如怎样跟不同的组件和编程语言进行通信等）；而之后的章节则会展示各式各样的问题，以及使用Redis来解决这些问题的方法。

现在你已经知道我是怎样开始使用Redis的了，也知道了这本书大概要讲些什么内容了，是时候更详细地介绍一下Redis，并说明为什么应该使用Redis了。

安装Redis和Python　附录A介绍了快速安装Redis和Python的方法。

在其他编程语言里面使用Redis　本书只展示了使用Python语言编写的示例代码，使用Ruby、Java和JavaScript（Node.js）编写的示例代码可以在这里找到：https://github.com/josiahcarlson/redis-in-action。使用Spring框架的读者可以通过查看http://www.springsource.org/spring-data/redis来学习如何在Spring框架中使用Redis。

1.1　Redis简介

前面对于Redis数据库的描述只说出了一部分真相。Redis是一个速度非常快的非关系数据库（non-relational database），它可以存储键（key）与5种不同类型的值（value）之间的映射（mapping），可以将存储在内存的键值对数据持久化到硬盘，可以使用复制特性来扩展读性能，还可以使用客户端分片{![分片是一种将数据划分为多个部分的方法，对数据的划分可以基于键包含的ID、基于键的散列值，或者基于以上两者的某种组合。通过对数据进行分片，用户可以将数据存储到多台机器里面，也可以从多台机器里面获取数据，这种方法在解决某些问题时可以获得线性级别的性能提升。]}来扩展写性能，接下来的几节将分别介绍Redis的这几个特性。

1.1.1　Redis与其他数据库和软件的对比

如果你熟悉关系数据库，那么你肯定写过用来关联两个表的数据的SQL查询。而Redis则属于人们常说的NoSQL数据库或者非关系数据库：Redis不使用表，它的数据库也不会预定义或者强制去要求用户对Redis存储的不同数据进行关联。

高性能键值缓存服务器memcached也经常被拿来与Redis进行比较：这两者都可用于存储键值映射，彼此的性能也相差无几，但是Redis能够自动以两种不同的方式将数据写入硬盘，并且Redis除了能存储普通的字符串键之外，还可以存储其他4种数据结构，而memcached只能存储普通的字符串键。这些不同之处使得Redis可以用于解决更为广泛的问题，并且既可以用作主数据库（primary database）使用，又可以作为其他存储系统的辅助数据库（auxiliary database）使用。

本书的后续章节会分别介绍将Redis用作主存储（primary storage）和二级存储（secondary storage）时的用法和查询模式。一般来说，许多用户只会在Redis的性能或者功能是必要的情况下，才会将数据存储到Redis里面：如果程序对性能的要求不高，又或者因为费用原因而没办法将大量数据存储到内存里面，那么用户可能会选择使用关系数据库，或者其他非关系数据库。在实际中，读者应该根据自己的需求来决定是否使用Redis，并考虑是将Redis用作主存储还是辅助存储，以及如何通过复制、持久化和事务等手段保证数据的完整性。

表1-1展示了一部分在功能上与Redis有重叠的数据库服务器和缓存服务器，从这个表可以看出Redis与这些数据库及软件之间的区别。

表1-1　一些数据库和缓存服务器的特性与功能

名称	类型	数据存储选项	查询类型	附加功能
Redis	使用内存存储（in-memory）的非关系数据库	字符串、列表、集合、散列表、有序集合	每种数据类型都有自己的专属命令，另外还有批量操作（bulk operation）和不完全（partial）的事务支持	发布与订阅，主从复制（master/slave replication），持久化，脚本（存储过程，stored procedure）
memcached	使用内存存储的键值缓存	键值之间的映射	创建命令、读取命令、更新命令、删除命令以及其他几个命令	为提升性能而设的多线程服务器
MySQL	关系数据库	每个数据库可以包含多个表，每个表可以包含多个行；可以处理多个表的视图（view）；支持空间（spatial）和第三方扩展	SELECT、 INSERT、UPDATE、 DELETE、函数、存储过程	支持ACID性质（需要使用InnoDB），主从复制和主主复制（master/master replication）
PostgreSQL	关系数据库	每个数据库可以包含多个表，每个表可以包含多个行；可以处理多个表的视图；支持空间和第三方扩展；支持可定制类型	SELECT、 INSERT、UPDATE、 DELETE、内置函数、自定义的存储过程	支持ACID性质，主从复制，由第三方支持的多主复制（multi-master replication）
MongoDB	使用硬盘存储（on-disk）的非关系文档存储	每个数据库可以包含多个表，每个表可以包含多个无schema（schema-less）的BSON文档	创建命令、读取命令、更新命令、删除命令、条件查询命令等	支持map-reduce操作，主从复制，分片，空间索引（spatial index）

1.1.2　附加特性

在使用类似Redis这样的内存数据库时，一个首先要考虑的问题就是“当服务器被关闭时，服务器存储的数据将何去何从呢？”Redis拥有两种不同形式的持久化方法，它们都可以用小而紧凑的格式将存储在内存中的数据写入硬盘：第一种持久化方法为时间点转储（point-in-time dump），转储操作既可以在“指定时间段内有指定数量的写操作执行”这一条件被满足时执行，又可以通过调用两条转储到硬盘（dump-to-disk）命令中的任何一条来执行；第二种持久化方法将所有修改了数据库的命令都写入一个只追加（append-only）文件里面，用户可以根据数据的重要程度，将只追加写入设置为从不同步（sync）、每秒同步一次或者每写入一个命令就同步一次。我们将在第4章中更加深入地讨论这些持久化选项。

另外，尽管Redis的性能很好，但受限于Redis的内存存储设计，有时候只使用一台Redis服务器可能没有办法处理所有请求。因此，为了扩展Redis的读性能，并为Redis提供故障转移（failover）支持，Redis实现了主从复制特性：执行复制的从服务器会连接上主服务器，接收主服务器发送的整个数据库的初始副本（copy）；之后主服务器执行的写命令，都会被发送给所有连接着的从服务器去执行，从而实时地更新从服务器的数据集。因为从服务器包含的数据会不断地进行更新，所以客户端可以向任意一个从服务器发送读请求，以此来避免对主服务器进行集中式的访问。我们将在第4章中更加深入地讨论Redis从服务器。

1.1.3　使用Redis的理由

有memcached使用经验的读者可能知道，用户只能用APPEND命令将数据添加到已有字符串的末尾。memcached的文档中声明，可以用APPEND命令来管理元素列表。这很好！用户可以将元素追加到一个字符串的末尾，并将那个字符串当作列表来使用。但随后如何删除这些元素呢？memcached采用的办法是通过黑名单（blacklist）来隐藏列表里面的元素，从而避免对元素执行读取、更新、写入（包括在一次数据库查询之后执行的memcached写入）等操作。相反地，Redis的LIST和SET允许用户直接添加或者删除元素。

使用Redis而不是memcached来解决问题，不仅可以让代码变得更简短、更易懂、更易维护，而且还可以使代码的运行速度更快（因为用户不需要通过读取数据库来更新数据）。除此之外，在其他许多情况下，Redis的效率和易用性也比关系数据库要好得多。

数据库的一个常见用法是存储长期的报告数据，并将这些报告数据用作固定时间范围内的聚合数据（aggregates）。收集聚合数据的常见做法是：先将各个行插入一个报告表里面，之后再通过扫描这些行来收集聚合数据，并根据收集到的聚合数据来更新聚合表中已有的那些行。之所以使用插入行的方式来存储，是因为对于大部分数据库来说，插入行操作的执行速度非常快（插入行只会在硬盘文件末尾进行写入）。不过，对表里面的行进行更新却是一个速度相当慢的操作，因为这种更新除了会引起一次随机读（random read）之外，还可能会引起一次随机写（random write）。而在Redis里面，用户可以直接使用原子的（atomic）INCR命令及其变种来计算聚合数据，并且因为Redis将数据存储在内存里面{![客观来讲，memcached也能用在这个简单的场景里，但使用Redis存储聚合数据有以下3个好处：首先，使用Redis可以将彼此相关的聚合数据放在同一个结构里面，这样访问聚合数据就会变得更为容易；其次，使用Redis可以将聚合数据放到有序集合里面，构建出一个实时的排行榜；最后，Redis的聚合数据可以是整数或者浮点数，而memcached的聚合数据只能是整数。]}，而且发送给Redis的命令请求并不需要经过典型的查询分析器（parser）或者查询优化器（optimizer）进行处理，所以对Redis存储的数据执行随机写的速度总是非常迅速的。

使用 Redis 而不是关系数据库或者其他硬盘存储数据库，可以避免写入不必要的临时数据，也免去了对临时数据进行扫描或者删除的麻烦，并最终改善程序的性能。虽然上面列举的都是一些简单的例子，但它们很好地证明了“工具会极大地改变人们解决问题的方式”这一点。

除了第6章提到的任务队列（task queue）之外，本书的大部分内容都致力于实时地解决问题。本书通过展示各种技术并提供可工作的代码来帮助读者消灭瓶颈、简化代码、收集数据、分发（distribute）数据、构建实用程序（utility），并最终帮助读者更轻松地完成构建软件的任务。只要正确地使用书中介绍的技术，读者的软件就可以扩展至令那些所谓的“Web扩展技术（web-sacle technology）”相形见绌的地步。

在了解了Redis是什么、它能做什么以及我们为什么要使用它之后，是时候来实际地使用一下它了。接下来的一节将对Redis提供的数据结构进行介绍，说明这些数据结构的作用，并展示操作这些数据结构的其中一部分命令。

1.2　Redis数据结构简介

正如之前的表1-1所示，Redis可以存储键与5种不同数据结构类型之间的映射，这5种数据结构类型分别为STRING（字符串）、LIST（列表）、SET（集合）、HASH（散列）和ZSET（有序集合）。有一部分Redis命令对于这5种结构都是通用的，如DEL、TYPE、RENAME等；但也有一部分Redis命令只能对特定的一种或者两种结构使用，第3章将对Redis提供的命令进行更深入的介绍。

大部分程序员应该都不会对Redis的STRING、LIST、HASH这3种结构感到陌生，因为它们和很多编程语言内建的字符串、列表和散列等结构在实现和语义（semantics）方面都非常相似。有些编程语言还有集合数据结构，在实现和语义上类似于Redis的SET。ZSET在某种程度上是一种Redis特有的结构，但是当你熟悉了它之后，就会发现它也是一种非常有用的结构。表1-2对比了Redis提供的5种结构，说明了这些结构存储的值，并简单介绍了它们的语义。

表1-2　Redis提供的5种结构

结构类型	结构存储的值	结构的读写能力
STRING	可以是字符串、整数或者浮点数	对整个字符串或者字符串的其中一部分执行操作；对整数和浮点数执行自增（increment）或者自减（decrement）操作
LIST	一个链表，链表上的每个节点都包含了一个字符串	从链表的两端推入或者弹出元素；根据偏移量对链表进行修剪（trim）；读取单个或者多个元素；根据值查找或者移除元素
SET	包含字符串的无序收集器（unordered collection），并且被包含的每个字符串都是独一无二、各不相同的	添加、获取、移除单个元素；检查一个元素是否存在于集合中；计算交集、并集、差集；从集合里面随机获取元素
HASH	包含键值对的无序散列表	添加、获取、移除单个键值对；获取所有键值对
ZSET（有序集合）	字符串成员（member）与浮点数分值（score）之间的有序映射，元素的排列顺序由分值的大小决定	添加、获取、删除单个元素；根据分值范围（range）或者成员来获取元素

命令列表　本节在介绍每个数据类型的时候，都会在一个表格里面展示一小部分处理这些数据结构的命令，之后的第 3 章会展示一个更详细（但仍不完整）的命令列表，完整的 Redis 命令列表可以在http://redis.io/commands找到。

这一节将介绍如何表示Redis的这5种结构，并且还会介绍Redis命令的使用方法，从而为本书的后续内容打好基础。本书展示的所有示例代码都是用Python写的，如果读者已经按照附录A里面描述的方法安装好了Redis，那么应该也已经安装好了Python，以及在Python里面使用Redis所需的客户端库。只要读者在电脑里面安装了Redis、Python和redis-py库，就可以在阅读本书的同时，尝试执行书中展示的示例代码了。

请安装Redis和Python　在阅读后续内容之前，请读者先按照附录A中介绍的方法安装Redis和Python。如果读者觉得附录A描述的安装方法过于复杂，那么这里有一个更简单的方法，但这个方法只能用于Debian系统（或者该系统的衍生系统）：从http://redis.io/download下载Redis的压缩包，解压压缩包，执行make && sudo make install，之后再执行sudo python -m easy_install redis hiredis（hiredis是可选的，它是一个使用C语言编写的高性能Redis客户端）。

如果读者熟悉过程式编程语言或者面向对象编程语言，那么即使没有使用过Python，应该也可以看懂Python代码。另一方面，如果读者决定使用其他编程语言来操作Redis，那么就需要自己来将本书的Python代码翻译成正在使用的语言的代码。

使用其他语言编写的示例代码　尽管没有包含在书中，但本书展示的Python示例代码已经被翻译成了Ruby代码、Java代码和JavaScript代码，这些翻译代码可以在https://github.com/josiahcarlson/redis-in-action下载到。跟Python编写的示例代码一样，这些翻译代码也包含相应的注释，方便读者参考。

为了让示例代码尽可能地简单，本书会尽量避免使用Python的高级特性，并使用函数而不是类或者其他东西来执行Redis操作，以此来将焦点放在使用Redis解决问题上面，而不必过多地关注Python的语法。本节将使用redis-cli控制台与Redis进行互动。首先，让我们来了解一下Redis中最简单的结构：STRING。

1.2.1　Redis中的字符串

Redis的STRING和其他编程语言或者其他键值存储提供的字符串非常相似。本书在使用图片表示键和值的时候，通常会将键名（key name）和值的类型放在方框的顶部，并将值放在方框的里面。图1-1以键为hello、值为world的STRING为例，分别标记了方框的各个部分。

图1-1　一个STRING示例，键为hello，值为world

STRING拥有一些和其他键值存储相似的命令，比如GET（获取值）、SET（设置值）和DEL（删除值）。如果读者已经按照附录A中给出的方法安装了Redis，那么可以根据代码清单1-1展示的例子，尝试使用redis-cli执行SET、GET和DEL，表1-3描述了这3个命令的基本用法。

表1-3　字符串命令

命令	行为
GET	获取存储在给定键中的值
SET	设置存储在给定键中的值
DEL	删除存储在给定键中的值（这个命令可以用于所有类型）

代码清单1-1　SET、GET和DEL的使用示例

使用 redis-cli　为了让读者在一开始就能便捷地与 Redis 进行交互，本章将使用redis-cli这个交互式客户端来介绍Redis命令。

除了能够GET、SET和DEL字符串值之外，Redis还提供了一些可以对字符串的其中一部分内容进行读取和写入的命令，以及一些能对字符串存储的数值执行自增或者自减操作的命令。第3章将对这些命令进行介绍，但是在此之前，我们还有许多基础知识需要了解，下面来看一下Redis的列表及其功能。

1.2.2　Redis中的列表

Redis对链表（linked-list）结构的支持使得它在键值存储的世界中独树一帜。一个列表结构可以有序地存储多个字符串，和表示字符串时使用的方法一样，本节使用带有标签的方框来表示列表，并将列表包含的元素放在方框里面。图1-2展示了一个这样的示例。

图1-2　list-key是一个包含3个元素的列表键，注意列表里面的元素是可以重复的

Redis列表可执行的操作和很多编程语言里面的列表操作非常相似：LPUSH命令和RPUSH命令分别用于将元素推入列表的左端（left end）和右端（right end）；LPOP命令和RPOP命令分别用于从列表的左端和右端弹出元素；LINDEX命令用于获取列表在给定位置上的一个元素；LRANGE命令用于获取列表在给定范围上的所有元素。代码清单1-2展示了一些列表命令的使用示例，表1-4简单介绍了示例中用到的各个命令。

表1-4　列表命令

命令	行为
RPUSH	将给定值推入列表的右端
LRANGE	获取列表在给定范围上的所有值
LINDEX	获取列表在给定位置上的单个元素
LPOP	从列表的左端弹出一个值，并返回被弹出的值

代码清单1-2　RPUSH、LRANGE、LINDEX和LPOP的使用示例

即使Redis的列表只支持以上提到的几个命令，它也已经可以用来解决很多问题了，但Redis并没有就此止步——除了上面提到的命令之外，Redis列表还拥有从列表里面移除元素的命令、将元素插入列表中间的命令、将列表修剪至指定长度（相当于从列表的其中一端或者两端移除元素）的命令，以及其他一些命令。第3章将介绍许多列表命令，但是在此之前，让我们先来了解一下Redis的集合。

1.2.3　Redis的集合

Redis 的集合和列表都可以存储多个字符串，它们之间的不同在于，列表可以存储多个相同的字符串，而集合则通过使用散列表来保证自己存储的每个字符串都是各不相同的（这些散列表只有键，但没有与键相关联的值）。本书表示集合的方法和表示列表的方法基本相同，图1-3展示了一个包含3个元素的示例集合。

图1-3　set-key是一个包含3个元素的集合键

因为Redis的集合使用无序（unordered）方式存储元素，所以用户不能像使用列表那样，将元素推入集合的某一端，或者从集合的某一端弹出元素。不过用户可以使用SADD命令将元素添加到集合，或者使用SRAM命令从集合里面移除元素。另外还可以通过SISMEMBER命令快速地检查一个元素是否已经存在于集合中，或者使用SMEMBERS命令获取集合包含的所有元素（如果集合包含的元素非常多，那么SMEMBERS命令的执行速度可能会很慢，所以请谨慎地使用这个命令）。代码清单1-3展示了一些集合命令的使用示例，表1-5简单介绍了代码清单里面用到的各个命令。

代码清单1-3　SADD、SMEMBERS、SISMEMBER和SREM的使用示例

表1-5　集合命令

命令	行为
SADD	将给定元素添加到集合
SMEMBERS	返回集合包含的所有元素
SISMEMBER	检查给定元素是否存在于集合中
SREM	如果给定的元素存在于集合中，那么移除这个元素

跟字符串和列表一样，集合除了基本的添加操作和移除操作之外，还支持很多其他操作，比如SINTER、SUNION、SDIFF``这3个命令就可以分别执行常见的交集计算、并集计算和差集计算。第3章将对集合的相关命令进行更详细的介绍，另外第7章还会展示如何使用集合来解决多个问题。不过别心急，因为在Redis提供的5种数据结构中，还有两种我们尚未了解，让我们先来看看Redis的散列。

1.2.4　Redis的散列

Redis的散列可以存储多个键值对之间的映射。和字符串一样，散列存储的值既可以是字符串又可以是数字值，并且用户同样可以对散列存储的数字值执行自增操作或者自减操作。图1-4展示了一个包含两个键值对的散列。

图1-4　hash-key是一个包含两个键值对的散列键

散列在很多方面就像是一个微缩版的Redis，不少字符串命令都有相应的散列版本。代码清单1-4展示了怎样对散列执行插入元素、获取元素和移除元素等操作，表1-6简单介绍了代码清单里面用到的各个命令。

代码清单1-4　HSET、HGET、HGETALL和HDEL的使用示例

表1-6　散列命令

命令	行为
HSET	在散列里面关联起给定的键值对
HGET	获取指定散列键的值
HGETALL	获取散列包含的所有键值对
HDEL	如果给定键存在于散列里面，那么移除这个键

熟悉文档数据库的读者可以将Redis的散列看作是文档数据库里面的文档，而熟悉关系数据库的读者则可以将Redis的散列看作是关系数据库里面的行，因为散列、文档和行这三者都允许用户同时访问或者修改一个或多个域（field）。最后，让我们来了解一下Redis的5种数据结构中的最后一种：有序集合。

1.2.5　Redis的有序集合

有序集合和散列一样，都用于存储键值对：有序集合的键被称为成员（member），每个成员都是独一无二的；而有序集合的值则被称为分值（score），分值必须为浮点数。有序集合是Redis里面唯一一个既可以根据成员访问元素（这一点和散列一样），又可以根据分值以及分值的排列顺序来访问元素的结构。图1-5展示了一个包含两个元素的有序集合示例。

图1-5　zset-key是一个包含两个元素的有序集合键

和Redis的其他结构一样，用户可以对有序集合执行添加、移除和获取等操作，代码清单1-5展示了这些操作的执行示例，表1-7简单介绍了代码清单里面用到的各个命令。

代码清单1-5　ZADD、ZRANGE、ZRANGEBYSCORE和ZREM的使用示例

表1-7　有序集合命令

命令	行为
ZADD	将一个带有给定分值的成员添加到有序集合里面
ZRANGE	根据元素在有序排列中所处的位置，从有序集合里面获取多个元素
ZRANGEBYSCORE	获取有序集合在给定分值范围内的所有元素
ZREM	如果给定成员存在于有序集合，那么移除这个成员

现在读者应该已经知道有序集合是什么和它能干什么了，到目前为止，我们基本了解了Redis提供的5种结构。接下来的一节将展示如何通过结合散列的数据存储能力和有序集合内建的排序能力来解决一个常见的问题。