缓存对象关系映射(Caching in the ORM)

现实中的每个应用都不同,一些应用的模型数据经常改变而另一些模型的数据几乎不同。访问数据库在很多时候对我们应用的来说 是个瓶颈。这是由于我们每次访问应用时都会和数据库数据通信,和数据库进行通信的代价是很大的。因此在必要时我们可以通过增加 缓存层来获取更高的性能。 本章内容的重点即是探讨实施缓存来提高性能的可行性。Phalcon框架给我们提供了灵活的缓存技术来实现我们的应用缓存。

缓存结果集(Caching Resultsets)

一个非常可行的方案是我们可以为那些不经常改变且经常访问的数据库数据进行缓存,比如把他们放入内存,这样可以加快程序的执行速度。

Phalcon\Mvc\Model 需要使用缓存数据的服务时Model可以直接从DI中取得此缓存服务modelsCache(惯例名).

Phalcon提供了一个组件(服务)可以用来 缓存 任何种类的数据,下面我们会解释如何在model使用它。第一步我们要在启动文件注册 这个服务:

  1. <?php
  2. use Phalcon\Cache\Frontend\Data as FrontendData;
  3. use Phalcon\Cache\Backend\Memcache as BackendMemcache;
  4. // 设置模型缓存服务
  5. $di->set(
  6. "modelsCache",
  7. function () {
  8. // 默认缓存时间为一天
  9. $frontCache = new FrontendData(
  10. [
  11. "lifetime" => 86400,
  12. ]
  13. );
  14. // Memcached连接配置 这里使用的是Memcache适配器
  15. $cache = new BackendMemcache(
  16. $frontCache,
  17. [
  18. "host" => "localhost",
  19. "port" => "11211",
  20. ]
  21. );
  22. return $cache;
  23. }
  24. );

在注册缓存服务时我们可以按照我们的需要进行配置。一旦完成正确的缓存设置之后,我们可以按如下的方式缓存查询的结果了:

  1. <?php
  2. // 直接取Products模型里的数据(未缓存)
  3. $products = Products::find();
  4. // 缓存查询结果.缓存时间为默认1天。
  5. $products = Products::find(
  6. [
  7. "cache" => [
  8. "key" => "my-cache",
  9. ],
  10. ]
  11. );
  12. // 缓存查询结果时间为300秒
  13. $products = Products::find(
  14. [
  15. "cache" => [
  16. "key" => "my-cache",
  17. "lifetime" => 300,
  18. ],
  19. ]
  20. );
  21. // Use the 'cache' service from the DI instead of 'modelsCache'
  22. $products = Products::find(
  23. [
  24. "cache" => [
  25. "key" => "my-cache",
  26. "service" => "cache",
  27. ],
  28. ]
  29. );
  30. 这里我们也可以缓存关联表的数据:
  1. <?php
  2. // Query some post
  3. $post = Post::findFirst();
  4. // Get comments related to a post, also cache it
  5. $comments = $post->getComments(
  6. [
  7. "cache" => [
  8. "key" => "my-key",
  9. ],
  10. ]
  11. );
  12. // Get comments related to a post, setting lifetime
  13. $comments = $post->getComments(
  14. [
  15. "cache" => [
  16. "key" => "my-key",
  17. "lifetime" => 3600,
  18. ],
  19. ]
  20. );

如果想删除已经缓存的结果,则只需要使用前面指定的缓存的键值进行删除即可。

注意并不是所有的结果都必须缓存下来。那些经常改变的数据就不应该被缓存,这样做只会影响应用的性能。另外对于那些特别大的 不易变的数据集,开发者应用根据实际情况进行选择是否进行缓存。

强制缓存(Forcing Cache)

前面的例子中我们在 Phalcon\Mvc\Model 中使用框架内建的缓存组件。为实现强制缓存我们传递了cache作为参数:

  1. <?php
  2. // 缓存查询结果5分钟
  3. $products = Products::find(
  4. [
  5. "cache" => [
  6. "key" => "my-cache",
  7. "lifetime" => 300,
  8. ],
  9. ]
  10. );

这给了我们自由选择需要缓存的查询结果,但是如果我们想对模型中的所有查询结果进行缓存,那么我们可以重写:code:find()/:code:`findFirst()`方法:

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class Robots extends Model
  4. {
  5. /**
  6. * Implement a method that returns a string key based
  7. * on the query parameters
  8. */
  9. protected static function _createKey($parameters)
  10. {
  11. $uniqueKey = [];
  12. foreach ($parameters as $key => $value) {
  13. if (is_scalar($value)) {
  14. $uniqueKey[] = $key . ":" . $value;
  15. } elseif (is_array($value)) {
  16. $uniqueKey[] = $key . ":[" . self::_createKey($value) . "]";
  17. }
  18. }
  19. return join(",", $uniqueKey);
  20. }
  21. public static function find($parameters = null)
  22. {
  23. // Convert the parameters to an array
  24. if (!is_array($parameters)) {
  25. $parameters = [$parameters];
  26. }
  27. // Check if a cache key wasn't passed
  28. // and create the cache parameters
  29. if (!isset($parameters["cache"])) {
  30. $parameters["cache"] = [
  31. "key" => self::_createKey($parameters),
  32. "lifetime" => 300,
  33. ];
  34. }
  35. return parent::find($parameters);
  36. }
  37. public static function findFirst($parameters = null)
  38. {
  39. // ...
  40. }
  41. }

访问数据要远比计算key值慢的多,我们在这里定义自己需要的key生成方式。注意好的键可以避免冲突,这样就可以依据不同的key值 取得不同的缓存结果。

这样我们可以对每个模型的缓存进行完全的控制,如果其他的模型也需要共用此缓存,可以建立一个模型缓存基类:

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class CacheableModel extends Model
  4. {
  5. protected static function _createKey($parameters)
  6. {
  7. // ... Create a cache key based on the parameters
  8. }
  9. public static function find($parameters = null)
  10. {
  11. // ... Custom caching strategy
  12. }
  13. public static function findFirst($parameters = null)
  14. {
  15. // ... Custom caching strategy
  16. }
  17. }

然后把这个类作为其它缓存类的基类:

  1. <?php
  2. class Robots extends CacheableModel
  3. {
  4. }

缓存 PHQL 查询(Caching PHQL Queries)

ORM中的所有查询,不论多高级的查询方法,内部都是通过PHQL进行实现的。PHQL可以让我们非常自由的创建各种查询,当然这些查询也可以被缓存:

  1. <?php
  2. $phql = "SELECT * FROM Cars WHERE name = :name:";
  3. $query = $this->modelsManager->createQuery($phql);
  4. $query->cache(
  5. [
  6. "key" => "cars-by-name",
  7. "lifetime" => 300,
  8. ]
  9. );
  10. $cars = $query->execute(
  11. [
  12. "name" => "Audi",
  13. ]
  14. );

可重用的相关记录(Reusable Related Records)

一些模型可能与其他模型之间有关联关系。下面的例子可以让我们非常容易的在内存中检索相关联的数据:

  1. <?php
  2. // Get some invoice
  3. $invoice = Invoices::findFirst();
  4. // Get the customer related to the invoice
  5. $customer = $invoice->customer;
  6. // Print his/her name
  7. echo $customer->name, "\n";

这个例子非常简单,依据查询到的订单信息取得用户信息之后再取得用户名。下面的例子也是如此:我们查询了一些订单的信息,然后取得这些订单相关联 用户的信息,之后取得用户名:

  1. <?php
  2. // Get a set of invoices
  3. // SELECT * FROM invoices;
  4. $invoices = Invoices::find();
  5. foreach ($invoices as $invoice) {
  6. // Get the customer related to the invoice
  7. // SELECT * FROM customers WHERE id = ?;
  8. $customer = $invoice->customer;
  9. // Print his/her name
  10. echo $customer->name, "\n";
  11. }

每个客户可能会有一个或多个帐单,这就意味着客户对象没必须取多次。为了避免一次次的重复取客户信息,我们这里设置关系为reusable为true, 这样ORM就可以重复使用客户信息:

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class Invoices extends Model
  4. {
  5. public function initialize()
  6. {
  7. $this->belongsTo(
  8. "customers_id",
  9. "Customer",
  10. "id",
  11. [
  12. "reusable" => true,
  13. ]
  14. );
  15. }
  16. }

此Cache存在于内存中,这意味着当请求结束时缓存数据即被释放。

缓存相关记录(Caching Related Records)

当使用:code:`find()`或:code:`findFirst()`查询关联数据时,ORM内部会自动的依据以下规则创建查询条件:

类型描述隐含方法
Belongs-To直接的返回模型相关的记录findFirst()
Has-One直接的返回模型相关的记录findFirst()
Has-Many返回模型相关的记录集合find()

这意味着当我们取得关联记录时,我们需要解析如何取得数据的方法:

  1. <?php
  2. // Get some invoice
  3. $invoice = Invoices::findFirst();
  4. // Get the customer related to the invoice
  5. $customer = $invoice->customer; // Invoices::findFirst("...");
  6. // Same as above
  7. $customer = $invoice->getCustomer(); // Invoices::findFirst("...");

因此,我们可以替换掉Invoices模型中的:code:`findFirst()`方法然后实现我们使用适合的方法

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class Invoices extends Model
  4. {
  5. public static function findFirst($parameters = null)
  6. {
  7. // ... Custom caching strategy
  8. }
  9. }

递归缓存相关记录(Caching Related Records Recursively)

在这种场景下我们假定我们每次取主记录时都会取模型的关联记录,如果我们此时保存这些记录可能会为我们的系统带来一些性能上的提升:

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class Invoices extends Model
  4. {
  5. protected static function _createKey($parameters)
  6. {
  7. // ... Create a cache key based on the parameters
  8. }
  9. protected static function _getCache($key)
  10. {
  11. // Returns data from a cache
  12. }
  13. protected static function _setCache($key, $results)
  14. {
  15. // Stores data in the cache
  16. }
  17. public static function find($parameters = null)
  18. {
  19. // Create a unique key
  20. $key = self::_createKey($parameters);
  21. // Check if there are data in the cache
  22. $results = self::_getCache($key);
  23. // Valid data is an object
  24. if (is_object($results)) {
  25. return $results;
  26. }
  27. $results = [];
  28. $invoices = parent::find($parameters);
  29. foreach ($invoices as $invoice) {
  30. // Query the related customer
  31. $customer = $invoice->customer;
  32. // Assign it to the record
  33. $invoice->customer = $customer;
  34. $results[] = $invoice;
  35. }
  36. // Store the invoices in the cache + their customers
  37. self::_setCache($key, $results);
  38. return $results;
  39. }
  40. public function initialize()
  41. {
  42. // Add relations and initialize other stuff
  43. }
  44. }

从已经缓存的订单中取得用户信息,可以减少系统的负载。注意我们也可以使用PHQL来实现这个,下面使用了PHQL来实现:

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class Invoices extends Model
  4. {
  5. public function initialize()
  6. {
  7. // Add relations and initialize other stuff
  8. }
  9. protected static function _createKey($conditions, $params)
  10. {
  11. // ... Create a cache key based on the parameters
  12. }
  13. public function getInvoicesCustomers($conditions, $params = null)
  14. {
  15. $phql = "SELECT Invoices.*, Customers.* FROM Invoices JOIN Customers WHERE " . $conditions;
  16. $query = $this->getModelsManager()->executeQuery($phql);
  17. $query->cache(
  18. [
  19. "key" => self::_createKey($conditions, $params),
  20. "lifetime" => 300,
  21. ]
  22. );
  23. return $query->execute($params);
  24. }
  25. }

基于条件的缓存(Caching based on Conditions)

此例中,根据不同的条件实施缓存. We might decide that the cache backend should be determined by the primary key:

类型缓存
1 - 10000mongo1
10000 - 20000mongo2
> 20000mongo3

最简单的方式即是为模型类添加一个静态的方法,此方法中我们指定要使用的缓存:

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class Robots extends Model
  4. {
  5. public static function queryCache($initial, $final)
  6. {
  7. if ($initial >= 1 && $final < 10000) {
  8. $service = "mongo1";
  9. } elseif ($initial >= 10000 && $final <= 20000) {
  10. $service = "mongo2";
  11. } elseif ($initial > 20000) {
  12. $service = "mongo3";
  13. }
  14. return self::find(
  15. [
  16. "id >= " . $initial . " AND id <= " . $final,
  17. "cache" => [
  18. "service" => $service,
  19. ],
  20. ]
  21. );
  22. }
  23. }

这个方法是可以解决问题,不过如果我们需要添加其它的参数比如排序或条件等等,我们还要创建更复杂的方法。另外当我们使用:code:find()/:code:`findFirst()`来查询关联数据时此方法亦会失效:

  1. <?php
  2. $robots = Robots::find("id < 1000");
  3. $robots = Robots::find("id > 100 AND type = 'A'");
  4. $robots = Robots::find("(id > 100 AND type = 'A') AND id < 2000");
  5. $robots = Robots::find(
  6. [
  7. "(id > ?0 AND type = 'A') AND id < ?1",
  8. "bind" => [100, 2000],
  9. "order" => "type",
  10. ]
  11. );

为了实现这个,我们需要拦截中间语言解析,然后书写相关的代码以定制缓存: 首先我们需要创建自定义的创建器,然后我们可以使用它来创建自己定义的查询:

  1. <?php
  2. use Phalcon\Mvc\Model\Query\Builder as QueryBuilder;
  3. class CustomQueryBuilder extends QueryBuilder
  4. {
  5. public function getQuery()
  6. {
  7. $query = new CustomQuery($this->getPhql());
  8. $query->setDI($this->getDI());
  9. return $query;
  10. }
  11. }

这里我们返回的是CustomQuery而不是不直接的返回 Phalcon\Mvc\Model\Query, 类定义如下所示:

  1. <?php
  2. use Phalcon\Mvc\Model\Query as ModelQuery;
  3. class CustomQuery extends ModelQuery
  4. {
  5. /**
  6. * The execute method is overridden
  7. */
  8. public function execute($params = null, $types = null)
  9. {
  10. // Parse the intermediate representation for the SELECT
  11. $ir = $this->parse();
  12. // Check if the query has conditions
  13. if (isset($ir["where"])) {
  14. // The fields in the conditions can have any order
  15. // We need to recursively check the conditions tree
  16. // to find the info we're looking for
  17. $visitor = new CustomNodeVisitor();
  18. // Recursively visits the nodes
  19. $visitor->visit($ir["where"]);
  20. $initial = $visitor->getInitial();
  21. $final = $visitor->getFinal();
  22. // Select the cache according to the range
  23. // ...
  24. // Check if the cache has data
  25. // ...
  26. }
  27. // Execute the query
  28. $result = $this->_executeSelect($ir, $params, $types);
  29. // Cache the result
  30. // ...
  31. return $result;
  32. }
  33. }

这里我们实现了一个帮助类,用递归的方式来检查条件中的查询字段,方便我们了解需要使用缓存的范围(即检查条件以确认实施查询缓存的范围):

  1. <?php
  2. class CustomNodeVisitor
  3. {
  4. protected $_initial = 0;
  5. protected $_final = 25000;
  6. public function visit($node)
  7. {
  8. switch ($node["type"]) {
  9. case "binary-op":
  10. $left = $this->visit($node["left"]);
  11. $right = $this->visit($node["right"]);
  12. if (!$left || !$right) {
  13. return false;
  14. }
  15. if ($left === "id") {
  16. if ($node["op"] === ">") {
  17. $this->_initial = $right;
  18. }
  19. if ($node["op"] === "=") {
  20. $this->_initial = $right;
  21. }
  22. if ($node["op"] === ">=") {
  23. $this->_initial = $right;
  24. }
  25. if ($node["op"] === "<") {
  26. $this->_final = $right;
  27. }
  28. if ($node["op"] === "<=") {
  29. $this->_final = $right;
  30. }
  31. }
  32. break;
  33. case "qualified":
  34. if ($node["name"] === "id") {
  35. return "id";
  36. }
  37. break;
  38. case "literal":
  39. return $node["value"];
  40. default:
  41. return false;
  42. }
  43. }
  44. public function getInitial()
  45. {
  46. return $this->_initial;
  47. }
  48. public function getFinal()
  49. {
  50. return $this->_final;
  51. }
  52. }

最后,我们替换Robots模型中的查询方法,以使用我们创建的自定义类:

  1. <?php
  2. use Phalcon\Mvc\Model;
  3. class Robots extends Model
  4. {
  5. public static function find($parameters = null)
  6. {
  7. if (!is_array($parameters)) {
  8. $parameters = [$parameters];
  9. }
  10. $builder = new CustomQueryBuilder($parameters);
  11. $builder->from(get_called_class());
  12. $query = $builder->getQuery();
  13. if (isset($parameters["bind"])) {
  14. return $query->execute($parameters["bind"]);
  15. } else {
  16. return $query->execute();
  17. }
  18. }
  19. }

缓存 PHQL 查询计划(Caching of PHQL planning)

像大多数现代的操作系统一样PHQL内部会缓存执行计划,如果同样的语句多次执行,PHQL会使用之前生成的查询计划以提升系统的性能, 对开发者来说只采用绑定参数的形式传递参数即可实现:

  1. <?php
  2. for ($i = 1; $i <= 10; $i++) {
  3. $phql = "SELECT * FROM Store\Robots WHERE id = " . $i;
  4. $robots = $this->modelsManager->executeQuery($phql);
  5. // ...
  6. }

上面的例子中,Phalcon产生了10个查询计划,这导致了应用的内存使用量增加。重写以上代码,我们使用绑定参数的这个优点可以减少系统和数据库的过多操作:

  1. <?php
  2. $phql = "SELECT * FROM Store\Robots WHERE id = ?0";
  3. for ($i = 1; $i <= 10; $i++) {
  4. $robots = $this->modelsManager->executeQuery(
  5. $phql,
  6. [
  7. $i,
  8. ]
  9. );
  10. // ...
  11. }

使用PHQL查询亦可以提升查询性能:

  1. <?php
  2. $phql = "SELECT * FROM Store\Robots WHERE id = ?0";
  3. $query = $this->modelsManager->createQuery($phql);
  4. for ($i = 1; $i <= 10; $i++) {
  5. $robots = $query->execute(
  6. $phql,
  7. [
  8. $i,
  9. ]
  10. );
  11. // ...
  12. }

预先准备的查询语句 的查询计划亦可以被大多数的数据库所缓存,这样可以减少执行的时间,也可以使我们的系统免受 SQL注入 的影响。