MDL-51374 cache: add temp_tables cache definition
[moodle.git] / lib / dml / moodle_database.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Abstract database driver class.
19  *
20  * @package    core_dml
21  * @copyright  2008 Petr Skoda (http://skodak.org)
22  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
23  */
25 defined('MOODLE_INTERNAL') || die();
27 require_once(__DIR__.'/database_column_info.php');
28 require_once(__DIR__.'/moodle_recordset.php');
29 require_once(__DIR__.'/moodle_transaction.php');
31 /** SQL_PARAMS_NAMED - Bitmask, indicates :name type parameters are supported by db backend. */
32 define('SQL_PARAMS_NAMED', 1);
34 /** SQL_PARAMS_QM - Bitmask, indicates ? type parameters are supported by db backend. */
35 define('SQL_PARAMS_QM', 2);
37 /** SQL_PARAMS_DOLLAR - Bitmask, indicates $1, $2, ... type parameters are supported by db backend. */
38 define('SQL_PARAMS_DOLLAR', 4);
40 /** SQL_QUERY_SELECT - Normal select query, reading only. */
41 define('SQL_QUERY_SELECT', 1);
43 /** SQL_QUERY_INSERT - Insert select query, writing. */
44 define('SQL_QUERY_INSERT', 2);
46 /** SQL_QUERY_UPDATE - Update select query, writing. */
47 define('SQL_QUERY_UPDATE', 3);
49 /** SQL_QUERY_STRUCTURE - Query changing db structure, writing. */
50 define('SQL_QUERY_STRUCTURE', 4);
52 /** SQL_QUERY_AUX - Auxiliary query done by driver, setting connection config, getting table info, etc. */
53 define('SQL_QUERY_AUX', 5);
55 /**
56  * Abstract class representing moodle database interface.
57  * @link http://docs.moodle.org/dev/DML_functions
58  *
59  * @package    core_dml
60  * @copyright  2008 Petr Skoda (http://skodak.org)
61  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
62  */
63 abstract class moodle_database {
65     /** @var database_manager db manager which allows db structure modifications. */
66     protected $database_manager;
67     /** @var moodle_temptables temptables manager to provide cross-db support for temp tables. */
68     protected $temptables;
69     /** @var array Cache of table info. */
70     protected $tables  = null;
72     // db connection options
73     /** @var string db host name. */
74     protected $dbhost;
75     /** @var string db host user. */
76     protected $dbuser;
77     /** @var string db host password. */
78     protected $dbpass;
79     /** @var string db name. */
80     protected $dbname;
81     /** @var string Prefix added to table names. */
82     protected $prefix;
84     /** @var array Database or driver specific options, such as sockets or TCP/IP db connections. */
85     protected $dboptions;
87     /** @var bool True means non-moodle external database used.*/
88     protected $external;
90     /** @var int The database reads (performance counter).*/
91     protected $reads = 0;
92     /** @var int The database writes (performance counter).*/
93     protected $writes = 0;
94     /** @var float Time queries took to finish, seconds with microseconds.*/
95     protected $queriestime = 0;
97     /** @var int Debug level. */
98     protected $debug  = 0;
100     /** @var string Last used query sql. */
101     protected $last_sql;
102     /** @var array Last query parameters. */
103     protected $last_params;
104     /** @var int Last query type. */
105     protected $last_type;
106     /** @var string Last extra info. */
107     protected $last_extrainfo;
108     /** @var float Last time in seconds with millisecond precision. */
109     protected $last_time;
110     /** @var bool Flag indicating logging of query in progress. This helps prevent infinite loops. */
111     private $loggingquery = false;
113     /** @var bool True if the db is used for db sessions. */
114     protected $used_for_db_sessions = false;
116     /** @var array Array containing open transactions. */
117     private $transactions = array();
118     /** @var bool Flag used to force rollback of all current transactions. */
119     private $force_rollback = false;
121     /** @var string MD5 of settings used for connection. Used by MUC as an identifier. */
122     private $settingshash;
124     /** @var cache_application for column info */
125     protected $metacache;
127     /** @var bool flag marking database instance as disposed */
128     protected $disposed;
130     /**
131      * @var int internal temporary variable used to fix params. Its used by {@link _fix_sql_params_dollar_callback()}.
132      */
133     private $fix_sql_params_i;
134     /**
135      * @var int internal temporary variable used to guarantee unique parameters in each request. Its used by {@link get_in_or_equal()}.
136      */
137     private $inorequaluniqueindex = 1;
139     /**
140      * Constructor - Instantiates the database, specifying if it's external (connect to other systems) or not (Moodle DB).
141      *              Note that this affects the decision of whether prefix checks must be performed or not.
142      * @param bool $external True means that an external database is used.
143      */
144     public function __construct($external=false) {
145         $this->external  = $external;
146     }
148     /**
149      * Destructor - cleans up and flushes everything needed.
150      */
151     public function __destruct() {
152         $this->dispose();
153     }
155     /**
156      * Detects if all needed PHP stuff are installed for DB connectivity.
157      * Note: can be used before connect()
158      * @return mixed True if requirements are met, otherwise a string if something isn't installed.
159      */
160     public abstract function driver_installed();
162     /**
163      * Returns database table prefix
164      * Note: can be used before connect()
165      * @return string The prefix used in the database.
166      */
167     public function get_prefix() {
168         return $this->prefix;
169     }
171     /**
172      * Loads and returns a database instance with the specified type and library.
173      *
174      * The loaded class is within lib/dml directory and of the form: $type.'_'.$library.'_moodle_database'
175      *
176      * @param string $type Database driver's type. (eg: mysqli, pgsql, mssql, sqldrv, oci, etc.)
177      * @param string $library Database driver's library (native, pdo, etc.)
178      * @param bool $external True if this is an external database.
179      * @return moodle_database driver object or null if error, for example of driver object see {@link mysqli_native_moodle_database}
180      */
181     public static function get_driver_instance($type, $library, $external = false) {
182         global $CFG;
184         $classname = $type.'_'.$library.'_moodle_database';
185         $libfile   = "$CFG->libdir/dml/$classname.php";
187         if (!file_exists($libfile)) {
188             return null;
189         }
191         require_once($libfile);
192         return new $classname($external);
193     }
195     /**
196      * Returns the database vendor.
197      * Note: can be used before connect()
198      * @return string The db vendor name, usually the same as db family name.
199      */
200     public function get_dbvendor() {
201         return $this->get_dbfamily();
202     }
204     /**
205      * Returns the database family type. (This sort of describes the SQL 'dialect')
206      * Note: can be used before connect()
207      * @return string The db family name (mysql, postgres, mssql, oracle, etc.)
208      */
209     public abstract function get_dbfamily();
211     /**
212      * Returns a more specific database driver type
213      * Note: can be used before connect()
214      * @return string The db type mysqli, pgsql, oci, mssql, sqlsrv
215      */
216     protected abstract function get_dbtype();
218     /**
219      * Returns the general database library name
220      * Note: can be used before connect()
221      * @return string The db library type -  pdo, native etc.
222      */
223     protected abstract function get_dblibrary();
225     /**
226      * Returns the localised database type name
227      * Note: can be used before connect()
228      * @return string
229      */
230     public abstract function get_name();
232     /**
233      * Returns the localised database configuration help.
234      * Note: can be used before connect()
235      * @return string
236      */
237     public abstract function get_configuration_help();
239     /**
240      * Returns the localised database description
241      * Note: can be used before connect()
242      * @deprecated since 2.6
243      * @return string
244      */
245     public function get_configuration_hints() {
246         debugging('$DB->get_configuration_hints() method is deprecated, use $DB->get_configuration_help() instead');
247         return $this->get_configuration_help();
248     }
250     /**
251      * Returns the db related part of config.php
252      * @return stdClass
253      */
254     public function export_dbconfig() {
255         $cfg = new stdClass();
256         $cfg->dbtype    = $this->get_dbtype();
257         $cfg->dblibrary = $this->get_dblibrary();
258         $cfg->dbhost    = $this->dbhost;
259         $cfg->dbname    = $this->dbname;
260         $cfg->dbuser    = $this->dbuser;
261         $cfg->dbpass    = $this->dbpass;
262         $cfg->prefix    = $this->prefix;
263         if ($this->dboptions) {
264             $cfg->dboptions = $this->dboptions;
265         }
267         return $cfg;
268     }
270     /**
271      * Diagnose database and tables, this function is used
272      * to verify database and driver settings, db engine types, etc.
273      *
274      * @return string null means everything ok, string means problem found.
275      */
276     public function diagnose() {
277         return null;
278     }
280     /**
281      * Connects to the database.
282      * Must be called before other methods.
283      * @param string $dbhost The database host.
284      * @param string $dbuser The database user to connect as.
285      * @param string $dbpass The password to use when connecting to the database.
286      * @param string $dbname The name of the database being connected to.
287      * @param mixed $prefix string means moodle db prefix, false used for external databases where prefix not used
288      * @param array $dboptions driver specific options
289      * @return bool true
290      * @throws dml_connection_exception if error
291      */
292     public abstract function connect($dbhost, $dbuser, $dbpass, $dbname, $prefix, array $dboptions=null);
294     /**
295      * Store various database settings
296      * @param string $dbhost The database host.
297      * @param string $dbuser The database user to connect as.
298      * @param string $dbpass The password to use when connecting to the database.
299      * @param string $dbname The name of the database being connected to.
300      * @param mixed $prefix string means moodle db prefix, false used for external databases where prefix not used
301      * @param array $dboptions driver specific options
302      * @return void
303      */
304     protected function store_settings($dbhost, $dbuser, $dbpass, $dbname, $prefix, array $dboptions=null) {
305         $this->dbhost    = $dbhost;
306         $this->dbuser    = $dbuser;
307         $this->dbpass    = $dbpass;
308         $this->dbname    = $dbname;
309         $this->prefix    = $prefix;
310         $this->dboptions = (array)$dboptions;
311     }
313     /**
314      * Returns a hash for the settings used during connection.
315      *
316      * If not already requested it is generated and stored in a private property.
317      *
318      * @return string
319      */
320     protected function get_settings_hash() {
321         if (empty($this->settingshash)) {
322             $this->settingshash = md5($this->dbhost . $this->dbuser . $this->dbname . $this->prefix);
323         }
324         return $this->settingshash;
325     }
327     /**
328      * Handle the creation and caching of the databasemeta information for all databases.
329      *
330      * TODO MDL-53267 impelement caching of cache::make() results when it's safe to do so.
331      *
332      * @return cache_application The databasemeta cachestore to complete operations on.
333      */
334     protected function get_metacache() {
335         $properties = array('dbfamily' => $this->get_dbfamily(), 'settings' => $this->get_settings_hash());
336         return cache::make('core', 'databasemeta', $properties);
337     }
339     /**
340      * Handle the creation and caching of the temporary tables.
341      *
342      * @return cache_application The temp_tables cachestore to complete operations on.
343      */
344     protected function get_temp_tables_cache() {
345         return cache::make('core', 'temp_tables');
346     }
348     /**
349      * Attempt to create the database
350      * @param string $dbhost The database host.
351      * @param string $dbuser The database user to connect as.
352      * @param string $dbpass The password to use when connecting to the database.
353      * @param string $dbname The name of the database being connected to.
354      * @param array $dboptions An array of optional database options (eg: dbport)
355      *
356      * @return bool success True for successful connection. False otherwise.
357      */
358     public function create_database($dbhost, $dbuser, $dbpass, $dbname, array $dboptions=null) {
359         return false;
360     }
362     /**
363      * Returns transaction trace for debugging purposes.
364      * @private to be used by core only
365      * @return array or null if not in transaction.
366      */
367     public function get_transaction_start_backtrace() {
368         if (!$this->transactions) {
369             return null;
370         }
371         $lowesttransaction = end($this->transactions);
372         return $lowesttransaction->get_backtrace();
373     }
375     /**
376      * Closes the database connection and releases all resources
377      * and memory (especially circular memory references).
378      * Do NOT use connect() again, create a new instance if needed.
379      * @return void
380      */
381     public function dispose() {
382         if ($this->disposed) {
383             return;
384         }
385         $this->disposed = true;
386         if ($this->transactions) {
387             $this->force_transaction_rollback();
388         }
390         if ($this->temptables) {
391             $this->temptables->dispose();
392             $this->temptables = null;
393         }
394         if ($this->database_manager) {
395             $this->database_manager->dispose();
396             $this->database_manager = null;
397         }
398         $this->tables  = null;
399     }
401     /**
402      * This should be called before each db query.
403      * @param string $sql The query string.
404      * @param array $params An array of parameters.
405      * @param int $type The type of query. ( SQL_QUERY_SELECT | SQL_QUERY_AUX | SQL_QUERY_INSERT | SQL_QUERY_UPDATE | SQL_QUERY_STRUCTURE )
406      * @param mixed $extrainfo This is here for any driver specific extra information.
407      * @return void
408      */
409     protected function query_start($sql, array $params=null, $type, $extrainfo=null) {
410         if ($this->loggingquery) {
411             return;
412         }
413         $this->last_sql       = $sql;
414         $this->last_params    = $params;
415         $this->last_type      = $type;
416         $this->last_extrainfo = $extrainfo;
417         $this->last_time      = microtime(true);
419         switch ($type) {
420             case SQL_QUERY_SELECT:
421             case SQL_QUERY_AUX:
422                 $this->reads++;
423                 break;
424             case SQL_QUERY_INSERT:
425             case SQL_QUERY_UPDATE:
426             case SQL_QUERY_STRUCTURE:
427                 $this->writes++;
428             default:
429                 if ((PHPUNIT_TEST) || (defined('BEHAT_TEST') && BEHAT_TEST) ||
430                     defined('BEHAT_SITE_RUNNING')) {
432                     // Set list of tables that are updated.
433                     require_once(__DIR__.'/../testing/classes/util.php');
434                     testing_util::set_table_modified_by_sql($sql);
435                 }
436         }
438         $this->print_debug($sql, $params);
439     }
441     /**
442      * This should be called immediately after each db query. It does a clean up of resources.
443      * It also throws exceptions if the sql that ran produced errors.
444      * @param mixed $result The db specific result obtained from running a query.
445      * @throws dml_read_exception | dml_write_exception | ddl_change_structure_exception
446      * @return void
447      */
448     protected function query_end($result) {
449         if ($this->loggingquery) {
450             return;
451         }
452         if ($result !== false) {
453             $this->query_log();
454             // free memory
455             $this->last_sql    = null;
456             $this->last_params = null;
457             $this->print_debug_time();
458             return;
459         }
461         // remember current info, log queries may alter it
462         $type   = $this->last_type;
463         $sql    = $this->last_sql;
464         $params = $this->last_params;
465         $error  = $this->get_last_error();
467         $this->query_log($error);
469         switch ($type) {
470             case SQL_QUERY_SELECT:
471             case SQL_QUERY_AUX:
472                 throw new dml_read_exception($error, $sql, $params);
473             case SQL_QUERY_INSERT:
474             case SQL_QUERY_UPDATE:
475                 throw new dml_write_exception($error, $sql, $params);
476             case SQL_QUERY_STRUCTURE:
477                 $this->get_manager(); // includes ddl exceptions classes ;-)
478                 throw new ddl_change_structure_exception($error, $sql);
479         }
480     }
482     /**
483      * This logs the last query based on 'logall', 'logslow' and 'logerrors' options configured via $CFG->dboptions .
484      * @param string|bool $error or false if not error
485      * @return void
486      */
487     public function query_log($error=false) {
488         $logall    = !empty($this->dboptions['logall']);
489         $logslow   = !empty($this->dboptions['logslow']) ? $this->dboptions['logslow'] : false;
490         $logerrors = !empty($this->dboptions['logerrors']);
491         $iserror   = ($error !== false);
493         $time = $this->query_time();
495         // Will be shown or not depending on MDL_PERF values rather than in dboptions['log*].
496         $this->queriestime = $this->queriestime + $time;
498         if ($logall or ($logslow and ($logslow < ($time+0.00001))) or ($iserror and $logerrors)) {
499             $this->loggingquery = true;
500             try {
501                 $backtrace = debug_backtrace();
502                 if ($backtrace) {
503                     //remove query_log()
504                     array_shift($backtrace);
505                 }
506                 if ($backtrace) {
507                     //remove query_end()
508                     array_shift($backtrace);
509                 }
510                 $log = new stdClass();
511                 $log->qtype      = $this->last_type;
512                 $log->sqltext    = $this->last_sql;
513                 $log->sqlparams  = var_export((array)$this->last_params, true);
514                 $log->error      = (int)$iserror;
515                 $log->info       = $iserror ? $error : null;
516                 $log->backtrace  = format_backtrace($backtrace, true);
517                 $log->exectime   = $time;
518                 $log->timelogged = time();
519                 $this->insert_record('log_queries', $log);
520             } catch (Exception $ignored) {
521             }
522             $this->loggingquery = false;
523         }
524     }
526     /**
527      * Returns the time elapsed since the query started.
528      * @return float Seconds with microseconds
529      */
530     protected function query_time() {
531         return microtime(true) - $this->last_time;
532     }
534     /**
535      * Returns database server info array
536      * @return array Array containing 'description' and 'version' at least.
537      */
538     public abstract function get_server_info();
540     /**
541      * Returns supported query parameter types
542      * @return int bitmask of accepted SQL_PARAMS_*
543      */
544     protected abstract function allowed_param_types();
546     /**
547      * Returns the last error reported by the database engine.
548      * @return string The error message.
549      */
550     public abstract function get_last_error();
552     /**
553      * Prints sql debug info
554      * @param string $sql The query which is being debugged.
555      * @param array $params The query parameters. (optional)
556      * @param mixed $obj The library specific object. (optional)
557      * @return void
558      */
559     protected function print_debug($sql, array $params=null, $obj=null) {
560         if (!$this->get_debug()) {
561             return;
562         }
563         if (CLI_SCRIPT) {
564             echo "--------------------------------\n";
565             echo $sql."\n";
566             if (!is_null($params)) {
567                 echo "[".var_export($params, true)."]\n";
568             }
569             echo "--------------------------------\n";
570         } else {
571             echo "<hr />\n";
572             echo s($sql)."\n";
573             if (!is_null($params)) {
574                 echo "[".s(var_export($params, true))."]\n";
575             }
576             echo "<hr />\n";
577         }
578     }
580     /**
581      * Prints the time a query took to run.
582      * @return void
583      */
584     protected function print_debug_time() {
585         if (!$this->get_debug()) {
586             return;
587         }
588         $time = $this->query_time();
589         $message = "Query took: {$time} seconds.\n";
590         if (CLI_SCRIPT) {
591             echo $message;
592             echo "--------------------------------\n";
593         } else {
594             echo s($message);
595             echo "<hr />\n";
596         }
597     }
599     /**
600      * Returns the SQL WHERE conditions.
601      * @param string $table The table name that these conditions will be validated against.
602      * @param array $conditions The conditions to build the where clause. (must not contain numeric indexes)
603      * @throws dml_exception
604      * @return array An array list containing sql 'where' part and 'params'.
605      */
606     protected function where_clause($table, array $conditions=null) {
607         // We accept nulls in conditions
608         $conditions = is_null($conditions) ? array() : $conditions;
610         if (empty($conditions)) {
611             return array('', array());
612         }
614         // Some checks performed under debugging only
615         if (debugging()) {
616             $columns = $this->get_columns($table);
617             if (empty($columns)) {
618                 // no supported columns means most probably table does not exist
619                 throw new dml_exception('ddltablenotexist', $table);
620             }
621             foreach ($conditions as $key=>$value) {
622                 if (!isset($columns[$key])) {
623                     $a = new stdClass();
624                     $a->fieldname = $key;
625                     $a->tablename = $table;
626                     throw new dml_exception('ddlfieldnotexist', $a);
627                 }
628                 $column = $columns[$key];
629                 if ($column->meta_type == 'X') {
630                     //ok so the column is a text column. sorry no text columns in the where clause conditions
631                     throw new dml_exception('textconditionsnotallowed', $conditions);
632                 }
633             }
634         }
636         $allowed_types = $this->allowed_param_types();
637         $where = array();
638         $params = array();
640         foreach ($conditions as $key=>$value) {
641             if (is_int($key)) {
642                 throw new dml_exception('invalidnumkey');
643             }
644             if (is_null($value)) {
645                 $where[] = "$key IS NULL";
646             } else {
647                 if ($allowed_types & SQL_PARAMS_NAMED) {
648                     // Need to verify key names because they can contain, originally,
649                     // spaces and other forbidden chars when using sql_xxx() functions and friends.
650                     $normkey = trim(preg_replace('/[^a-zA-Z0-9_-]/', '_', $key), '-_');
651                     if ($normkey !== $key) {
652                         debugging('Invalid key found in the conditions array.');
653                     }
654                     $where[] = "$key = :$normkey";
655                     $params[$normkey] = $value;
656                 } else {
657                     $where[] = "$key = ?";
658                     $params[] = $value;
659                 }
660             }
661         }
662         $where = implode(" AND ", $where);
663         return array($where, $params);
664     }
666     /**
667      * Returns SQL WHERE conditions for the ..._list group of methods.
668      *
669      * @param string $field the name of a field.
670      * @param array $values the values field might take.
671      * @return array An array containing sql 'where' part and 'params'
672      */
673     protected function where_clause_list($field, array $values) {
674         if (empty($values)) {
675             return array("1 = 2", array()); // Fake condition, won't return rows ever. MDL-17645
676         }
678         // Note: Do not use get_in_or_equal() because it can not deal with bools and nulls.
680         $params = array();
681         $select = "";
682         $values = (array)$values;
683         foreach ($values as $value) {
684             if (is_bool($value)) {
685                 $value = (int)$value;
686             }
687             if (is_null($value)) {
688                 $select = "$field IS NULL";
689             } else {
690                 $params[] = $value;
691             }
692         }
693         if ($params) {
694             if ($select !== "") {
695                 $select = "$select OR ";
696             }
697             $count = count($params);
698             if ($count == 1) {
699                 $select = $select."$field = ?";
700             } else {
701                 $qs = str_repeat(',?', $count);
702                 $qs = ltrim($qs, ',');
703                 $select = $select."$field IN ($qs)";
704             }
705         }
706         return array($select, $params);
707     }
709     /**
710      * Constructs 'IN()' or '=' sql fragment
711      * @param mixed $items A single value or array of values for the expression.
712      * @param int $type Parameter bounding type : SQL_PARAMS_QM or SQL_PARAMS_NAMED.
713      * @param string $prefix Named parameter placeholder prefix (a unique counter value is appended to each parameter name).
714      * @param bool $equal True means we want to equate to the constructed expression, false means we don't want to equate to it.
715      * @param mixed $onemptyitems This defines the behavior when the array of items provided is empty. Defaults to false,
716      *              meaning throw exceptions. Other values will become part of the returned SQL fragment.
717      * @throws coding_exception | dml_exception
718      * @return array A list containing the constructed sql fragment and an array of parameters.
719      */
720     public function get_in_or_equal($items, $type=SQL_PARAMS_QM, $prefix='param', $equal=true, $onemptyitems=false) {
722         // default behavior, throw exception on empty array
723         if (is_array($items) and empty($items) and $onemptyitems === false) {
724             throw new coding_exception('moodle_database::get_in_or_equal() does not accept empty arrays');
725         }
726         // handle $onemptyitems on empty array of items
727         if (is_array($items) and empty($items)) {
728             if (is_null($onemptyitems)) {             // Special case, NULL value
729                 $sql = $equal ? ' IS NULL' : ' IS NOT NULL';
730                 return (array($sql, array()));
731             } else {
732                 $items = array($onemptyitems);        // Rest of cases, prepare $items for std processing
733             }
734         }
736         if ($type == SQL_PARAMS_QM) {
737             if (!is_array($items) or count($items) == 1) {
738                 $sql = $equal ? '= ?' : '<> ?';
739                 $items = (array)$items;
740                 $params = array_values($items);
741             } else {
742                 if ($equal) {
743                     $sql = 'IN ('.implode(',', array_fill(0, count($items), '?')).')';
744                 } else {
745                     $sql = 'NOT IN ('.implode(',', array_fill(0, count($items), '?')).')';
746                 }
747                 $params = array_values($items);
748             }
750         } else if ($type == SQL_PARAMS_NAMED) {
751             if (empty($prefix)) {
752                 $prefix = 'param';
753             }
755             if (!is_array($items)){
756                 $param = $prefix.$this->inorequaluniqueindex++;
757                 $sql = $equal ? "= :$param" : "<> :$param";
758                 $params = array($param=>$items);
759             } else if (count($items) == 1) {
760                 $param = $prefix.$this->inorequaluniqueindex++;
761                 $sql = $equal ? "= :$param" : "<> :$param";
762                 $item = reset($items);
763                 $params = array($param=>$item);
764             } else {
765                 $params = array();
766                 $sql = array();
767                 foreach ($items as $item) {
768                     $param = $prefix.$this->inorequaluniqueindex++;
769                     $params[$param] = $item;
770                     $sql[] = ':'.$param;
771                 }
772                 if ($equal) {
773                     $sql = 'IN ('.implode(',', $sql).')';
774                 } else {
775                     $sql = 'NOT IN ('.implode(',', $sql).')';
776                 }
777             }
779         } else {
780             throw new dml_exception('typenotimplement');
781         }
782         return array($sql, $params);
783     }
785     /**
786      * Converts short table name {tablename} to the real prefixed table name in given sql.
787      * @param string $sql The sql to be operated on.
788      * @return string The sql with tablenames being prefixed with $CFG->prefix
789      */
790     protected function fix_table_names($sql) {
791         return preg_replace('/\{([a-z][a-z0-9_]*)\}/', $this->prefix.'$1', $sql);
792     }
794     /**
795      * Internal private utitlity function used to fix parameters.
796      * Used with {@link preg_replace_callback()}
797      * @param array $match Refer to preg_replace_callback usage for description.
798      * @return string
799      */
800     private function _fix_sql_params_dollar_callback($match) {
801         $this->fix_sql_params_i++;
802         return "\$".$this->fix_sql_params_i;
803     }
805     /**
806      * Detects object parameters and throws exception if found
807      * @param mixed $value
808      * @return void
809      * @throws coding_exception if object detected
810      */
811     protected function detect_objects($value) {
812         if (is_object($value)) {
813             throw new coding_exception('Invalid database query parameter value', 'Objects are are not allowed: '.get_class($value));
814         }
815     }
817     /**
818      * Normalizes sql query parameters and verifies parameters.
819      * @param string $sql The query or part of it.
820      * @param array $params The query parameters.
821      * @return array (sql, params, type of params)
822      */
823     public function fix_sql_params($sql, array $params=null) {
824         $params = (array)$params; // mke null array if needed
825         $allowed_types = $this->allowed_param_types();
827         // convert table names
828         $sql = $this->fix_table_names($sql);
830         // cast booleans to 1/0 int and detect forbidden objects
831         foreach ($params as $key => $value) {
832             $this->detect_objects($value);
833             $params[$key] = is_bool($value) ? (int)$value : $value;
834         }
836         // NICOLAS C: Fixed regexp for negative backwards look-ahead of double colons. Thanks for Sam Marshall's help
837         $named_count = preg_match_all('/(?<!:):[a-z][a-z0-9_]*/', $sql, $named_matches); // :: used in pgsql casts
838         $dollar_count = preg_match_all('/\$[1-9][0-9]*/', $sql, $dollar_matches);
839         $q_count     = substr_count($sql, '?');
841         $count = 0;
843         if ($named_count) {
844             $type = SQL_PARAMS_NAMED;
845             $count = $named_count;
847         }
848         if ($dollar_count) {
849             if ($count) {
850                 throw new dml_exception('mixedtypesqlparam');
851             }
852             $type = SQL_PARAMS_DOLLAR;
853             $count = $dollar_count;
855         }
856         if ($q_count) {
857             if ($count) {
858                 throw new dml_exception('mixedtypesqlparam');
859             }
860             $type = SQL_PARAMS_QM;
861             $count = $q_count;
863         }
865         if (!$count) {
866              // ignore params
867             if ($allowed_types & SQL_PARAMS_NAMED) {
868                 return array($sql, array(), SQL_PARAMS_NAMED);
869             } else if ($allowed_types & SQL_PARAMS_QM) {
870                 return array($sql, array(), SQL_PARAMS_QM);
871             } else {
872                 return array($sql, array(), SQL_PARAMS_DOLLAR);
873             }
874         }
876         if ($count > count($params)) {
877             $a = new stdClass;
878             $a->expected = $count;
879             $a->actual = count($params);
880             throw new dml_exception('invalidqueryparam', $a);
881         }
883         $target_type = $allowed_types;
885         if ($type & $allowed_types) { // bitwise AND
886             if ($count == count($params)) {
887                 if ($type == SQL_PARAMS_QM) {
888                     return array($sql, array_values($params), SQL_PARAMS_QM); // 0-based array required
889                 } else {
890                     //better do the validation of names below
891                 }
892             }
893             // needs some fixing or validation - there might be more params than needed
894             $target_type = $type;
895         }
897         if ($type == SQL_PARAMS_NAMED) {
898             $finalparams = array();
899             foreach ($named_matches[0] as $key) {
900                 $key = trim($key, ':');
901                 if (!array_key_exists($key, $params)) {
902                     throw new dml_exception('missingkeyinsql', $key, '');
903                 }
904                 if (strlen($key) > 30) {
905                     throw new coding_exception(
906                             "Placeholder names must be 30 characters or shorter. '" .
907                             $key . "' is too long.", $sql);
908                 }
909                 $finalparams[$key] = $params[$key];
910             }
911             if ($count != count($finalparams)) {
912                 throw new dml_exception('duplicateparaminsql');
913             }
915             if ($target_type & SQL_PARAMS_QM) {
916                 $sql = preg_replace('/(?<!:):[a-z][a-z0-9_]*/', '?', $sql);
917                 return array($sql, array_values($finalparams), SQL_PARAMS_QM); // 0-based required
918             } else if ($target_type & SQL_PARAMS_NAMED) {
919                 return array($sql, $finalparams, SQL_PARAMS_NAMED);
920             } else {  // $type & SQL_PARAMS_DOLLAR
921                 //lambda-style functions eat memory - we use globals instead :-(
922                 $this->fix_sql_params_i = 0;
923                 $sql = preg_replace_callback('/(?<!:):[a-z][a-z0-9_]*/', array($this, '_fix_sql_params_dollar_callback'), $sql);
924                 return array($sql, array_values($finalparams), SQL_PARAMS_DOLLAR); // 0-based required
925             }
927         } else if ($type == SQL_PARAMS_DOLLAR) {
928             if ($target_type & SQL_PARAMS_DOLLAR) {
929                 return array($sql, array_values($params), SQL_PARAMS_DOLLAR); // 0-based required
930             } else if ($target_type & SQL_PARAMS_QM) {
931                 $sql = preg_replace('/\$[0-9]+/', '?', $sql);
932                 return array($sql, array_values($params), SQL_PARAMS_QM); // 0-based required
933             } else { //$target_type & SQL_PARAMS_NAMED
934                 $sql = preg_replace('/\$([0-9]+)/', ':param\\1', $sql);
935                 $finalparams = array();
936                 foreach ($params as $key=>$param) {
937                     $key++;
938                     $finalparams['param'.$key] = $param;
939                 }
940                 return array($sql, $finalparams, SQL_PARAMS_NAMED);
941             }
943         } else { // $type == SQL_PARAMS_QM
944             if (count($params) != $count) {
945                 $params = array_slice($params, 0, $count);
946             }
948             if ($target_type & SQL_PARAMS_QM) {
949                 return array($sql, array_values($params), SQL_PARAMS_QM); // 0-based required
950             } else if ($target_type & SQL_PARAMS_NAMED) {
951                 $finalparams = array();
952                 $pname = 'param0';
953                 $parts = explode('?', $sql);
954                 $sql = array_shift($parts);
955                 foreach ($parts as $part) {
956                     $param = array_shift($params);
957                     $pname++;
958                     $sql .= ':'.$pname.$part;
959                     $finalparams[$pname] = $param;
960                 }
961                 return array($sql, $finalparams, SQL_PARAMS_NAMED);
962             } else {  // $type & SQL_PARAMS_DOLLAR
963                 //lambda-style functions eat memory - we use globals instead :-(
964                 $this->fix_sql_params_i = 0;
965                 $sql = preg_replace_callback('/\?/', array($this, '_fix_sql_params_dollar_callback'), $sql);
966                 return array($sql, array_values($params), SQL_PARAMS_DOLLAR); // 0-based required
967             }
968         }
969     }
971     /**
972      * Ensures that limit params are numeric and positive integers, to be passed to the database.
973      * We explicitly treat null, '' and -1 as 0 in order to provide compatibility with how limit
974      * values have been passed historically.
975      *
976      * @param int $limitfrom Where to start results from
977      * @param int $limitnum How many results to return
978      * @return array Normalised limit params in array($limitfrom, $limitnum)
979      */
980     protected function normalise_limit_from_num($limitfrom, $limitnum) {
981         global $CFG;
983         // We explicilty treat these cases as 0.
984         if ($limitfrom === null || $limitfrom === '' || $limitfrom === -1) {
985             $limitfrom = 0;
986         }
987         if ($limitnum === null || $limitnum === '' || $limitnum === -1) {
988             $limitnum = 0;
989         }
991         if ($CFG->debugdeveloper) {
992             if (!is_numeric($limitfrom)) {
993                 $strvalue = var_export($limitfrom, true);
994                 debugging("Non-numeric limitfrom parameter detected: $strvalue, did you pass the correct arguments?",
995                     DEBUG_DEVELOPER);
996             } else if ($limitfrom < 0) {
997                 debugging("Negative limitfrom parameter detected: $limitfrom, did you pass the correct arguments?",
998                     DEBUG_DEVELOPER);
999             }
1001             if (!is_numeric($limitnum)) {
1002                 $strvalue = var_export($limitnum, true);
1003                 debugging("Non-numeric limitnum parameter detected: $strvalue, did you pass the correct arguments?",
1004                     DEBUG_DEVELOPER);
1005             } else if ($limitnum < 0) {
1006                 debugging("Negative limitnum parameter detected: $limitnum, did you pass the correct arguments?",
1007                     DEBUG_DEVELOPER);
1008             }
1009         }
1011         $limitfrom = (int)$limitfrom;
1012         $limitnum  = (int)$limitnum;
1013         $limitfrom = max(0, $limitfrom);
1014         $limitnum  = max(0, $limitnum);
1016         return array($limitfrom, $limitnum);
1017     }
1019     /**
1020      * Return tables in database WITHOUT current prefix.
1021      * @param bool $usecache if true, returns list of cached tables.
1022      * @return array of table names in lowercase and without prefix
1023      */
1024     public abstract function get_tables($usecache=true);
1026     /**
1027      * Return table indexes - everything lowercased.
1028      * @param string $table The table we want to get indexes from.
1029      * @return array An associative array of indexes containing 'unique' flag and 'columns' being indexed
1030      */
1031     public abstract function get_indexes($table);
1033     /**
1034      * Returns detailed information about columns in table. This information is cached internally.
1035      * @param string $table The table's name.
1036      * @param bool $usecache Flag to use internal cacheing. The default is true.
1037      * @return array of database_column_info objects indexed with column names
1038      */
1039     public abstract function get_columns($table, $usecache=true);
1041     /**
1042      * Normalise values based on varying RDBMS's dependencies (booleans, LOBs...)
1043      *
1044      * @param database_column_info $column column metadata corresponding with the value we are going to normalise
1045      * @param mixed $value value we are going to normalise
1046      * @return mixed the normalised value
1047      */
1048     protected abstract function normalise_value($column, $value);
1050     /**
1051      * Resets the internal column details cache
1052      * @return void
1053      */
1054     public function reset_caches() {
1055         $this->tables = null;
1056         // Purge MUC as well.
1057         $this->get_metacache()->purge();
1058         $this->metacache = null;
1059     }
1061     /**
1062      * Returns the sql generator used for db manipulation.
1063      * Used mostly in upgrade.php scripts.
1064      * @return database_manager The instance used to perform ddl operations.
1065      * @see lib/ddl/database_manager.php
1066      */
1067     public function get_manager() {
1068         global $CFG;
1070         if (!$this->database_manager) {
1071             require_once($CFG->libdir.'/ddllib.php');
1073             $classname = $this->get_dbfamily().'_sql_generator';
1074             require_once("$CFG->libdir/ddl/$classname.php");
1075             $generator = new $classname($this, $this->temptables);
1077             $this->database_manager = new database_manager($this, $generator);
1078         }
1079         return $this->database_manager;
1080     }
1082     /**
1083      * Attempts to change db encoding to UTF-8 encoding if possible.
1084      * @return bool True is successful.
1085      */
1086     public function change_db_encoding() {
1087         return false;
1088     }
1090     /**
1091      * Checks to see if the database is in unicode mode?
1092      * @return bool
1093      */
1094     public function setup_is_unicodedb() {
1095         return true;
1096     }
1098     /**
1099      * Enable/disable very detailed debugging.
1100      * @param bool $state
1101      * @return void
1102      */
1103     public function set_debug($state) {
1104         $this->debug = $state;
1105     }
1107     /**
1108      * Returns debug status
1109      * @return bool $state
1110      */
1111     public function get_debug() {
1112         return $this->debug;
1113     }
1115     /**
1116      * Enable/disable detailed sql logging
1117      *
1118      * @deprecated since Moodle 2.9
1119      */
1120     public function set_logging($state) {
1121         throw new coding_exception('set_logging() can not be used any more.');
1122     }
1124     /**
1125      * Do NOT use in code, this is for use by database_manager only!
1126      * @param string|array $sql query or array of queries
1127      * @return bool true
1128      * @throws ddl_change_structure_exception A DDL specific exception is thrown for any errors.
1129      */
1130     public abstract function change_database_structure($sql);
1132     /**
1133      * Executes a general sql query. Should be used only when no other method suitable.
1134      * Do NOT use this to make changes in db structure, use database_manager methods instead!
1135      * @param string $sql query
1136      * @param array $params query parameters
1137      * @return bool true
1138      * @throws dml_exception A DML specific exception is thrown for any errors.
1139      */
1140     public abstract function execute($sql, array $params=null);
1142     /**
1143      * Get a number of records as a moodle_recordset where all the given conditions met.
1144      *
1145      * Selects records from the table $table.
1146      *
1147      * If specified, only records meeting $conditions.
1148      *
1149      * If specified, the results will be sorted as specified by $sort. This
1150      * is added to the SQL as "ORDER BY $sort". Example values of $sort
1151      * might be "time ASC" or "time DESC".
1152      *
1153      * If $fields is specified, only those fields are returned.
1154      *
1155      * Since this method is a little less readable, use of it should be restricted to
1156      * code where it's possible there might be large datasets being returned.  For known
1157      * small datasets use get_records - it leads to simpler code.
1158      *
1159      * If you only want some of the records, specify $limitfrom and $limitnum.
1160      * The query will skip the first $limitfrom records (according to the sort
1161      * order) and then return the next $limitnum records. If either of $limitfrom
1162      * or $limitnum is specified, both must be present.
1163      *
1164      * The return value is a moodle_recordset
1165      * if the query succeeds. If an error occurs, false is returned.
1166      *
1167      * @param string $table the table to query.
1168      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1169      * @param string $sort an order to sort the results in (optional, a valid SQL ORDER BY parameter).
1170      * @param string $fields a comma separated list of fields to return (optional, by default all fields are returned).
1171      * @param int $limitfrom return a subset of records, starting at this point (optional).
1172      * @param int $limitnum return a subset comprising this many records (optional, required if $limitfrom is set).
1173      * @return moodle_recordset A moodle_recordset instance
1174      * @throws dml_exception A DML specific exception is thrown for any errors.
1175      */
1176     public function get_recordset($table, array $conditions=null, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1177         list($select, $params) = $this->where_clause($table, $conditions);
1178         return $this->get_recordset_select($table, $select, $params, $sort, $fields, $limitfrom, $limitnum);
1179     }
1181     /**
1182      * Get a number of records as a moodle_recordset where one field match one list of values.
1183      *
1184      * Only records where $field takes one of the values $values are returned.
1185      * $values must be an array of values.
1186      *
1187      * Other arguments and the return type are like {@link function get_recordset}.
1188      *
1189      * @param string $table the table to query.
1190      * @param string $field a field to check (optional).
1191      * @param array $values array of values the field must have
1192      * @param string $sort an order to sort the results in (optional, a valid SQL ORDER BY parameter).
1193      * @param string $fields a comma separated list of fields to return (optional, by default all fields are returned).
1194      * @param int $limitfrom return a subset of records, starting at this point (optional).
1195      * @param int $limitnum return a subset comprising this many records (optional, required if $limitfrom is set).
1196      * @return moodle_recordset A moodle_recordset instance.
1197      * @throws dml_exception A DML specific exception is thrown for any errors.
1198      */
1199     public function get_recordset_list($table, $field, array $values, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1200         list($select, $params) = $this->where_clause_list($field, $values);
1201         return $this->get_recordset_select($table, $select, $params, $sort, $fields, $limitfrom, $limitnum);
1202     }
1204     /**
1205      * Get a number of records as a moodle_recordset which match a particular WHERE clause.
1206      *
1207      * If given, $select is used as the SELECT parameter in the SQL query,
1208      * otherwise all records from the table are returned.
1209      *
1210      * Other arguments and the return type are like {@link function get_recordset}.
1211      *
1212      * @param string $table the table to query.
1213      * @param string $select A fragment of SQL to be used in a where clause in the SQL call.
1214      * @param array $params array of sql parameters
1215      * @param string $sort an order to sort the results in (optional, a valid SQL ORDER BY parameter).
1216      * @param string $fields a comma separated list of fields to return (optional, by default all fields are returned).
1217      * @param int $limitfrom return a subset of records, starting at this point (optional).
1218      * @param int $limitnum return a subset comprising this many records (optional, required if $limitfrom is set).
1219      * @return moodle_recordset A moodle_recordset instance.
1220      * @throws dml_exception A DML specific exception is thrown for any errors.
1221      */
1222     public function get_recordset_select($table, $select, array $params=null, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1223         $sql = "SELECT $fields FROM {".$table."}";
1224         if ($select) {
1225             $sql .= " WHERE $select";
1226         }
1227         if ($sort) {
1228             $sql .= " ORDER BY $sort";
1229         }
1230         return $this->get_recordset_sql($sql, $params, $limitfrom, $limitnum);
1231     }
1233     /**
1234      * Get a number of records as a moodle_recordset using a SQL statement.
1235      *
1236      * Since this method is a little less readable, use of it should be restricted to
1237      * code where it's possible there might be large datasets being returned.  For known
1238      * small datasets use get_records_sql - it leads to simpler code.
1239      *
1240      * The return type is like {@link function get_recordset}.
1241      *
1242      * @param string $sql the SQL select query to execute.
1243      * @param array $params array of sql parameters
1244      * @param int $limitfrom return a subset of records, starting at this point (optional).
1245      * @param int $limitnum return a subset comprising this many records (optional, required if $limitfrom is set).
1246      * @return moodle_recordset A moodle_recordset instance.
1247      * @throws dml_exception A DML specific exception is thrown for any errors.
1248      */
1249     public abstract function get_recordset_sql($sql, array $params=null, $limitfrom=0, $limitnum=0);
1251     /**
1252      * Get all records from a table.
1253      *
1254      * This method works around potential memory problems and may improve performance,
1255      * this method may block access to table until the recordset is closed.
1256      *
1257      * @param string $table Name of database table.
1258      * @return moodle_recordset A moodle_recordset instance {@link function get_recordset}.
1259      * @throws dml_exception A DML specific exception is thrown for any errors.
1260      */
1261     public function export_table_recordset($table) {
1262         return $this->get_recordset($table, array());
1263     }
1265     /**
1266      * Get a number of records as an array of objects where all the given conditions met.
1267      *
1268      * If the query succeeds and returns at least one record, the
1269      * return value is an array of objects, one object for each
1270      * record found. The array key is the value from the first
1271      * column of the result set. The object associated with that key
1272      * has a member variable for each column of the results.
1273      *
1274      * @param string $table the table to query.
1275      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1276      * @param string $sort an order to sort the results in (optional, a valid SQL ORDER BY parameter).
1277      * @param string $fields a comma separated list of fields to return (optional, by default
1278      *   all fields are returned). The first field will be used as key for the
1279      *   array so must be a unique field such as 'id'.
1280      * @param int $limitfrom return a subset of records, starting at this point (optional).
1281      * @param int $limitnum return a subset comprising this many records in total (optional, required if $limitfrom is set).
1282      * @return array An array of Objects indexed by first column.
1283      * @throws dml_exception A DML specific exception is thrown for any errors.
1284      */
1285     public function get_records($table, array $conditions=null, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1286         list($select, $params) = $this->where_clause($table, $conditions);
1287         return $this->get_records_select($table, $select, $params, $sort, $fields, $limitfrom, $limitnum);
1288     }
1290     /**
1291      * Get a number of records as an array of objects where one field match one list of values.
1292      *
1293      * Return value is like {@link function get_records}.
1294      *
1295      * @param string $table The database table to be checked against.
1296      * @param string $field The field to search
1297      * @param array $values An array of values
1298      * @param string $sort Sort order (as valid SQL sort parameter)
1299      * @param string $fields A comma separated list of fields to be returned from the chosen table. If specified,
1300      *   the first field should be a unique one such as 'id' since it will be used as a key in the associative
1301      *   array.
1302      * @param int $limitfrom return a subset of records, starting at this point (optional).
1303      * @param int $limitnum return a subset comprising this many records in total (optional).
1304      * @return array An array of objects indexed by first column
1305      * @throws dml_exception A DML specific exception is thrown for any errors.
1306      */
1307     public function get_records_list($table, $field, array $values, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1308         list($select, $params) = $this->where_clause_list($field, $values);
1309         return $this->get_records_select($table, $select, $params, $sort, $fields, $limitfrom, $limitnum);
1310     }
1312     /**
1313      * Get a number of records as an array of objects which match a particular WHERE clause.
1314      *
1315      * Return value is like {@link function get_records}.
1316      *
1317      * @param string $table The table to query.
1318      * @param string $select A fragment of SQL to be used in a where clause in the SQL call.
1319      * @param array $params An array of sql parameters
1320      * @param string $sort An order to sort the results in (optional, a valid SQL ORDER BY parameter).
1321      * @param string $fields A comma separated list of fields to return
1322      *   (optional, by default all fields are returned). The first field will be used as key for the
1323      *   array so must be a unique field such as 'id'.
1324      * @param int $limitfrom return a subset of records, starting at this point (optional).
1325      * @param int $limitnum return a subset comprising this many records in total (optional, required if $limitfrom is set).
1326      * @return array of objects indexed by first column
1327      * @throws dml_exception A DML specific exception is thrown for any errors.
1328      */
1329     public function get_records_select($table, $select, array $params=null, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1330         if ($select) {
1331             $select = "WHERE $select";
1332         }
1333         if ($sort) {
1334             $sort = " ORDER BY $sort";
1335         }
1336         return $this->get_records_sql("SELECT $fields FROM {" . $table . "} $select $sort", $params, $limitfrom, $limitnum);
1337     }
1339     /**
1340      * Get a number of records as an array of objects using a SQL statement.
1341      *
1342      * Return value is like {@link function get_records}.
1343      *
1344      * @param string $sql the SQL select query to execute. The first column of this SELECT statement
1345      *   must be a unique value (usually the 'id' field), as it will be used as the key of the
1346      *   returned array.
1347      * @param array $params array of sql parameters
1348      * @param int $limitfrom return a subset of records, starting at this point (optional).
1349      * @param int $limitnum return a subset comprising this many records in total (optional, required if $limitfrom is set).
1350      * @return array of objects indexed by first column
1351      * @throws dml_exception A DML specific exception is thrown for any errors.
1352      */
1353     public abstract function get_records_sql($sql, array $params=null, $limitfrom=0, $limitnum=0);
1355     /**
1356      * Get the first two columns from a number of records as an associative array where all the given conditions met.
1357      *
1358      * Arguments are like {@link function get_recordset}.
1359      *
1360      * If no errors occur the return value
1361      * is an associative whose keys come from the first field of each record,
1362      * and whose values are the corresponding second fields.
1363      * False is returned if an error occurs.
1364      *
1365      * @param string $table the table to query.
1366      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1367      * @param string $sort an order to sort the results in (optional, a valid SQL ORDER BY parameter).
1368      * @param string $fields a comma separated list of fields to return - the number of fields should be 2!
1369      * @param int $limitfrom return a subset of records, starting at this point (optional).
1370      * @param int $limitnum return a subset comprising this many records (optional, required if $limitfrom is set).
1371      * @return array an associative array
1372      * @throws dml_exception A DML specific exception is thrown for any errors.
1373      */
1374     public function get_records_menu($table, array $conditions=null, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1375         $menu = array();
1376         if ($records = $this->get_records($table, $conditions, $sort, $fields, $limitfrom, $limitnum)) {
1377             foreach ($records as $record) {
1378                 $record = (array)$record;
1379                 $key   = array_shift($record);
1380                 $value = array_shift($record);
1381                 $menu[$key] = $value;
1382             }
1383         }
1384         return $menu;
1385     }
1387     /**
1388      * Get the first two columns from a number of records as an associative array which match a particular WHERE clause.
1389      *
1390      * Arguments are like {@link function get_recordset_select}.
1391      * Return value is like {@link function get_records_menu}.
1392      *
1393      * @param string $table The database table to be checked against.
1394      * @param string $select A fragment of SQL to be used in a where clause in the SQL call.
1395      * @param array $params array of sql parameters
1396      * @param string $sort Sort order (optional) - a valid SQL order parameter
1397      * @param string $fields A comma separated list of fields to be returned from the chosen table - the number of fields should be 2!
1398      * @param int $limitfrom return a subset of records, starting at this point (optional).
1399      * @param int $limitnum return a subset comprising this many records (optional, required if $limitfrom is set).
1400      * @return array an associative array
1401      * @throws dml_exception A DML specific exception is thrown for any errors.
1402      */
1403     public function get_records_select_menu($table, $select, array $params=null, $sort='', $fields='*', $limitfrom=0, $limitnum=0) {
1404         $menu = array();
1405         if ($records = $this->get_records_select($table, $select, $params, $sort, $fields, $limitfrom, $limitnum)) {
1406             foreach ($records as $record) {
1407                 $record = (array)$record;
1408                 $key   = array_shift($record);
1409                 $value = array_shift($record);
1410                 $menu[$key] = $value;
1411             }
1412         }
1413         return $menu;
1414     }
1416     /**
1417      * Get the first two columns from a number of records as an associative array using a SQL statement.
1418      *
1419      * Arguments are like {@link function get_recordset_sql}.
1420      * Return value is like {@link function get_records_menu}.
1421      *
1422      * @param string $sql The SQL string you wish to be executed.
1423      * @param array $params array of sql parameters
1424      * @param int $limitfrom return a subset of records, starting at this point (optional).
1425      * @param int $limitnum return a subset comprising this many records (optional, required if $limitfrom is set).
1426      * @return array an associative array
1427      * @throws dml_exception A DML specific exception is thrown for any errors.
1428      */
1429     public function get_records_sql_menu($sql, array $params=null, $limitfrom=0, $limitnum=0) {
1430         $menu = array();
1431         if ($records = $this->get_records_sql($sql, $params, $limitfrom, $limitnum)) {
1432             foreach ($records as $record) {
1433                 $record = (array)$record;
1434                 $key   = array_shift($record);
1435                 $value = array_shift($record);
1436                 $menu[$key] = $value;
1437             }
1438         }
1439         return $menu;
1440     }
1442     /**
1443      * Get a single database record as an object where all the given conditions met.
1444      *
1445      * @param string $table The table to select from.
1446      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1447      * @param string $fields A comma separated list of fields to be returned from the chosen table.
1448      * @param int $strictness IGNORE_MISSING means compatible mode, false returned if record not found, debug message if more found;
1449      *                        IGNORE_MULTIPLE means return first, ignore multiple records found(not recommended);
1450      *                        MUST_EXIST means we will throw an exception if no record or multiple records found.
1451      *
1452      * @todo MDL-30407 MUST_EXIST option should not throw a dml_exception, it should throw a different exception as it's a requested check.
1453      * @return mixed a fieldset object containing the first matching record, false or exception if error not found depending on mode
1454      * @throws dml_exception A DML specific exception is thrown for any errors.
1455      */
1456     public function get_record($table, array $conditions, $fields='*', $strictness=IGNORE_MISSING) {
1457         list($select, $params) = $this->where_clause($table, $conditions);
1458         return $this->get_record_select($table, $select, $params, $fields, $strictness);
1459     }
1461     /**
1462      * Get a single database record as an object which match a particular WHERE clause.
1463      *
1464      * @param string $table The database table to be checked against.
1465      * @param string $select A fragment of SQL to be used in a where clause in the SQL call.
1466      * @param array $params array of sql parameters
1467      * @param string $fields A comma separated list of fields to be returned from the chosen table.
1468      * @param int $strictness IGNORE_MISSING means compatible mode, false returned if record not found, debug message if more found;
1469      *                        IGNORE_MULTIPLE means return first, ignore multiple records found(not recommended);
1470      *                        MUST_EXIST means throw exception if no record or multiple records found
1471      * @return stdClass|false a fieldset object containing the first matching record, false or exception if error not found depending on mode
1472      * @throws dml_exception A DML specific exception is thrown for any errors.
1473      */
1474     public function get_record_select($table, $select, array $params=null, $fields='*', $strictness=IGNORE_MISSING) {
1475         if ($select) {
1476             $select = "WHERE $select";
1477         }
1478         try {
1479             return $this->get_record_sql("SELECT $fields FROM {" . $table . "} $select", $params, $strictness);
1480         } catch (dml_missing_record_exception $e) {
1481             // create new exception which will contain correct table name
1482             throw new dml_missing_record_exception($table, $e->sql, $e->params);
1483         }
1484     }
1486     /**
1487      * Get a single database record as an object using a SQL statement.
1488      *
1489      * The SQL statement should normally only return one record.
1490      * It is recommended to use get_records_sql() if more matches possible!
1491      *
1492      * @param string $sql The SQL string you wish to be executed, should normally only return one record.
1493      * @param array $params array of sql parameters
1494      * @param int $strictness IGNORE_MISSING means compatible mode, false returned if record not found, debug message if more found;
1495      *                        IGNORE_MULTIPLE means return first, ignore multiple records found(not recommended);
1496      *                        MUST_EXIST means throw exception if no record or multiple records found
1497      * @return mixed a fieldset object containing the first matching record, false or exception if error not found depending on mode
1498      * @throws dml_exception A DML specific exception is thrown for any errors.
1499      */
1500     public function get_record_sql($sql, array $params=null, $strictness=IGNORE_MISSING) {
1501         $strictness = (int)$strictness; // we support true/false for BC reasons too
1502         if ($strictness == IGNORE_MULTIPLE) {
1503             $count = 1;
1504         } else {
1505             $count = 0;
1506         }
1507         if (!$records = $this->get_records_sql($sql, $params, 0, $count)) {
1508             // not found
1509             if ($strictness == MUST_EXIST) {
1510                 throw new dml_missing_record_exception('', $sql, $params);
1511             }
1512             return false;
1513         }
1515         if (count($records) > 1) {
1516             if ($strictness == MUST_EXIST) {
1517                 throw new dml_multiple_records_exception($sql, $params);
1518             }
1519             debugging('Error: mdb->get_record() found more than one record!');
1520         }
1522         $return = reset($records);
1523         return $return;
1524     }
1526     /**
1527      * Get a single field value from a table record where all the given conditions met.
1528      *
1529      * @param string $table the table to query.
1530      * @param string $return the field to return the value of.
1531      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1532      * @param int $strictness IGNORE_MISSING means compatible mode, false returned if record not found, debug message if more found;
1533      *                        IGNORE_MULTIPLE means return first, ignore multiple records found(not recommended);
1534      *                        MUST_EXIST means throw exception if no record or multiple records found
1535      * @return mixed the specified value false if not found
1536      * @throws dml_exception A DML specific exception is thrown for any errors.
1537      */
1538     public function get_field($table, $return, array $conditions, $strictness=IGNORE_MISSING) {
1539         list($select, $params) = $this->where_clause($table, $conditions);
1540         return $this->get_field_select($table, $return, $select, $params, $strictness);
1541     }
1543     /**
1544      * Get a single field value from a table record which match a particular WHERE clause.
1545      *
1546      * @param string $table the table to query.
1547      * @param string $return the field to return the value of.
1548      * @param string $select A fragment of SQL to be used in a where clause returning one row with one column
1549      * @param array $params array of sql parameters
1550      * @param int $strictness IGNORE_MISSING means compatible mode, false returned if record not found, debug message if more found;
1551      *                        IGNORE_MULTIPLE means return first, ignore multiple records found(not recommended);
1552      *                        MUST_EXIST means throw exception if no record or multiple records found
1553      * @return mixed the specified value false if not found
1554      * @throws dml_exception A DML specific exception is thrown for any errors.
1555      */
1556     public function get_field_select($table, $return, $select, array $params=null, $strictness=IGNORE_MISSING) {
1557         if ($select) {
1558             $select = "WHERE $select";
1559         }
1560         try {
1561             return $this->get_field_sql("SELECT $return FROM {" . $table . "} $select", $params, $strictness);
1562         } catch (dml_missing_record_exception $e) {
1563             // create new exception which will contain correct table name
1564             throw new dml_missing_record_exception($table, $e->sql, $e->params);
1565         }
1566     }
1568     /**
1569      * Get a single field value (first field) using a SQL statement.
1570      *
1571      * @param string $sql The SQL query returning one row with one column
1572      * @param array $params array of sql parameters
1573      * @param int $strictness IGNORE_MISSING means compatible mode, false returned if record not found, debug message if more found;
1574      *                        IGNORE_MULTIPLE means return first, ignore multiple records found(not recommended);
1575      *                        MUST_EXIST means throw exception if no record or multiple records found
1576      * @return mixed the specified value false if not found
1577      * @throws dml_exception A DML specific exception is thrown for any errors.
1578      */
1579     public function get_field_sql($sql, array $params=null, $strictness=IGNORE_MISSING) {
1580         if (!$record = $this->get_record_sql($sql, $params, $strictness)) {
1581             return false;
1582         }
1584         $record = (array)$record;
1585         return reset($record); // first column
1586     }
1588     /**
1589      * Selects records and return values of chosen field as an array which match a particular WHERE clause.
1590      *
1591      * @param string $table the table to query.
1592      * @param string $return the field we are intered in
1593      * @param string $select A fragment of SQL to be used in a where clause in the SQL call.
1594      * @param array $params array of sql parameters
1595      * @return array of values
1596      * @throws dml_exception A DML specific exception is thrown for any errors.
1597      */
1598     public function get_fieldset_select($table, $return, $select, array $params=null) {
1599         if ($select) {
1600             $select = "WHERE $select";
1601         }
1602         return $this->get_fieldset_sql("SELECT $return FROM {" . $table . "} $select", $params);
1603     }
1605     /**
1606      * Selects records and return values (first field) as an array using a SQL statement.
1607      *
1608      * @param string $sql The SQL query
1609      * @param array $params array of sql parameters
1610      * @return array of values
1611      * @throws dml_exception A DML specific exception is thrown for any errors.
1612      */
1613     public abstract function get_fieldset_sql($sql, array $params=null);
1615     /**
1616      * Insert new record into database, as fast as possible, no safety checks, lobs not supported.
1617      * @param string $table name
1618      * @param mixed $params data record as object or array
1619      * @param bool $returnid Returns id of inserted record.
1620      * @param bool $bulk true means repeated inserts expected
1621      * @param bool $customsequence true if 'id' included in $params, disables $returnid
1622      * @return bool|int true or new id
1623      * @throws dml_exception A DML specific exception is thrown for any errors.
1624      */
1625     public abstract function insert_record_raw($table, $params, $returnid=true, $bulk=false, $customsequence=false);
1627     /**
1628      * Insert a record into a table and return the "id" field if required.
1629      *
1630      * Some conversions and safety checks are carried out. Lobs are supported.
1631      * If the return ID isn't required, then this just reports success as true/false.
1632      * $data is an object containing needed data
1633      * @param string $table The database table to be inserted into
1634      * @param object $dataobject A data object with values for one or more fields in the record
1635      * @param bool $returnid Should the id of the newly created record entry be returned? If this option is not requested then true/false is returned.
1636      * @param bool $bulk Set to true is multiple inserts are expected
1637      * @return bool|int true or new id
1638      * @throws dml_exception A DML specific exception is thrown for any errors.
1639      */
1640     public abstract function insert_record($table, $dataobject, $returnid=true, $bulk=false);
1642     /**
1643      * Insert multiple records into database as fast as possible.
1644      *
1645      * Order of inserts is maintained, but the operation is not atomic,
1646      * use transactions if necessary.
1647      *
1648      * This method is intended for inserting of large number of small objects,
1649      * do not use for huge objects with text or binary fields.
1650      *
1651      * @since Moodle 2.7
1652      *
1653      * @param string $table  The database table to be inserted into
1654      * @param array|Traversable $dataobjects list of objects to be inserted, must be compatible with foreach
1655      * @return void does not return new record ids
1656      *
1657      * @throws coding_exception if data objects have different structure
1658      * @throws dml_exception A DML specific exception is thrown for any errors.
1659      */
1660     public function insert_records($table, $dataobjects) {
1661         if (!is_array($dataobjects) and !($dataobjects instanceof Traversable)) {
1662             throw new coding_exception('insert_records() passed non-traversable object');
1663         }
1665         $fields = null;
1666         // Note: override in driver if there is a faster way.
1667         foreach ($dataobjects as $dataobject) {
1668             if (!is_array($dataobject) and !is_object($dataobject)) {
1669                 throw new coding_exception('insert_records() passed invalid record object');
1670             }
1671             $dataobject = (array)$dataobject;
1672             if ($fields === null) {
1673                 $fields = array_keys($dataobject);
1674             } else if ($fields !== array_keys($dataobject)) {
1675                 throw new coding_exception('All dataobjects in insert_records() must have the same structure!');
1676             }
1677             $this->insert_record($table, $dataobject, false);
1678         }
1679     }
1681     /**
1682      * Import a record into a table, id field is required.
1683      * Safety checks are NOT carried out. Lobs are supported.
1684      *
1685      * @param string $table name of database table to be inserted into
1686      * @param object $dataobject A data object with values for one or more fields in the record
1687      * @return bool true
1688      * @throws dml_exception A DML specific exception is thrown for any errors.
1689      */
1690     public abstract function import_record($table, $dataobject);
1692     /**
1693      * Update record in database, as fast as possible, no safety checks, lobs not supported.
1694      * @param string $table name
1695      * @param mixed $params data record as object or array
1696      * @param bool $bulk True means repeated updates expected.
1697      * @return bool true
1698      * @throws dml_exception A DML specific exception is thrown for any errors.
1699      */
1700     public abstract function update_record_raw($table, $params, $bulk=false);
1702     /**
1703      * Update a record in a table
1704      *
1705      * $dataobject is an object containing needed data
1706      * Relies on $dataobject having a variable "id" to
1707      * specify the record to update
1708      *
1709      * @param string $table The database table to be checked against.
1710      * @param object $dataobject An object with contents equal to fieldname=>fieldvalue. Must have an entry for 'id' to map to the table specified.
1711      * @param bool $bulk True means repeated updates expected.
1712      * @return bool true
1713      * @throws dml_exception A DML specific exception is thrown for any errors.
1714      */
1715     public abstract function update_record($table, $dataobject, $bulk=false);
1717     /**
1718      * Set a single field in every table record where all the given conditions met.
1719      *
1720      * @param string $table The database table to be checked against.
1721      * @param string $newfield the field to set.
1722      * @param string $newvalue the value to set the field to.
1723      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1724      * @return bool true
1725      * @throws dml_exception A DML specific exception is thrown for any errors.
1726      */
1727     public function set_field($table, $newfield, $newvalue, array $conditions=null) {
1728         list($select, $params) = $this->where_clause($table, $conditions);
1729         return $this->set_field_select($table, $newfield, $newvalue, $select, $params);
1730     }
1732     /**
1733      * Set a single field in every table record which match a particular WHERE clause.
1734      *
1735      * @param string $table The database table to be checked against.
1736      * @param string $newfield the field to set.
1737      * @param string $newvalue the value to set the field to.
1738      * @param string $select A fragment of SQL to be used in a where clause in the SQL call.
1739      * @param array $params array of sql parameters
1740      * @return bool true
1741      * @throws dml_exception A DML specific exception is thrown for any errors.
1742      */
1743     public abstract function set_field_select($table, $newfield, $newvalue, $select, array $params=null);
1746     /**
1747      * Count the records in a table where all the given conditions met.
1748      *
1749      * @param string $table The table to query.
1750      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1751      * @return int The count of records returned from the specified criteria.
1752      * @throws dml_exception A DML specific exception is thrown for any errors.
1753      */
1754     public function count_records($table, array $conditions=null) {
1755         list($select, $params) = $this->where_clause($table, $conditions);
1756         return $this->count_records_select($table, $select, $params);
1757     }
1759     /**
1760      * Count the records in a table which match a particular WHERE clause.
1761      *
1762      * @param string $table The database table to be checked against.
1763      * @param string $select A fragment of SQL to be used in a WHERE clause in the SQL call.
1764      * @param array $params array of sql parameters
1765      * @param string $countitem The count string to be used in the SQL call. Default is COUNT('x').
1766      * @return int The count of records returned from the specified criteria.
1767      * @throws dml_exception A DML specific exception is thrown for any errors.
1768      */
1769     public function count_records_select($table, $select, array $params=null, $countitem="COUNT('x')") {
1770         if ($select) {
1771             $select = "WHERE $select";
1772         }
1773         return $this->count_records_sql("SELECT $countitem FROM {" . $table . "} $select", $params);
1774     }
1776     /**
1777      * Get the result of a SQL SELECT COUNT(...) query.
1778      *
1779      * Given a query that counts rows, return that count. (In fact,
1780      * given any query, return the first field of the first record
1781      * returned. However, this method should only be used for the
1782      * intended purpose.) If an error occurs, 0 is returned.
1783      *
1784      * @param string $sql The SQL string you wish to be executed.
1785      * @param array $params array of sql parameters
1786      * @return int the count
1787      * @throws dml_exception A DML specific exception is thrown for any errors.
1788      */
1789     public function count_records_sql($sql, array $params=null) {
1790         $count = $this->get_field_sql($sql, $params);
1791         if ($count === false or !is_number($count) or $count < 0) {
1792             throw new coding_exception("count_records_sql() expects the first field to contain non-negative number from COUNT(), '$count' found instead.");
1793         }
1794         return (int)$count;
1795     }
1797     /**
1798      * Test whether a record exists in a table where all the given conditions met.
1799      *
1800      * @param string $table The table to check.
1801      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1802      * @return bool true if a matching record exists, else false.
1803      * @throws dml_exception A DML specific exception is thrown for any errors.
1804      */
1805     public function record_exists($table, array $conditions) {
1806         list($select, $params) = $this->where_clause($table, $conditions);
1807         return $this->record_exists_select($table, $select, $params);
1808     }
1810     /**
1811      * Test whether any records exists in a table which match a particular WHERE clause.
1812      *
1813      * @param string $table The database table to be checked against.
1814      * @param string $select A fragment of SQL to be used in a WHERE clause in the SQL call.
1815      * @param array $params array of sql parameters
1816      * @return bool true if a matching record exists, else false.
1817      * @throws dml_exception A DML specific exception is thrown for any errors.
1818      */
1819     public function record_exists_select($table, $select, array $params=null) {
1820         if ($select) {
1821             $select = "WHERE $select";
1822         }
1823         return $this->record_exists_sql("SELECT 'x' FROM {" . $table . "} $select", $params);
1824     }
1826     /**
1827      * Test whether a SQL SELECT statement returns any records.
1828      *
1829      * This function returns true if the SQL statement executes
1830      * without any errors and returns at least one record.
1831      *
1832      * @param string $sql The SQL statement to execute.
1833      * @param array $params array of sql parameters
1834      * @return bool true if the SQL executes without errors and returns at least one record.
1835      * @throws dml_exception A DML specific exception is thrown for any errors.
1836      */
1837     public function record_exists_sql($sql, array $params=null) {
1838         $mrs = $this->get_recordset_sql($sql, $params, 0, 1);
1839         $return = $mrs->valid();
1840         $mrs->close();
1841         return $return;
1842     }
1844     /**
1845      * Delete the records from a table where all the given conditions met.
1846      * If conditions not specified, table is truncated.
1847      *
1848      * @param string $table the table to delete from.
1849      * @param array $conditions optional array $fieldname=>requestedvalue with AND in between
1850      * @return bool true.
1851      * @throws dml_exception A DML specific exception is thrown for any errors.
1852      */
1853     public function delete_records($table, array $conditions=null) {
1854         // truncate is drop/create (DDL), not transactional safe,
1855         // so we don't use the shortcut within them. MDL-29198
1856         if (is_null($conditions) && empty($this->transactions)) {
1857             return $this->execute("TRUNCATE TABLE {".$table."}");
1858         }
1859         list($select, $params) = $this->where_clause($table, $conditions);
1860         return $this->delete_records_select($table, $select, $params);
1861     }
1863     /**
1864      * Delete the records from a table where one field match one list of values.
1865      *
1866      * @param string $table the table to delete from.
1867      * @param string $field The field to search
1868      * @param array $values array of values
1869      * @return bool true.
1870      * @throws dml_exception A DML specific exception is thrown for any errors.
1871      */
1872     public function delete_records_list($table, $field, array $values) {
1873         list($select, $params) = $this->where_clause_list($field, $values);
1874         return $this->delete_records_select($table, $select, $params);
1875     }
1877     /**
1878      * Delete one or more records from a table which match a particular WHERE clause.
1879      *
1880      * @param string $table The database table to be checked against.
1881      * @param string $select A fragment of SQL to be used in a where clause in the SQL call (used to define the selection criteria).
1882      * @param array $params array of sql parameters
1883      * @return bool true.
1884      * @throws dml_exception A DML specific exception is thrown for any errors.
1885      */
1886     public abstract function delete_records_select($table, $select, array $params=null);
1888     /**
1889      * Returns the FROM clause required by some DBs in all SELECT statements.
1890      *
1891      * To be used in queries not having FROM clause to provide cross_db
1892      * Most DBs don't need it, hence the default is ''
1893      * @return string
1894      */
1895     public function sql_null_from_clause() {
1896         return '';
1897     }
1899     /**
1900      * Returns the SQL text to be used in order to perform one bitwise AND operation
1901      * between 2 integers.
1902      *
1903      * NOTE: The SQL result is a number and can not be used directly in
1904      *       SQL condition, please compare it to some number to get a bool!!
1905      *
1906      * @param int $int1 First integer in the operation.
1907      * @param int $int2 Second integer in the operation.
1908      * @return string The piece of SQL code to be used in your statement.
1909      */
1910     public function sql_bitand($int1, $int2) {
1911         return '((' . $int1 . ') & (' . $int2 . '))';
1912     }
1914     /**
1915      * Returns the SQL text to be used in order to perform one bitwise NOT operation
1916      * with 1 integer.
1917      *
1918      * @param int $int1 The operand integer in the operation.
1919      * @return string The piece of SQL code to be used in your statement.
1920      */
1921     public function sql_bitnot($int1) {
1922         return '(~(' . $int1 . '))';
1923     }
1925     /**
1926      * Returns the SQL text to be used in order to perform one bitwise OR operation
1927      * between 2 integers.
1928      *
1929      * NOTE: The SQL result is a number and can not be used directly in
1930      *       SQL condition, please compare it to some number to get a bool!!
1931      *
1932      * @param int $int1 The first operand integer in the operation.
1933      * @param int $int2 The second operand integer in the operation.
1934      * @return string The piece of SQL code to be used in your statement.
1935      */
1936     public function sql_bitor($int1, $int2) {
1937         return '((' . $int1 . ') | (' . $int2 . '))';
1938     }
1940     /**
1941      * Returns the SQL text to be used in order to perform one bitwise XOR operation
1942      * between 2 integers.
1943      *
1944      * NOTE: The SQL result is a number and can not be used directly in
1945      *       SQL condition, please compare it to some number to get a bool!!
1946      *
1947      * @param int $int1 The first operand integer in the operation.
1948      * @param int $int2 The second operand integer in the operation.
1949      * @return string The piece of SQL code to be used in your statement.
1950      */
1951     public function sql_bitxor($int1, $int2) {
1952         return '((' . $int1 . ') ^ (' . $int2 . '))';
1953     }
1955     /**
1956      * Returns the SQL text to be used in order to perform module '%'
1957      * operation - remainder after division
1958      *
1959      * @param int $int1 The first operand integer in the operation.
1960      * @param int $int2 The second operand integer in the operation.
1961      * @return string The piece of SQL code to be used in your statement.
1962      */
1963     public function sql_modulo($int1, $int2) {
1964         return '((' . $int1 . ') % (' . $int2 . '))';
1965     }
1967     /**
1968      * Returns the cross db correct CEIL (ceiling) expression applied to fieldname.
1969      * note: Most DBs use CEIL(), hence it's the default here.
1970      *
1971      * @param string $fieldname The field (or expression) we are going to ceil.
1972      * @return string The piece of SQL code to be used in your ceiling statement.
1973      */
1974     public function sql_ceil($fieldname) {
1975         return ' CEIL(' . $fieldname . ')';
1976     }
1978     /**
1979      * Returns the SQL to be used in order to CAST one CHAR column to INTEGER.
1980      *
1981      * Be aware that the CHAR column you're trying to cast contains really
1982      * int values or the RDBMS will throw an error!
1983      *
1984      * @param string $fieldname The name of the field to be casted.
1985      * @param bool $text Specifies if the original column is one TEXT (CLOB) column (true). Defaults to false.
1986      * @return string The piece of SQL code to be used in your statement.
1987      */
1988     public function sql_cast_char2int($fieldname, $text=false) {
1989         return ' ' . $fieldname . ' ';
1990     }
1992     /**
1993      * Returns the SQL to be used in order to CAST one CHAR column to REAL number.
1994      *
1995      * Be aware that the CHAR column you're trying to cast contains really
1996      * numbers or the RDBMS will throw an error!
1997      *
1998      * @param string $fieldname The name of the field to be casted.
1999      * @param bool $text Specifies if the original column is one TEXT (CLOB) column (true). Defaults to false.
2000      * @return string The piece of SQL code to be used in your statement.
2001      */
2002     public function sql_cast_char2real($fieldname, $text=false) {
2003         return ' ' . $fieldname . ' ';
2004     }
2006     /**
2007      * Returns the SQL to be used in order to an UNSIGNED INTEGER column to SIGNED.
2008      *
2009      * (Only MySQL needs this. MySQL things that 1 * -1 = 18446744073709551615
2010      * if the 1 comes from an unsigned column).
2011      *
2012      * @deprecated since 2.3
2013      * @param string $fieldname The name of the field to be cast
2014      * @return string The piece of SQL code to be used in your statement.
2015      */
2016     public function sql_cast_2signed($fieldname) {
2017         return ' ' . $fieldname . ' ';
2018     }
2020     /**
2021      * Returns the SQL text to be used to compare one TEXT (clob) column with
2022      * one varchar column, because some RDBMS doesn't support such direct
2023      * comparisons.
2024      *
2025      * @param string $fieldname The name of the TEXT field we need to order by
2026      * @param int $numchars Number of chars to use for the ordering (defaults to 32).
2027      * @return string The piece of SQL code to be used in your statement.
2028      */
2029     public function sql_compare_text($fieldname, $numchars=32) {
2030         return $this->sql_order_by_text($fieldname, $numchars);
2031     }
2033     /**
2034      * Returns 'LIKE' part of a query.
2035      *
2036      * @param string $fieldname Usually the name of the table column.
2037      * @param string $param Usually the bound query parameter (?, :named).
2038      * @param bool $casesensitive Use case sensitive search when set to true (default).
2039      * @param bool $accentsensitive Use accent sensitive search when set to true (default). (not all databases support accent insensitive)
2040      * @param bool $notlike True means "NOT LIKE".
2041      * @param string $escapechar The escape char for '%' and '_'.
2042      * @return string The SQL code fragment.
2043      */
2044     public function sql_like($fieldname, $param, $casesensitive = true, $accentsensitive = true, $notlike = false, $escapechar = '\\') {
2045         if (strpos($param, '%') !== false) {
2046             debugging('Potential SQL injection detected, sql_like() expects bound parameters (? or :named)');
2047         }
2048         $LIKE = $notlike ? 'NOT LIKE' : 'LIKE';
2049         // by default ignore any sensitiveness - each database does it in a different way
2050         return "$fieldname $LIKE $param ESCAPE '$escapechar'";
2051     }
2053     /**
2054      * Escape sql LIKE special characters like '_' or '%'.
2055      * @param string $text The string containing characters needing escaping.
2056      * @param string $escapechar The desired escape character, defaults to '\\'.
2057      * @return string The escaped sql LIKE string.
2058      */
2059     public function sql_like_escape($text, $escapechar = '\\') {
2060         $text = str_replace('_', $escapechar.'_', $text);
2061         $text = str_replace('%', $escapechar.'%', $text);
2062         return $text;
2063     }
2065     /**
2066      * Returns the proper SQL to do CONCAT between the elements(fieldnames) passed.
2067      *
2068      * This function accepts variable number of string parameters.
2069      * All strings/fieldnames will used in the SQL concatenate statement generated.
2070      *
2071      * @return string The SQL to concatenate strings passed in.
2072      * @uses func_get_args()  and thus parameters are unlimited OPTIONAL number of additional field names.
2073      */
2074     public abstract function sql_concat();
2076     /**
2077      * Returns the proper SQL to do CONCAT between the elements passed
2078      * with a given separator
2079      *
2080      * @param string $separator The separator desired for the SQL concatenating $elements.
2081      * @param array  $elements The array of strings to be concatenated.
2082      * @return string The SQL to concatenate the strings.
2083      */
2084     public abstract function sql_concat_join($separator="' '", $elements=array());
2086     /**
2087      * Returns the proper SQL (for the dbms in use) to concatenate $firstname and $lastname
2088      *
2089      * @todo MDL-31233 This may not be needed here.
2090      *
2091      * @param string $first User's first name (default:'firstname').
2092      * @param string $last User's last name (default:'lastname').
2093      * @return string The SQL to concatenate strings.
2094      */
2095     function sql_fullname($first='firstname', $last='lastname') {
2096         return $this->sql_concat($first, "' '", $last);
2097     }
2099     /**
2100      * Returns the SQL text to be used to order by one TEXT (clob) column, because
2101      * some RDBMS doesn't support direct ordering of such fields.
2102      *
2103      * Note that the use or queries being ordered by TEXT columns must be minimised,
2104      * because it's really slooooooow.
2105      *
2106      * @param string $fieldname The name of the TEXT field we need to order by.
2107      * @param int $numchars The number of chars to use for the ordering (defaults to 32).
2108      * @return string The piece of SQL code to be used in your statement.
2109      */
2110     public function sql_order_by_text($fieldname, $numchars=32) {
2111         return $fieldname;
2112     }
2114     /**
2115      * Returns the SQL text to be used to calculate the length in characters of one expression.
2116      * @param string $fieldname The fieldname/expression to calculate its length in characters.
2117      * @return string the piece of SQL code to be used in the statement.
2118      */
2119     public function sql_length($fieldname) {
2120         return ' LENGTH(' . $fieldname . ')';
2121     }
2123     /**
2124      * Returns the proper substr() SQL text used to extract substrings from DB
2125      * NOTE: this was originally returning only function name
2126      *
2127      * @param string $expr Some string field, no aggregates.
2128      * @param mixed $start Integer or expression evaluating to integer (1 based value; first char has index 1)
2129      * @param mixed $length Optional integer or expression evaluating to integer.
2130      * @return string The sql substring extraction fragment.
2131      */
2132     public function sql_substr($expr, $start, $length=false) {
2133         if (count(func_get_args()) < 2) {
2134             throw new coding_exception('moodle_database::sql_substr() requires at least two parameters', 'Originally this function was only returning name of SQL substring function, it now requires all parameters.');
2135         }
2136         if ($length === false) {
2137             return "SUBSTR($expr, $start)";
2138         } else {
2139             return "SUBSTR($expr, $start, $length)";
2140         }
2141     }
2143     /**
2144      * Returns the SQL for returning searching one string for the location of another.
2145      *
2146      * Note, there is no guarantee which order $needle, $haystack will be in
2147      * the resulting SQL so when using this method, and both arguments contain
2148      * placeholders, you should use named placeholders.
2149      *
2150      * @param string $needle the SQL expression that will be searched for.
2151      * @param string $haystack the SQL expression that will be searched in.
2152      * @return string The required searching SQL part.
2153      */
2154     public function sql_position($needle, $haystack) {
2155         // Implementation using standard SQL.
2156         return "POSITION(($needle) IN ($haystack))";
2157     }
2159     /**
2160      * This used to return empty string replacement character.
2161      *
2162      * @deprecated use bound parameter with empty string instead
2163      *
2164      * @return string An empty string.
2165      */
2166     function sql_empty() {
2167         debugging("sql_empty() is deprecated, please use empty string '' as sql parameter value instead", DEBUG_DEVELOPER);
2168         return '';
2169     }
2171     /**
2172      * Returns the proper SQL to know if one field is empty.
2173      *
2174      * Note that the function behavior strongly relies on the
2175      * parameters passed describing the field so, please,  be accurate
2176      * when specifying them.
2177      *
2178      * Also, note that this function is not suitable to look for
2179      * fields having NULL contents at all. It's all for empty values!
2180      *
2181      * This function should be applied in all the places where conditions of
2182      * the type:
2183      *
2184      *     ... AND fieldname = '';
2185      *
2186      * are being used. Final result for text fields should be:
2187      *
2188      *     ... AND ' . sql_isempty('tablename', 'fieldname', true/false, true);
2189      *
2190      * and for varchar fields result should be:
2191      *
2192      *    ... AND fieldname = :empty; "; $params['empty'] = '';
2193      *
2194      * (see parameters description below)
2195      *
2196      * @param string $tablename Name of the table (without prefix). Not used for now but can be
2197      *                          necessary in the future if we want to use some introspection using
2198      *                          meta information against the DB. /// TODO ///
2199      * @param string $fieldname Name of the field we are going to check
2200      * @param bool $nullablefield For specifying if the field is nullable (true) or no (false) in the DB.
2201      * @param bool $textfield For specifying if it is a text (also called clob) field (true) or a varchar one (false)
2202      * @return string the sql code to be added to check for empty values
2203      */
2204     public function sql_isempty($tablename, $fieldname, $nullablefield, $textfield) {
2205         return " ($fieldname = '') ";
2206     }
2208     /**
2209      * Returns the proper SQL to know if one field is not empty.
2210      *
2211      * Note that the function behavior strongly relies on the
2212      * parameters passed describing the field so, please,  be accurate
2213      * when specifying them.
2214      *
2215      * This function should be applied in all the places where conditions of
2216      * the type:
2217      *
2218      *     ... AND fieldname != '';
2219      *
2220      * are being used. Final result for text fields should be:
2221      *
2222      *     ... AND ' . sql_isnotempty('tablename', 'fieldname', true/false, true/false);
2223      *
2224      * and for varchar fields result should be:
2225      *
2226      *    ... AND fieldname != :empty; "; $params['empty'] = '';
2227      *
2228      * (see parameters description below)
2229      *
2230      * @param string $tablename Name of the table (without prefix). This is not used for now but can be
2231      *                          necessary in the future if we want to use some introspection using
2232      *                          meta information against the DB.
2233      * @param string $fieldname The name of the field we are going to check.
2234      * @param bool $nullablefield Specifies if the field is nullable (true) or not (false) in the DB.
2235      * @param bool $textfield Specifies if it is a text (also called clob) field (true) or a varchar one (false).
2236      * @return string The sql code to be added to check for non empty values.
2237      */
2238     public function sql_isnotempty($tablename, $fieldname, $nullablefield, $textfield) {
2239         return ' ( NOT ' . $this->sql_isempty($tablename, $fieldname, $nullablefield, $textfield) . ') ';
2240     }
2242     /**
2243      * Returns true if this database driver supports regex syntax when searching.
2244      * @return bool True if supported.
2245      */
2246     public function sql_regex_supported() {
2247         return false;
2248     }
2250     /**
2251      * Returns the driver specific syntax (SQL part) for matching regex positively or negatively (inverted matching).
2252      * Eg: 'REGEXP':'NOT REGEXP' or '~*' : '!~*'
2253      * @param bool $positivematch
2254      * @return string or empty if not supported
2255      */
2256     public function sql_regex($positivematch=true) {
2257         return '';
2258     }
2260     /**
2261      * Returns the SQL that allows to find intersection of two or more queries
2262      *
2263      * @since Moodle 2.8
2264      *
2265      * @param array $selects array of SQL select queries, each of them only returns fields with the names from $fields
2266      * @param string $fields comma-separated list of fields (used only by some DB engines)
2267      * @return string SQL query that will return only values that are present in each of selects
2268      */
2269     public function sql_intersect($selects, $fields) {
2270         if (!count($selects)) {
2271             throw new coding_exception('sql_intersect() requires at least one element in $selects');
2272         } else if (count($selects) == 1) {
2273             return $selects[0];
2274         }
2275         static $aliascnt = 0;
2276         $rv = '('.$selects[0].')';
2277         for ($i = 1; $i < count($selects); $i++) {
2278             $rv .= " INTERSECT (".$selects[$i].')';
2279         }
2280         return $rv;
2281     }
2283     /**
2284      * Does this driver support tool_replace?
2285      *
2286      * @since Moodle 2.6.1
2287      * @return bool
2288      */
2289     public function replace_all_text_supported() {
2290         return false;
2291     }
2293     /**
2294      * Replace given text in all rows of column.
2295      *
2296      * @since Moodle 2.6.1
2297      * @param string $table name of the table
2298      * @param database_column_info $column
2299      * @param string $search
2300      * @param string $replace
2301      */
2302     public function replace_all_text($table, database_column_info $column, $search, $replace) {
2303         if (!$this->replace_all_text_supported()) {
2304             return;
2305         }
2307         // NOTE: override this methods if following standard compliant SQL
2308         //       does not work for your driver.
2310         $columnname = $column->name;
2311         $sql = "UPDATE {".$table."}
2312                        SET $columnname = REPLACE($columnname, ?, ?)
2313                      WHERE $columnname IS NOT NULL";
2315         if ($column->meta_type === 'X') {
2316             $this->execute($sql, array($search, $replace));
2318         } else if ($column->meta_type === 'C') {
2319             if (core_text::strlen($search) < core_text::strlen($replace)) {
2320                 $colsize = $column->max_length;
2321                 $sql = "UPDATE {".$table."}
2322                        SET $columnname = " . $this->sql_substr("REPLACE(" . $columnname . ", ?, ?)", 1, $colsize) . "
2323                      WHERE $columnname IS NOT NULL";
2324             }
2325             $this->execute($sql, array($search, $replace));
2326         }
2327     }
2329     /**
2330      * Analyze the data in temporary tables to force statistics collection after bulk data loads.
2331      *
2332      * @return void
2333      */
2334     public function update_temp_table_stats() {
2335         $this->temptables->update_stats();
2336     }
2338     /**
2339      * Checks and returns true if transactions are supported.
2340      *
2341      * It is not responsible to run productions servers
2342      * on databases without transaction support ;-)
2343      *
2344      * Override in driver if needed.
2345      *
2346      * @return bool
2347      */
2348     protected function transactions_supported() {
2349         // protected for now, this might be changed to public if really necessary
2350         return true;
2351     }
2353     /**
2354      * Returns true if a transaction is in progress.
2355      * @return bool
2356      */
2357     public function is_transaction_started() {
2358         return !empty($this->transactions);
2359     }
2361     /**
2362      * This is a test that throws an exception if transaction in progress.
2363      * This test does not force rollback of active transactions.
2364      * @return void
2365      * @throws dml_transaction_exception if stansaction active
2366      */
2367     public function transactions_forbidden() {
2368         if ($this->is_transaction_started()) {
2369             throw new dml_transaction_exception('This code can not be excecuted in transaction');
2370         }
2371     }
2373     /**
2374      * On DBs that support it, switch to transaction mode and begin a transaction
2375      * you'll need to ensure you call allow_commit() on the returned object
2376      * or your changes *will* be lost.
2377      *
2378      * this is _very_ useful for massive updates
2379      *
2380      * Delegated database transactions can be nested, but only one actual database
2381      * transaction is used for the outer-most delegated transaction. This method
2382      * returns a transaction object which you should keep until the end of the
2383      * delegated transaction. The actual database transaction will
2384      * only be committed if all the nested delegated transactions commit
2385      * successfully. If any part of the transaction rolls back then the whole
2386      * thing is rolled back.
2387      *
2388      * @return moodle_transaction
2389      */
2390     public function start_delegated_transaction() {
2391         $transaction = new moodle_transaction($this);
2392         $this->transactions[] = $transaction;
2393         if (count($this->transactions) == 1) {
2394             $this->begin_transaction();
2395         }
2396         return $transaction;
2397     }
2399     /**
2400      * Driver specific start of real database transaction,
2401      * this can not be used directly in code.
2402      * @return void
2403      */
2404     protected abstract function begin_transaction();
2406     /**
2407      * Indicates delegated transaction finished successfully.
2408      * The real database transaction is committed only if
2409      * all delegated transactions committed.
2410      * @param moodle_transaction $transaction The transaction to commit
2411      * @return void
2412      * @throws dml_transaction_exception Creates and throws transaction related exceptions.
2413      */
2414     public function commit_delegated_transaction(moodle_transaction $transaction) {
2415         if ($transaction->is_disposed()) {
2416             throw new dml_transaction_exception('Transactions already disposed', $transaction);
2417         }
2418         // mark as disposed so that it can not be used again
2419         $transaction->dispose();
2421         if (empty($this->transactions)) {
2422             throw new dml_transaction_exception('Transaction not started', $transaction);
2423         }
2425         if ($this->force_rollback) {
2426             throw new dml_transaction_exception('Tried to commit transaction after lower level rollback', $transaction);
2427         }
2429         if ($transaction !== $this->transactions[count($this->transactions) - 1]) {
2430             // one incorrect commit at any level rollbacks everything
2431             $this->force_rollback = true;
2432             throw new dml_transaction_exception('Invalid transaction commit attempt', $transaction);
2433         }
2435         if (count($this->transactions) == 1) {
2436             // only commit the top most level
2437             $this->commit_transaction();
2438         }
2439         array_pop($this->transactions);
2441         if (empty($this->transactions)) {
2442             \core\event\manager::database_transaction_commited();
2443             \core\message\manager::database_transaction_commited();
2444         }
2445     }
2447     /**
2448      * Driver specific commit of real database transaction,
2449      * this can not be used directly in code.
2450      * @return void
2451      */
2452     protected abstract function commit_transaction();
2454     /**
2455      * Call when delegated transaction failed, this rolls back
2456      * all delegated transactions up to the top most level.
2457      *
2458      * In many cases you do not need to call this method manually,
2459      * because all open delegated transactions are rolled back
2460      * automatically if exceptions not caught.
2461      *
2462      * @param moodle_transaction $transaction An instance of a moodle_transaction.
2463      * @param Exception|Throwable $e The related exception/throwable to this transaction rollback.
2464      * @return void This does not return, instead the exception passed in will be rethrown.
2465      */
2466     public function rollback_delegated_transaction(moodle_transaction $transaction, $e) {
2467         if (!($e instanceof Exception) && !($e instanceof Throwable)) {
2468             // PHP7 - we catch Throwables in phpunit but can't use that as the type hint in PHP5.
2469             $e = new \coding_exception("Must be given an Exception or Throwable object!");
2470         }
2471         if ($transaction->is_disposed()) {
2472             throw new dml_transaction_exception('Transactions already disposed', $transaction);
2473         }
2474         // mark as disposed so that it can not be used again
2475         $transaction->dispose();
2477         // one rollback at any level rollbacks everything
2478         $this->force_rollback = true;
2480         if (empty($this->transactions) or $transaction !== $this->transactions[count($this->transactions) - 1]) {
2481             // this may or may not be a coding problem, better just rethrow the exception,
2482             // because we do not want to loose the original $e
2483             throw $e;
2484         }
2486         if (count($this->transactions) == 1) {
2487             // only rollback the top most level
2488             $this->rollback_transaction();
2489         }
2490         array_pop($this->transactions);
2491         if (empty($this->transactions)) {
2492             // finally top most level rolled back
2493             $this->force_rollback = false;
2494             \core\event\manager::database_transaction_rolledback();
2495             \core\message\manager::database_transaction_rolledback();
2496         }
2497         throw $e;
2498     }
2500     /**
2501      * Driver specific abort of real database transaction,
2502      * this can not be used directly in code.
2503      * @return void
2504      */
2505     protected abstract function rollback_transaction();
2507     /**
2508      * Force rollback of all delegated transaction.
2509      * Does not throw any exceptions and does not log anything.
2510      *
2511      * This method should be used only from default exception handlers and other
2512      * core code.
2513      *
2514      * @return void
2515      */
2516     public function force_transaction_rollback() {
2517         if ($this->transactions) {
2518             try {
2519                 $this->rollback_transaction();
2520             } catch (dml_exception $e) {
2521                 // ignore any sql errors here, the connection might be broken
2522             }
2523         }
2525         // now enable transactions again
2526         $this->transactions = array();
2527         $this->force_rollback = false;
2529         \core\event\manager::database_transaction_rolledback();
2530         \core\message\manager::database_transaction_rolledback();
2531     }
2533     /**
2534      * Is session lock supported in this driver?
2535      * @return bool
2536      */
2537     public function session_lock_supported() {
2538         return false;
2539     }
2541     /**
2542      * Obtains the session lock.
2543      * @param int $rowid The id of the row with session record.
2544      * @param int $timeout The maximum allowed time to wait for the lock in seconds.
2545      * @return void
2546      * @throws dml_exception A DML specific exception is thrown for any errors.
2547      */
2548     public function get_session_lock($rowid, $timeout) {
2549         $this->used_for_db_sessions = true;
2550     }
2552     /**
2553      * Releases the session lock.
2554      * @param int $rowid The id of the row with session record.
2555      * @return void
2556      * @throws dml_exception A DML specific exception is thrown for any errors.
2557      */
2558     public function release_session_lock($rowid) {
2559     }
2561     /**
2562      * Returns the number of reads done by this database.
2563      * @return int Number of reads.
2564      */
2565     public function perf_get_reads() {
2566         return $this->reads;
2567     }
2569     /**
2570      * Returns the number of writes done by this database.
2571      * @return int Number of writes.
2572      */
2573     public function perf_get_writes() {
2574         return $this->writes;
2575     }
2577     /**
2578      * Returns the number of queries done by this database.
2579      * @return int Number of queries.
2580      */
2581     public function perf_get_queries() {
2582         return $this->writes + $this->reads;
2583     }
2585     /**
2586      * Time waiting for the database engine to finish running all queries.
2587      * @return float Number of seconds with microseconds
2588      */
2589     public function perf_get_queries_time() {
2590         return $this->queriestime;
2591     }