MDL-35339 Better cache reset for get_fast_modinfo(), allow exec get_fast_modinfo...
[moodle.git] / lib / phpunit / classes / util.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Utility class.
19  *
20  * @package    core
21  * @category   phpunit
22  * @copyright  2012 Petr Skoda {@link http://skodak.org}
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
27 /**
28  * Collection of utility methods.
29  *
30  * @package    core
31  * @category   phpunit
32  * @copyright  2012 Petr Skoda {@link http://skodak.org}
33  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
34  */
35 class phpunit_util {
36     /** @var string current version hash from php files */
37     protected static $versionhash = null;
39     /** @var array original content of all database tables*/
40     protected static $tabledata = null;
42     /** @var array original structure of all database tables */
43     protected static $tablestructure = null;
45     /** @var array original structure of all database tables */
46     protected static $sequencenames = null;
48     /** @var array An array of original globals, restored after each test */
49     protected static $globals = array();
51     /** @var int last value of db writes counter, used for db resetting */
52     public static $lastdbwrites = null;
54     /** @var phpunit_data_generator */
55     protected static $generator = null;
57     /** @var resource used for prevention of parallel test execution */
58     protected static $lockhandle = null;
60     /** @var array list of debugging messages triggered during the last test execution */
61     protected static $debuggings = array();
63     /**
64      * Prevent parallel test execution - this can not work in Moodle because we modify database and dataroot.
65      *
66      * Note: do not call manually!
67      *
68      * @internal
69      * @static
70      * @return void
71      */
72     public static function acquire_test_lock() {
73         global $CFG;
74         if (!file_exists("$CFG->phpunit_dataroot/phpunit")) {
75             // dataroot not initialised yet
76             return;
77         }
78         if (!file_exists("$CFG->phpunit_dataroot/phpunit/lock")) {
79             file_put_contents("$CFG->phpunit_dataroot/phpunit/lock", 'This file prevents concurrent execution of Moodle PHPUnit tests');
80             phpunit_boostrap_fix_file_permissions("$CFG->phpunit_dataroot/phpunit/lock");
81         }
82         if (self::$lockhandle = fopen("$CFG->phpunit_dataroot/phpunit/lock", 'r')) {
83             $wouldblock = null;
84             $locked = flock(self::$lockhandle, (LOCK_EX | LOCK_NB), $wouldblock);
85             if (!$locked) {
86                 if ($wouldblock) {
87                     echo "Waiting for other test execution to complete...\n";
88                 }
89                 $locked = flock(self::$lockhandle, LOCK_EX);
90             }
91             if (!$locked) {
92                 fclose(self::$lockhandle);
93                 self::$lockhandle = null;
94             }
95         }
96         register_shutdown_function(array('phpunit_util', 'release_test_lock'));
97     }
99     /**
100      * Note: do not call manually!
101      * @internal
102      * @static
103      * @return void
104      */
105     public static function release_test_lock() {
106         if (self::$lockhandle) {
107             flock(self::$lockhandle, LOCK_UN);
108             fclose(self::$lockhandle);
109             self::$lockhandle = null;
110         }
111     }
113     /**
114      * Load global $CFG;
115      * @internal
116      * @static
117      * @return void
118      */
119     public static function initialise_cfg() {
120         global $DB;
121         $dbhash = false;
122         try {
123             $dbhash = $DB->get_field('config', 'value', array('name'=>'phpunittest'));
124         } catch (Exception $e) {
125             // not installed yet
126             initialise_cfg();
127             return;
128         }
129         if ($dbhash !== phpunit_util::get_version_hash()) {
130             // do not set CFG - the only way forward is to drop and reinstall
131             return;
132         }
133         // standard CFG init
134         initialise_cfg();
135     }
137     /**
138      * Get data generator
139      * @static
140      * @return phpunit_data_generator
141      */
142     public static function get_data_generator() {
143         if (is_null(self::$generator)) {
144             require_once(__DIR__.'/../generatorlib.php');
145             self::$generator = new phpunit_data_generator();
146         }
147         return self::$generator;
148     }
150     /**
151      * Returns contents of all tables right after installation.
152      * @static
153      * @return array $table=>$records
154      */
155     protected static function get_tabledata() {
156         global $CFG;
158         if (!file_exists("$CFG->dataroot/phpunit/tabledata.ser")) {
159             // not initialised yet
160             return array();
161         }
163         if (!isset(self::$tabledata)) {
164             $data = file_get_contents("$CFG->dataroot/phpunit/tabledata.ser");
165             self::$tabledata = unserialize($data);
166         }
168         if (!is_array(self::$tabledata)) {
169             phpunit_bootstrap_error(1, 'Can not read dataroot/phpunit/tabledata.ser or invalid format, reinitialize test database.');
170         }
172         return self::$tabledata;
173     }
175     /**
176      * Returns structure of all tables right after installation.
177      * @static
178      * @return array $table=>$records
179      */
180     public static function get_tablestructure() {
181         global $CFG;
183         if (!file_exists("$CFG->dataroot/phpunit/tablestructure.ser")) {
184             // not initialised yet
185             return array();
186         }
188         if (!isset(self::$tablestructure)) {
189             $data = file_get_contents("$CFG->dataroot/phpunit/tablestructure.ser");
190             self::$tablestructure = unserialize($data);
191         }
193         if (!is_array(self::$tablestructure)) {
194             phpunit_bootstrap_error(1, 'Can not read dataroot/phpunit/tablestructure.ser or invalid format, reinitialize test database.');
195         }
197         return self::$tablestructure;
198     }
200     /**
201      * Returns the names of sequences for each autoincrementing id field in all standard tables.
202      * @static
203      * @return array $table=>$sequencename
204      */
205     public static function get_sequencenames() {
206         global $DB;
208         if (isset(self::$sequencenames)) {
209             return self::$sequencenames;
210         }
212         if (!$structure = self::get_tablestructure()) {
213             return array();
214         }
216         self::$sequencenames = array();
217         foreach ($structure as $table=>$ignored) {
218             $name = $DB->get_manager()->generator->getSequenceFromDB(new xmldb_table($table));
219             if ($name !== false) {
220                 self::$sequencenames[$table] = $name;
221             }
222         }
224         return self::$sequencenames;
225     }
227     /**
228      * Returns list of tables that are unmodified and empty.
229      *
230      * @static
231      * @return array of table names, empty if unknown
232      */
233     protected static function guess_unmodified_empty_tables() {
234         global $DB;
236         $dbfamily = $DB->get_dbfamily();
238         if ($dbfamily === 'mysql') {
239             $empties = array();
240             $prefix = $DB->get_prefix();
241             $rs = $DB->get_recordset_sql("SHOW TABLE STATUS LIKE ?", array($prefix.'%'));
242             foreach ($rs as $info) {
243                 $table = strtolower($info->name);
244                 if (strpos($table, $prefix) !== 0) {
245                     // incorrect table match caused by _
246                     continue;
247                 }
248                 if (!is_null($info->auto_increment)) {
249                     $table = preg_replace('/^'.preg_quote($prefix, '/').'/', '', $table);
250                     if ($info->auto_increment == 1) {
251                         $empties[$table] = $table;
252                     }
253                 }
254             }
255             $rs->close();
256             return $empties;
258         } else if ($dbfamily === 'mssql') {
259             $empties = array();
260             $prefix = $DB->get_prefix();
261             $sql = "SELECT t.name
262                       FROM sys.identity_columns i
263                       JOIN sys.tables t ON t.object_id = i.object_id
264                      WHERE t.name LIKE ?
265                        AND i.name = 'id'
266                        AND i.last_value IS NULL";
267             $rs = $DB->get_recordset_sql($sql, array($prefix.'%'));
268             foreach ($rs as $info) {
269                 $table = strtolower($info->name);
270                 if (strpos($table, $prefix) !== 0) {
271                     // incorrect table match caused by _
272                     continue;
273                 }
274                 $table = preg_replace('/^'.preg_quote($prefix, '/').'/', '', $table);
275                 $empties[$table] = $table;
276             }
277             $rs->close();
278             return $empties;
280         } else if ($dbfamily === 'oracle') {
281             $sequences = phpunit_util::get_sequencenames();
282             $sequences = array_map('strtoupper', $sequences);
283             $lookup = array_flip($sequences);
284             $empties = array();
285             list($seqs, $params) = $DB->get_in_or_equal($sequences);
286             $sql = "SELECT sequence_name FROM user_sequences WHERE last_number = 1 AND sequence_name $seqs";
287             $rs = $DB->get_recordset_sql($sql, $params);
288             foreach ($rs as $seq) {
289                 $table = $lookup[$seq->sequence_name];
290                 $empties[$table] = $table;
291             }
292             $rs->close();
293             return $empties;
295         } else {
296             return array();
297         }
298     }
300     /**
301      * Reset all database sequences to initial values.
302      *
303      * @static
304      * @param array $empties tables that are known to be unmodified and empty
305      * @return void
306      */
307     public static function reset_all_database_sequences(array $empties = null) {
308         global $DB;
310         if (!$data = self::get_tabledata()) {
311             // not initialised yet
312             return;
313         }
314         if (!$structure = self::get_tablestructure()) {
315             // not initialised yet
316             return;
317         }
319         $dbfamily = $DB->get_dbfamily();
320         if ($dbfamily === 'postgres') {
321             $queries = array();
322             $prefix = $DB->get_prefix();
323             foreach ($data as $table=>$records) {
324                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
325                     if (empty($records)) {
326                         $nextid = 1;
327                     } else {
328                         $lastrecord = end($records);
329                         $nextid = $lastrecord->id + 1;
330                     }
331                     $queries[] = "ALTER SEQUENCE {$prefix}{$table}_id_seq RESTART WITH $nextid";
332                 }
333             }
334             if ($queries) {
335                 $DB->change_database_structure(implode(';', $queries));
336             }
338         } else if ($dbfamily === 'mysql') {
339             $sequences = array();
340             $prefix = $DB->get_prefix();
341             $rs = $DB->get_recordset_sql("SHOW TABLE STATUS LIKE ?", array($prefix.'%'));
342             foreach ($rs as $info) {
343                 $table = strtolower($info->name);
344                 if (strpos($table, $prefix) !== 0) {
345                     // incorrect table match caused by _
346                     continue;
347                 }
348                 if (!is_null($info->auto_increment)) {
349                     $table = preg_replace('/^'.preg_quote($prefix, '/').'/', '', $table);
350                     $sequences[$table] = $info->auto_increment;
351                 }
352             }
353             $rs->close();
354             $prefix = $DB->get_prefix();
355             foreach ($data as $table=>$records) {
356                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
357                     if (isset($sequences[$table])) {
358                         if (empty($records)) {
359                             $nextid = 1;
360                         } else {
361                             $lastrecord = end($records);
362                             $nextid = $lastrecord->id + 1;
363                         }
364                         if ($sequences[$table] != $nextid) {
365                             $DB->change_database_structure("ALTER TABLE {$prefix}{$table} AUTO_INCREMENT = $nextid");
366                         }
368                     } else {
369                         // some problem exists, fallback to standard code
370                         $DB->get_manager()->reset_sequence($table);
371                     }
372                 }
373             }
375         } else if ($dbfamily === 'oracle') {
376             $sequences = phpunit_util::get_sequencenames();
377             $sequences = array_map('strtoupper', $sequences);
378             $lookup = array_flip($sequences);
380             $current = array();
381             list($seqs, $params) = $DB->get_in_or_equal($sequences);
382             $sql = "SELECT sequence_name, last_number FROM user_sequences WHERE sequence_name $seqs";
383             $rs = $DB->get_recordset_sql($sql, $params);
384             foreach ($rs as $seq) {
385                 $table = $lookup[$seq->sequence_name];
386                 $current[$table] = $seq->last_number;
387             }
388             $rs->close();
390             foreach ($data as $table=>$records) {
391                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
392                     $lastrecord = end($records);
393                     if ($lastrecord) {
394                         $nextid = $lastrecord->id + 1;
395                     } else {
396                         $nextid = 1;
397                     }
398                     if (!isset($current[$table])) {
399                         $DB->get_manager()->reset_sequence($table);
400                     } else if ($nextid == $current[$table]) {
401                         continue;
402                     }
403                     // reset as fast as possible - alternatively we could use http://stackoverflow.com/questions/51470/how-do-i-reset-a-sequence-in-oracle
404                     $seqname = $sequences[$table];
405                     $cachesize = $DB->get_manager()->generator->sequence_cache_size;
406                     $DB->change_database_structure("DROP SEQUENCE $seqname");
407                     $DB->change_database_structure("CREATE SEQUENCE $seqname START WITH $nextid INCREMENT BY 1 NOMAXVALUE CACHE $cachesize");
408                 }
409             }
411         } else {
412             // note: does mssql support any kind of faster reset?
413             if (is_null($empties)) {
414                 $empties = self::guess_unmodified_empty_tables();
415             }
416             foreach ($data as $table=>$records) {
417                 if (isset($empties[$table])) {
418                     continue;
419                 }
420                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
421                     $DB->get_manager()->reset_sequence($table);
422                 }
423             }
424         }
425     }
427     /**
428      * Reset all database tables to default values.
429      * @static
430      * @return bool true if reset done, false if skipped
431      */
432     public static function reset_database() {
433         global $DB;
435         if (!is_null(self::$lastdbwrites) and self::$lastdbwrites == $DB->perf_get_writes()) {
436             return false;
437         }
439         $tables = $DB->get_tables(false);
440         if (!$tables or empty($tables['config'])) {
441             // not installed yet
442             return false;
443         }
445         if (!$data = self::get_tabledata()) {
446             // not initialised yet
447             return false;
448         }
449         if (!$structure = self::get_tablestructure()) {
450             // not initialised yet
451             return false;
452         }
454         $empties = self::guess_unmodified_empty_tables();
456         foreach ($data as $table=>$records) {
457             if (empty($records)) {
458                 if (isset($empties[$table])) {
459                     // table was not modified and is empty
460                 } else {
461                     $DB->delete_records($table, array());
462                 }
463                 continue;
464             }
466             if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
467                 $currentrecords = $DB->get_records($table, array(), 'id ASC');
468                 $changed = false;
469                 foreach ($records as $id=>$record) {
470                     if (!isset($currentrecords[$id])) {
471                         $changed = true;
472                         break;
473                     }
474                     if ((array)$record != (array)$currentrecords[$id]) {
475                         $changed = true;
476                         break;
477                     }
478                     unset($currentrecords[$id]);
479                 }
480                 if (!$changed) {
481                     if ($currentrecords) {
482                         $lastrecord = end($records);
483                         $DB->delete_records_select($table, "id > ?", array($lastrecord->id));
484                         continue;
485                     } else {
486                         continue;
487                     }
488                 }
489             }
491             $DB->delete_records($table, array());
492             foreach ($records as $record) {
493                 $DB->import_record($table, $record, false, true);
494             }
495         }
497         // reset all next record ids - aka sequences
498         self::reset_all_database_sequences($empties);
500         // remove extra tables
501         foreach ($tables as $table) {
502             if (!isset($data[$table])) {
503                 $DB->get_manager()->drop_table(new xmldb_table($table));
504             }
505         }
507         self::$lastdbwrites = $DB->perf_get_writes();
509         return true;
510     }
512     /**
513      * Purge dataroot directory
514      * @static
515      * @return void
516      */
517     public static function reset_dataroot() {
518         global $CFG;
520         $handle = opendir($CFG->dataroot);
521         $skip = array('.', '..', 'phpunittestdir.txt', 'phpunit', '.htaccess');
522         while (false !== ($item = readdir($handle))) {
523             if (in_array($item, $skip)) {
524                 continue;
525             }
526             if (is_dir("$CFG->dataroot/$item")) {
527                 remove_dir("$CFG->dataroot/$item", false);
528             } else {
529                 unlink("$CFG->dataroot/$item");
530             }
531         }
532         closedir($handle);
533         make_temp_directory('');
534         make_cache_directory('');
535         make_cache_directory('htmlpurifier');
536         // Reset the cache API so that it recreates it's required directories as well.
537         cache_factory::reset();
538         // Purge all data from the caches. This is required for consistency.
539         // Any file caches that happened to be within the data root will have already been clearer (because we just deleted cache)
540         // and now we will purge any other caches as well.
541         cache_helper::purge_all();
542     }
544     /**
545      * Reset contents of all database tables to initial values, reset caches, etc.
546      *
547      * Note: this is relatively slow (cca 2 seconds for pg and 7 for mysql) - please use with care!
548      *
549      * @static
550      * @param bool $logchanges log changes in global state and database in error log
551      * @return void
552      */
553     public static function reset_all_data($logchanges = false) {
554         global $DB, $CFG, $USER, $SITE, $COURSE, $PAGE, $OUTPUT, $SESSION, $GROUPLIB_CACHE;
556         // Release memory and indirectly call destroy() methods to release resource handles, etc.
557         gc_collect_cycles();
559         // Show any unhandled debugging messages, the runbare() could already reset it.
560         self::display_debugging_messages();
561         self::reset_debugging();
563         // reset global $DB in case somebody mocked it
564         $DB = self::get_global_backup('DB');
566         if ($DB->is_transaction_started()) {
567             // we can not reset inside transaction
568             $DB->force_transaction_rollback();
569         }
571         $resetdb = self::reset_database();
572         $warnings = array();
574         if ($logchanges) {
575             if ($resetdb) {
576                 $warnings[] = 'Warning: unexpected database modification, resetting DB state';
577             }
579             $oldcfg = self::get_global_backup('CFG');
580             $oldsite = self::get_global_backup('SITE');
581             foreach($CFG as $k=>$v) {
582                 if (!property_exists($oldcfg, $k)) {
583                     $warnings[] = 'Warning: unexpected new $CFG->'.$k.' value';
584                 } else if ($oldcfg->$k !== $CFG->$k) {
585                     $warnings[] = 'Warning: unexpected change of $CFG->'.$k.' value';
586                 }
587                 unset($oldcfg->$k);
589             }
590             if ($oldcfg) {
591                 foreach($oldcfg as $k=>$v) {
592                     $warnings[] = 'Warning: unexpected removal of $CFG->'.$k;
593                 }
594             }
596             if ($USER->id != 0) {
597                 $warnings[] = 'Warning: unexpected change of $USER';
598             }
600             if ($COURSE->id != $oldsite->id) {
601                 $warnings[] = 'Warning: unexpected change of $COURSE';
602             }
603         }
605         // restore original globals
606         $_SERVER = self::get_global_backup('_SERVER');
607         $CFG = self::get_global_backup('CFG');
608         $SITE = self::get_global_backup('SITE');
609         $COURSE = $SITE;
611         // reinitialise following globals
612         $OUTPUT = new bootstrap_renderer();
613         $PAGE = new moodle_page();
614         $FULLME = null;
615         $ME = null;
616         $SCRIPT = null;
617         $SESSION = new stdClass();
618         $_SESSION['SESSION'] =& $SESSION;
620         // set fresh new not-logged-in user
621         $user = new stdClass();
622         $user->id = 0;
623         $user->mnethostid = $CFG->mnet_localhost_id;
624         session_set_user($user);
626         // reset all static caches
627         accesslib_clear_all_caches(true);
628         get_string_manager()->reset_caches(true);
629         reset_text_filters_cache(true);
630         events_get_handlers('reset');
631         textlib::reset_caches();
632         if (class_exists('repository')) {
633             repository::reset_caches();
634         }
635         $GROUPLIB_CACHE = null;
636         //TODO MDL-25290: add more resets here and probably refactor them to new core function
638         // Reset course and module caches.
639         if (class_exists('format_base')) {
640             // If file containing class is not loaded, there is no cache there anyway.
641             format_base::reset_course_cache(0);
642         }
643         get_fast_modinfo(0, 0, true);
645         // purge dataroot directory
646         self::reset_dataroot();
648         // restore original config once more in case resetting of caches changed CFG
649         $CFG = self::get_global_backup('CFG');
651         // inform data generator
652         self::get_data_generator()->reset();
654         // fix PHP settings
655         error_reporting($CFG->debug);
657         // verify db writes just in case something goes wrong in reset
658         if (self::$lastdbwrites != $DB->perf_get_writes()) {
659             error_log('Unexpected DB writes in phpunit_util::reset_all_data()');
660             self::$lastdbwrites = $DB->perf_get_writes();
661         }
663         if ($warnings) {
664             $warnings = implode("\n", $warnings);
665             trigger_error($warnings, E_USER_WARNING);
666         }
667     }
669     /**
670      * Called during bootstrap only!
671      * @internal
672      * @static
673      * @return void
674      */
675     public static function bootstrap_init() {
676         global $CFG, $SITE, $DB;
678         // backup the globals
679         self::$globals['_SERVER'] = $_SERVER;
680         self::$globals['CFG'] = clone($CFG);
681         self::$globals['SITE'] = clone($SITE);
682         self::$globals['DB'] = $DB;
684         // refresh data in all tables, clear caches, etc.
685         phpunit_util::reset_all_data();
686     }
688     /**
689      * Returns original state of global variable.
690      * @static
691      * @param string $name
692      * @return mixed
693      */
694     public static function get_global_backup($name) {
695         if ($name === 'DB') {
696             // no cloning of database object,
697             // we just need the original reference, not original state
698             return self::$globals['DB'];
699         }
700         if (isset(self::$globals[$name])) {
701             if (is_object(self::$globals[$name])) {
702                 $return = clone(self::$globals[$name]);
703                 return $return;
704             } else {
705                 return self::$globals[$name];
706             }
707         }
708         return null;
709     }
711     /**
712      * Does this site (db and dataroot) appear to be used for production?
713      * We try very hard to prevent accidental damage done to production servers!!
714      *
715      * @static
716      * @return bool
717      */
718     public static function is_test_site() {
719         global $DB, $CFG;
721         if (!file_exists("$CFG->dataroot/phpunittestdir.txt")) {
722             // this is already tested in bootstrap script,
723             // but anyway presence of this file means the dataroot is for testing
724             return false;
725         }
727         $tables = $DB->get_tables(false);
728         if ($tables) {
729             if (!$DB->get_manager()->table_exists('config')) {
730                 return false;
731             }
732             if (!get_config('core', 'phpunittest')) {
733                 return false;
734             }
735         }
737         return true;
738     }
740     /**
741      * Is this site initialised to run unit tests?
742      *
743      * @static
744      * @return int array errorcode=>message, 0 means ok
745      */
746     public static function testing_ready_problem() {
747         global $CFG, $DB;
749         $tables = $DB->get_tables(false);
751         if (!self::is_test_site()) {
752             // dataroot was verified in bootstrap, so it must be DB
753             return array(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not use database for testing, try different prefix');
754         }
756         if (empty($tables)) {
757             return array(PHPUNIT_EXITCODE_INSTALL, '');
758         }
760         if (!file_exists("$CFG->dataroot/phpunit/tabledata.ser") or !file_exists("$CFG->dataroot/phpunit/tablestructure.ser")) {
761             return array(PHPUNIT_EXITCODE_REINSTALL, '');
762         }
764         if (!file_exists("$CFG->dataroot/phpunit/versionshash.txt")) {
765             return array(PHPUNIT_EXITCODE_REINSTALL, '');
766         }
768         $hash = phpunit_util::get_version_hash();
769         $oldhash = file_get_contents("$CFG->dataroot/phpunit/versionshash.txt");
771         if ($hash !== $oldhash) {
772             return array(PHPUNIT_EXITCODE_REINSTALL, '');
773         }
775         $dbhash = get_config('core', 'phpunittest');
776         if ($hash !== $dbhash) {
777             return array(PHPUNIT_EXITCODE_REINSTALL, '');
778         }
780         return array(0, '');
781     }
783     /**
784      * Drop all test site data.
785      *
786      * Note: To be used from CLI scripts only.
787      *
788      * @static
789      * @param bool $displayprogress if true, this method will echo progress information.
790      * @return void may terminate execution with exit code
791      */
792     public static function drop_site($displayprogress = false) {
793         global $DB, $CFG;
795         if (!self::is_test_site()) {
796             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not drop non-test site!!');
797         }
799         // Purge dataroot
800         if ($displayprogress) {
801             echo "Purging dataroot:\n";
802         }
803         self::reset_dataroot();
804         phpunit_bootstrap_initdataroot($CFG->dataroot);
805         $keep = array('.', '..', 'lock', 'webrunner.xml');
806         $files = scandir("$CFG->dataroot/phpunit");
807         foreach ($files as $file) {
808             if (in_array($file, $keep)) {
809                 continue;
810             }
811             $path = "$CFG->dataroot/phpunit/$file";
812             if (is_dir($path)) {
813                 remove_dir($path, false);
814             } else {
815                 unlink($path);
816             }
817         }
819         // drop all tables
820         $tables = $DB->get_tables(false);
821         if (isset($tables['config'])) {
822             // config always last to prevent problems with interrupted drops!
823             unset($tables['config']);
824             $tables['config'] = 'config';
825         }
827         if ($displayprogress) {
828             echo "Dropping tables:\n";
829         }
830         $dotsonline = 0;
831         foreach ($tables as $tablename) {
832             $table = new xmldb_table($tablename);
833             $DB->get_manager()->drop_table($table);
835             if ($dotsonline == 60) {
836                 if ($displayprogress) {
837                     echo "\n";
838                 }
839                 $dotsonline = 0;
840             }
841             if ($displayprogress) {
842                 echo '.';
843             }
844             $dotsonline += 1;
845         }
846         if ($displayprogress) {
847             echo "\n";
848         }
849     }
851     /**
852      * Perform a fresh test site installation
853      *
854      * Note: To be used from CLI scripts only.
855      *
856      * @static
857      * @return void may terminate execution with exit code
858      */
859     public static function install_site() {
860         global $DB, $CFG;
862         if (!self::is_test_site()) {
863             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not install on non-test site!!');
864         }
866         if ($DB->get_tables()) {
867             list($errorcode, $message) = phpunit_util::testing_ready_problem();
868             if ($errorcode) {
869                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_REINSTALL, 'Database tables already present, Moodle PHPUnit test environment can not be initialised');
870             } else {
871                 phpunit_bootstrap_error(0, 'Moodle PHPUnit test environment is already initialised');
872             }
873         }
875         $options = array();
876         $options['adminpass'] = 'admin';
877         $options['shortname'] = 'phpunit';
878         $options['fullname'] = 'PHPUnit test site';
880         install_cli_database($options, false);
882         // install timezone info
883         $timezones = get_records_csv($CFG->libdir.'/timezone.txt', 'timezone');
884         update_timezone_records($timezones);
886         // add test db flag
887         $hash = phpunit_util::get_version_hash();
888         set_config('phpunittest', $hash);
890         // store data for all tables
891         $data = array();
892         $structure = array();
893         $tables = $DB->get_tables();
894         foreach ($tables as $table) {
895             $columns = $DB->get_columns($table);
896             $structure[$table] = $columns;
897             if (isset($columns['id']) and $columns['id']->auto_increment) {
898                 $data[$table] = $DB->get_records($table, array(), 'id ASC');
899             } else {
900                 // there should not be many of these
901                 $data[$table] = $DB->get_records($table, array());
902             }
903         }
904         $data = serialize($data);
905         file_put_contents("$CFG->dataroot/phpunit/tabledata.ser", $data);
906         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/tabledata.ser");
908         $structure = serialize($structure);
909         file_put_contents("$CFG->dataroot/phpunit/tablestructure.ser", $structure);
910         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/tablestructure.ser");
912         // hash all plugin versions - helps with very fast detection of db structure changes
913         file_put_contents("$CFG->dataroot/phpunit/versionshash.txt", $hash);
914         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/versionshash.txt", $hash);
915     }
917     /**
918      * Calculate unique version hash for all plugins and core.
919      * @static
920      * @return string sha1 hash
921      */
922     public static function get_version_hash() {
923         global $CFG;
925         if (self::$versionhash) {
926             return self::$versionhash;
927         }
929         $versions = array();
931         // main version first
932         $version = null;
933         include($CFG->dirroot.'/version.php');
934         $versions['core'] = $version;
936         // modules
937         $mods = get_plugin_list('mod');
938         ksort($mods);
939         foreach ($mods as $mod => $fullmod) {
940             $module = new stdClass();
941             $module->version = null;
942             include($fullmod.'/version.php');
943             $versions[$mod] = $module->version;
944         }
946         // now the rest of plugins
947         $plugintypes = get_plugin_types();
948         unset($plugintypes['mod']);
949         ksort($plugintypes);
950         foreach ($plugintypes as $type=>$unused) {
951             $plugs = get_plugin_list($type);
952             ksort($plugs);
953             foreach ($plugs as $plug=>$fullplug) {
954                 $plugin = new stdClass();
955                 $plugin->version = null;
956                 @include($fullplug.'/version.php');
957                 $versions[$plug] = $plugin->version;
958             }
959         }
961         self::$versionhash = sha1(serialize($versions));
963         return self::$versionhash;
964     }
966     /**
967      * Builds dirroot/phpunit.xml and dataroot/phpunit/webrunner.xml files using defaults from /phpunit.xml.dist
968      * @static
969      * @return bool true means main config file created, false means only dataroot file created
970      */
971     public static function build_config_file() {
972         global $CFG;
974         $template = '
975         <testsuite name="@component@ test suite">
976             <directory suffix="_test.php">@dir@</directory>
977         </testsuite>';
978         $data = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
980         $suites = '';
982         $plugintypes = get_plugin_types();
983         ksort($plugintypes);
984         foreach ($plugintypes as $type=>$unused) {
985             $plugs = get_plugin_list($type);
986             ksort($plugs);
987             foreach ($plugs as $plug=>$fullplug) {
988                 if (!file_exists("$fullplug/tests/")) {
989                     continue;
990                 }
991                 $dir = substr($fullplug, strlen($CFG->dirroot)+1);
992                 $dir .= '/tests';
993                 $component = $type.'_'.$plug;
995                 $suite = str_replace('@component@', $component, $template);
996                 $suite = str_replace('@dir@', $dir, $suite);
998                 $suites .= $suite;
999             }
1000         }
1002         $data = preg_replace('|<!--@plugin_suites_start@-->.*<!--@plugin_suites_end@-->|s', $suites, $data, 1);
1004         $result = false;
1005         if (is_writable($CFG->dirroot)) {
1006             if ($result = file_put_contents("$CFG->dirroot/phpunit.xml", $data)) {
1007                 phpunit_boostrap_fix_file_permissions("$CFG->dirroot/phpunit.xml");
1008             }
1009         }
1011         // relink - it seems that xml:base does not work in phpunit xml files, remove this nasty hack if you find a way to set xml base for relative refs
1012         $data = str_replace('lib/phpunit/', $CFG->dirroot.DIRECTORY_SEPARATOR.'lib'.DIRECTORY_SEPARATOR.'phpunit'.DIRECTORY_SEPARATOR, $data);
1013         $data = preg_replace('|<directory suffix="_test.php">([^<]+)</directory>|',
1014             '<directory suffix="_test.php">'.$CFG->dirroot.(DIRECTORY_SEPARATOR === '\\' ? '\\\\' : DIRECTORY_SEPARATOR).'$1</directory>',
1015             $data);
1016         file_put_contents("$CFG->dataroot/phpunit/webrunner.xml", $data);
1017         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/webrunner.xml");
1019         return (bool)$result;
1020     }
1022     /**
1023      * Builds phpunit.xml files for all components using defaults from /phpunit.xml.dist
1024      *
1025      * @static
1026      * @return void, stops if can not write files
1027      */
1028     public static function build_component_config_files() {
1029         global $CFG;
1031         $template = '
1032         <testsuites>
1033             <testsuite name="@component@">
1034                 <directory suffix="_test.php">.</directory>
1035             </testsuite>
1036         </testsuites>';
1038         // Use the upstream file as source for the distributed configurations
1039         $ftemplate = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
1040         $ftemplate = preg_replace('|<!--All core suites.*</testsuites>|s', '<!--@component_suite@-->', $ftemplate);
1042         // Get all the components
1043         $components = self::get_all_plugins_with_tests() + self::get_all_subsystems_with_tests();
1045         // Get all the directories having tests
1046         $directories = self::get_all_directories_with_tests();
1048         // Find any directory not covered by proper components
1049         $remaining = array_diff($directories, $components);
1051         // Add them to the list of components
1052         $components += $remaining;
1054         // Create the corresponding phpunit.xml file for each component
1055         foreach ($components as $cname => $cpath) {
1056             // Calculate the component suite
1057             $ctemplate = $template;
1058             $ctemplate = str_replace('@component@', $cname, $ctemplate);
1060             // Apply it to the file template
1061             $fcontents = str_replace('<!--@component_suite@-->', $ctemplate, $ftemplate);
1063             // fix link to schema
1064             $level = substr_count(str_replace('\\', '/', $cpath), '/') - substr_count(str_replace('\\', '/', $CFG->dirroot), '/');
1065             $fcontents = str_replace('lib/phpunit/', str_repeat('../', $level).'lib/phpunit/', $fcontents);
1067             // Write the file
1068             $result = false;
1069             if (is_writable($cpath)) {
1070                 if ($result = (bool)file_put_contents("$cpath/phpunit.xml", $fcontents)) {
1071                     phpunit_boostrap_fix_file_permissions("$cpath/phpunit.xml");
1072                 }
1073             }
1074             // Problems writing file, throw error
1075             if (!$result) {
1076                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGWARNING, "Can not create $cpath/phpunit.xml configuration file, verify dir permissions");
1077             }
1078         }
1079     }
1081     /**
1082      * Returns all the plugins having PHPUnit tests
1083      *
1084      * @return array all the plugins having PHPUnit tests
1085      *
1086      */
1087     private static function get_all_plugins_with_tests() {
1088         $pluginswithtests = array();
1090         $plugintypes = get_plugin_types();
1091         ksort($plugintypes);
1092         foreach ($plugintypes as $type => $unused) {
1093             $plugs = get_plugin_list($type);
1094             ksort($plugs);
1095             foreach ($plugs as $plug => $fullplug) {
1096                 // Look for tests recursively
1097                 if (self::directory_has_tests($fullplug)) {
1098                     $pluginswithtests[$type . '_' . $plug] = $fullplug;
1099                 }
1100             }
1101         }
1102         return $pluginswithtests;
1103     }
1105     /**
1106      * Returns all the subsystems having PHPUnit tests
1107      *
1108      * Note we are hacking here the list of subsystems
1109      * to cover some well-known subsystems that are not properly
1110      * returned by the {@link get_core_subsystems()} function.
1111      *
1112      * @return array all the subsystems having PHPUnit tests
1113      */
1114     private static function get_all_subsystems_with_tests() {
1115         global $CFG;
1117         $subsystemswithtests = array();
1119         $subsystems = get_core_subsystems();
1121         // Hack the list a bit to cover some well-known ones
1122         $subsystems['backup'] = 'backup';
1123         $subsystems['db-dml'] = 'lib/dml';
1124         $subsystems['db-ddl'] = 'lib/ddl';
1126         ksort($subsystems);
1127         foreach ($subsystems as $subsys => $relsubsys) {
1128             if ($relsubsys === null) {
1129                 continue;
1130             }
1131             $fullsubsys = $CFG->dirroot . '/' . $relsubsys;
1132             if (!is_dir($fullsubsys)) {
1133                 continue;
1134             }
1135             // Look for tests recursively
1136             if (self::directory_has_tests($fullsubsys)) {
1137                 $subsystemswithtests['core_' . $subsys] = $fullsubsys;
1138             }
1139         }
1140         return $subsystemswithtests;
1141     }
1143     /**
1144      * Returns all the directories having tests
1145      *
1146      * @return array all directories having tests
1147      */
1148     private static function get_all_directories_with_tests() {
1149         global $CFG;
1151         $dirs = array();
1152         $dirite = new RecursiveDirectoryIterator($CFG->dirroot);
1153         $iteite = new RecursiveIteratorIterator($dirite);
1154         $sep = preg_quote(DIRECTORY_SEPARATOR, '|');
1155         $regite = new RegexIterator($iteite, '|'.$sep.'tests'.$sep.'.*_test\.php$|');
1156         foreach ($regite as $path => $element) {
1157             $key = dirname(dirname($path));
1158             $value = trim(str_replace('/', '_', str_replace($CFG->dirroot, '', $key)), '_');
1159             $dirs[$key] = $value;
1160         }
1161         ksort($dirs);
1162         return array_flip($dirs);
1163     }
1165     /**
1166      * Returns if a given directory has tests (recursively)
1167      *
1168      * @param $dir string full path to the directory to look for phpunit tests
1169      * @return bool if a given directory has tests (true) or no (false)
1170      */
1171     private static function directory_has_tests($dir) {
1172         if (!is_dir($dir)) {
1173             return false;
1174         }
1176         $dirite = new RecursiveDirectoryIterator($dir);
1177         $iteite = new RecursiveIteratorIterator($dirite);
1178         $sep = preg_quote(DIRECTORY_SEPARATOR, '|');
1179         $regite = new RegexIterator($iteite, '|'.$sep.'tests'.$sep.'.*_test\.php$|');
1180         $regite->rewind();
1181         if ($regite->valid()) {
1182             return true;
1183         }
1184         return false;
1185     }
1187     /**
1188      * To be called from debugging() only.
1189      * @param string $message
1190      * @param int $level
1191      * @param string $from
1192      */
1193     public static function debugging_triggered($message, $level, $from) {
1194         // Store only if debugging triggered from actual test,
1195         // we need normal debugging outside of tests to find problems in our phpunit integration.
1196         $backtrace = debug_backtrace();
1198         foreach ($backtrace as $bt) {
1199             $intest = false;
1200             if (isset($bt['object']) and is_object($bt['object'])) {
1201                 if ($bt['object'] instanceof PHPUnit_Framework_TestCase) {
1202                     if (strpos($bt['function'], 'test') === 0) {
1203                         $intest = true;
1204                         break;
1205                     }
1206                 }
1207             }
1208         }
1209         if (!$intest) {
1210             return false;
1211         }
1213         $debug = new stdClass();
1214         $debug->message = $message;
1215         $debug->level   = $level;
1216         $debug->from    = $from;
1218         self::$debuggings[] = $debug;
1220         return true;
1221     }
1223     /**
1224      * Resets the list of debugging messages.
1225      */
1226     public static function reset_debugging() {
1227         self::$debuggings = array();
1228     }
1230     /**
1231      * Returns all debugging messages triggered during test.
1232      * @return array with instances having message, level and stacktrace property.
1233      */
1234     public static function get_debugging_messages() {
1235         return self::$debuggings;
1236     }
1238     /**
1239      * Prints out any debug messages accumulated during test execution.
1240      * @return bool false if no debug messages, true if debug triggered
1241      */
1242     public static function display_debugging_messages() {
1243         if (empty(self::$debuggings)) {
1244             return false;
1245         }
1246         foreach(self::$debuggings as $debug) {
1247             echo 'Debugging: ' . $debug->message . "\n" . trim($debug->from) . "\n";
1248         }
1250         return true;
1251     }