a4b3d9fd8b154e82201c47ed4fdd4989a00720df
[moodle.git] / lib / phpunit / classes / util.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Utility class.
19  *
20  * @package    core
21  * @category   phpunit
22  * @copyright  2012 Petr Skoda {@link http://skodak.org}
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
27 /**
28  * Collection of utility methods.
29  *
30  * @package    core
31  * @category   phpunit
32  * @copyright  2012 Petr Skoda {@link http://skodak.org}
33  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
34  */
35 class phpunit_util {
36     /** @var string current version hash from php files */
37     protected static $versionhash = null;
39     /** @var array original content of all database tables*/
40     protected static $tabledata = null;
42     /** @var array original structure of all database tables */
43     protected static $tablestructure = null;
45     /** @var array original structure of all database tables */
46     protected static $sequencenames = null;
48     /** @var array An array of original globals, restored after each test */
49     protected static $globals = array();
51     /** @var int last value of db writes counter, used for db resetting */
52     public static $lastdbwrites = null;
54     /** @var phpunit_data_generator */
55     protected static $generator = null;
57     /** @var resource used for prevention of parallel test execution */
58     protected static $lockhandle = null;
60     /** @var array list of debugging messages triggered during the last test execution */
61     protected static $debuggings = array();
63     /**
64      * Prevent parallel test execution - this can not work in Moodle because we modify database and dataroot.
65      *
66      * Note: do not call manually!
67      *
68      * @internal
69      * @static
70      * @return void
71      */
72     public static function acquire_test_lock() {
73         global $CFG;
74         if (!file_exists("$CFG->phpunit_dataroot/phpunit")) {
75             // dataroot not initialised yet
76             return;
77         }
78         if (!file_exists("$CFG->phpunit_dataroot/phpunit/lock")) {
79             file_put_contents("$CFG->phpunit_dataroot/phpunit/lock", 'This file prevents concurrent execution of Moodle PHPUnit tests');
80             phpunit_boostrap_fix_file_permissions("$CFG->phpunit_dataroot/phpunit/lock");
81         }
82         if (self::$lockhandle = fopen("$CFG->phpunit_dataroot/phpunit/lock", 'r')) {
83             $wouldblock = null;
84             $locked = flock(self::$lockhandle, (LOCK_EX | LOCK_NB), $wouldblock);
85             if (!$locked) {
86                 if ($wouldblock) {
87                     echo "Waiting for other test execution to complete...\n";
88                 }
89                 $locked = flock(self::$lockhandle, LOCK_EX);
90             }
91             if (!$locked) {
92                 fclose(self::$lockhandle);
93                 self::$lockhandle = null;
94             }
95         }
96         register_shutdown_function(array('phpunit_util', 'release_test_lock'));
97     }
99     /**
100      * Note: do not call manually!
101      * @internal
102      * @static
103      * @return void
104      */
105     public static function release_test_lock() {
106         if (self::$lockhandle) {
107             flock(self::$lockhandle, LOCK_UN);
108             fclose(self::$lockhandle);
109             self::$lockhandle = null;
110         }
111     }
113     /**
114      * Load global $CFG;
115      * @internal
116      * @static
117      * @return void
118      */
119     public static function initialise_cfg() {
120         global $DB;
121         $dbhash = false;
122         try {
123             $dbhash = $DB->get_field('config', 'value', array('name'=>'phpunittest'));
124         } catch (Exception $e) {
125             // not installed yet
126             initialise_cfg();
127             return;
128         }
129         if ($dbhash !== phpunit_util::get_version_hash()) {
130             // do not set CFG - the only way forward is to drop and reinstall
131             return;
132         }
133         // standard CFG init
134         initialise_cfg();
135     }
137     /**
138      * Get data generator
139      * @static
140      * @return phpunit_data_generator
141      */
142     public static function get_data_generator() {
143         if (is_null(self::$generator)) {
144             require_once(__DIR__.'/../generatorlib.php');
145             self::$generator = new phpunit_data_generator();
146         }
147         return self::$generator;
148     }
150     /**
151      * Returns contents of all tables right after installation.
152      * @static
153      * @return array $table=>$records
154      */
155     protected static function get_tabledata() {
156         global $CFG;
158         if (!file_exists("$CFG->dataroot/phpunit/tabledata.ser")) {
159             // not initialised yet
160             return array();
161         }
163         if (!isset(self::$tabledata)) {
164             $data = file_get_contents("$CFG->dataroot/phpunit/tabledata.ser");
165             self::$tabledata = unserialize($data);
166         }
168         if (!is_array(self::$tabledata)) {
169             phpunit_bootstrap_error(1, 'Can not read dataroot/phpunit/tabledata.ser or invalid format, reinitialize test database.');
170         }
172         return self::$tabledata;
173     }
175     /**
176      * Returns structure of all tables right after installation.
177      * @static
178      * @return array $table=>$records
179      */
180     public static function get_tablestructure() {
181         global $CFG;
183         if (!file_exists("$CFG->dataroot/phpunit/tablestructure.ser")) {
184             // not initialised yet
185             return array();
186         }
188         if (!isset(self::$tablestructure)) {
189             $data = file_get_contents("$CFG->dataroot/phpunit/tablestructure.ser");
190             self::$tablestructure = unserialize($data);
191         }
193         if (!is_array(self::$tablestructure)) {
194             phpunit_bootstrap_error(1, 'Can not read dataroot/phpunit/tablestructure.ser or invalid format, reinitialize test database.');
195         }
197         return self::$tablestructure;
198     }
200     /**
201      * Returns the names of sequences for each autoincrementing id field in all standard tables.
202      * @static
203      * @return array $table=>$sequencename
204      */
205     public static function get_sequencenames() {
206         global $DB;
208         if (isset(self::$sequencenames)) {
209             return self::$sequencenames;
210         }
212         if (!$structure = self::get_tablestructure()) {
213             return array();
214         }
216         self::$sequencenames = array();
217         foreach ($structure as $table=>$ignored) {
218             $name = $DB->get_manager()->generator->getSequenceFromDB(new xmldb_table($table));
219             if ($name !== false) {
220                 self::$sequencenames[$table] = $name;
221             }
222         }
224         return self::$sequencenames;
225     }
227     /**
228      * Returns list of tables that are unmodified and empty.
229      *
230      * @static
231      * @return array of table names, empty if unknown
232      */
233     protected static function guess_unmodified_empty_tables() {
234         global $DB;
236         $dbfamily = $DB->get_dbfamily();
238         if ($dbfamily === 'mysql') {
239             $empties = array();
240             $prefix = $DB->get_prefix();
241             $rs = $DB->get_recordset_sql("SHOW TABLE STATUS LIKE ?", array($prefix.'%'));
242             foreach ($rs as $info) {
243                 $table = strtolower($info->name);
244                 if (strpos($table, $prefix) !== 0) {
245                     // incorrect table match caused by _
246                     continue;
247                 }
248                 if (!is_null($info->auto_increment)) {
249                     $table = preg_replace('/^'.preg_quote($prefix, '/').'/', '', $table);
250                     if ($info->auto_increment == 1) {
251                         $empties[$table] = $table;
252                     }
253                 }
254             }
255             $rs->close();
256             return $empties;
258         } else if ($dbfamily === 'mssql') {
259             $empties = array();
260             $prefix = $DB->get_prefix();
261             $sql = "SELECT t.name
262                       FROM sys.identity_columns i
263                       JOIN sys.tables t ON t.object_id = i.object_id
264                      WHERE t.name LIKE ?
265                        AND i.name = 'id'
266                        AND i.last_value IS NULL";
267             $rs = $DB->get_recordset_sql($sql, array($prefix.'%'));
268             foreach ($rs as $info) {
269                 $table = strtolower($info->name);
270                 if (strpos($table, $prefix) !== 0) {
271                     // incorrect table match caused by _
272                     continue;
273                 }
274                 $table = preg_replace('/^'.preg_quote($prefix, '/').'/', '', $table);
275                 $empties[$table] = $table;
276             }
277             $rs->close();
278             return $empties;
280         } else if ($dbfamily === 'oracle') {
281             $sequences = phpunit_util::get_sequencenames();
282             $sequences = array_map('strtoupper', $sequences);
283             $lookup = array_flip($sequences);
284             $empties = array();
285             list($seqs, $params) = $DB->get_in_or_equal($sequences);
286             $sql = "SELECT sequence_name FROM user_sequences WHERE last_number = 1 AND sequence_name $seqs";
287             $rs = $DB->get_recordset_sql($sql, $params);
288             foreach ($rs as $seq) {
289                 $table = $lookup[$seq->sequence_name];
290                 $empties[$table] = $table;
291             }
292             $rs->close();
293             return $empties;
295         } else {
296             return array();
297         }
298     }
300     /**
301      * Reset all database sequences to initial values.
302      *
303      * @static
304      * @param array $empties tables that are known to be unmodified and empty
305      * @return void
306      */
307     public static function reset_all_database_sequences(array $empties = null) {
308         global $DB;
310         if (!$data = self::get_tabledata()) {
311             // not initialised yet
312             return;
313         }
314         if (!$structure = self::get_tablestructure()) {
315             // not initialised yet
316             return;
317         }
319         $dbfamily = $DB->get_dbfamily();
320         if ($dbfamily === 'postgres') {
321             $queries = array();
322             $prefix = $DB->get_prefix();
323             foreach ($data as $table=>$records) {
324                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
325                     if (empty($records)) {
326                         $nextid = 1;
327                     } else {
328                         $lastrecord = end($records);
329                         $nextid = $lastrecord->id + 1;
330                     }
331                     $queries[] = "ALTER SEQUENCE {$prefix}{$table}_id_seq RESTART WITH $nextid";
332                 }
333             }
334             if ($queries) {
335                 $DB->change_database_structure(implode(';', $queries));
336             }
338         } else if ($dbfamily === 'mysql') {
339             $sequences = array();
340             $prefix = $DB->get_prefix();
341             $rs = $DB->get_recordset_sql("SHOW TABLE STATUS LIKE ?", array($prefix.'%'));
342             foreach ($rs as $info) {
343                 $table = strtolower($info->name);
344                 if (strpos($table, $prefix) !== 0) {
345                     // incorrect table match caused by _
346                     continue;
347                 }
348                 if (!is_null($info->auto_increment)) {
349                     $table = preg_replace('/^'.preg_quote($prefix, '/').'/', '', $table);
350                     $sequences[$table] = $info->auto_increment;
351                 }
352             }
353             $rs->close();
354             $prefix = $DB->get_prefix();
355             foreach ($data as $table=>$records) {
356                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
357                     if (isset($sequences[$table])) {
358                         if (empty($records)) {
359                             $nextid = 1;
360                         } else {
361                             $lastrecord = end($records);
362                             $nextid = $lastrecord->id + 1;
363                         }
364                         if ($sequences[$table] != $nextid) {
365                             $DB->change_database_structure("ALTER TABLE {$prefix}{$table} AUTO_INCREMENT = $nextid");
366                         }
368                     } else {
369                         // some problem exists, fallback to standard code
370                         $DB->get_manager()->reset_sequence($table);
371                     }
372                 }
373             }
375         } else if ($dbfamily === 'oracle') {
376             $sequences = phpunit_util::get_sequencenames();
377             $sequences = array_map('strtoupper', $sequences);
378             $lookup = array_flip($sequences);
380             $current = array();
381             list($seqs, $params) = $DB->get_in_or_equal($sequences);
382             $sql = "SELECT sequence_name, last_number FROM user_sequences WHERE sequence_name $seqs";
383             $rs = $DB->get_recordset_sql($sql, $params);
384             foreach ($rs as $seq) {
385                 $table = $lookup[$seq->sequence_name];
386                 $current[$table] = $seq->last_number;
387             }
388             $rs->close();
390             foreach ($data as $table=>$records) {
391                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
392                     $lastrecord = end($records);
393                     if ($lastrecord) {
394                         $nextid = $lastrecord->id + 1;
395                     } else {
396                         $nextid = 1;
397                     }
398                     if (!isset($current[$table])) {
399                         $DB->get_manager()->reset_sequence($table);
400                     } else if ($nextid == $current[$table]) {
401                         continue;
402                     }
403                     // reset as fast as possible - alternatively we could use http://stackoverflow.com/questions/51470/how-do-i-reset-a-sequence-in-oracle
404                     $seqname = $sequences[$table];
405                     $cachesize = $DB->get_manager()->generator->sequence_cache_size;
406                     $DB->change_database_structure("DROP SEQUENCE $seqname");
407                     $DB->change_database_structure("CREATE SEQUENCE $seqname START WITH $nextid INCREMENT BY 1 NOMAXVALUE CACHE $cachesize");
408                 }
409             }
411         } else {
412             // note: does mssql support any kind of faster reset?
413             if (is_null($empties)) {
414                 $empties = self::guess_unmodified_empty_tables();
415             }
416             foreach ($data as $table=>$records) {
417                 if (isset($empties[$table])) {
418                     continue;
419                 }
420                 if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
421                     $DB->get_manager()->reset_sequence($table);
422                 }
423             }
424         }
425     }
427     /**
428      * Reset all database tables to default values.
429      * @static
430      * @return bool true if reset done, false if skipped
431      */
432     public static function reset_database() {
433         global $DB;
435         if (!is_null(self::$lastdbwrites) and self::$lastdbwrites == $DB->perf_get_writes()) {
436             return false;
437         }
439         $tables = $DB->get_tables(false);
440         if (!$tables or empty($tables['config'])) {
441             // not installed yet
442             return false;
443         }
445         if (!$data = self::get_tabledata()) {
446             // not initialised yet
447             return false;
448         }
449         if (!$structure = self::get_tablestructure()) {
450             // not initialised yet
451             return false;
452         }
454         $empties = self::guess_unmodified_empty_tables();
456         foreach ($data as $table=>$records) {
457             if (empty($records)) {
458                 if (isset($empties[$table])) {
459                     // table was not modified and is empty
460                 } else {
461                     $DB->delete_records($table, array());
462                 }
463                 continue;
464             }
466             if (isset($structure[$table]['id']) and $structure[$table]['id']->auto_increment) {
467                 $currentrecords = $DB->get_records($table, array(), 'id ASC');
468                 $changed = false;
469                 foreach ($records as $id=>$record) {
470                     if (!isset($currentrecords[$id])) {
471                         $changed = true;
472                         break;
473                     }
474                     if ((array)$record != (array)$currentrecords[$id]) {
475                         $changed = true;
476                         break;
477                     }
478                     unset($currentrecords[$id]);
479                 }
480                 if (!$changed) {
481                     if ($currentrecords) {
482                         $lastrecord = end($records);
483                         $DB->delete_records_select($table, "id > ?", array($lastrecord->id));
484                         continue;
485                     } else {
486                         continue;
487                     }
488                 }
489             }
491             $DB->delete_records($table, array());
492             foreach ($records as $record) {
493                 $DB->import_record($table, $record, false, true);
494             }
495         }
497         // reset all next record ids - aka sequences
498         self::reset_all_database_sequences($empties);
500         // remove extra tables
501         foreach ($tables as $table) {
502             if (!isset($data[$table])) {
503                 $DB->get_manager()->drop_table(new xmldb_table($table));
504             }
505         }
507         self::$lastdbwrites = $DB->perf_get_writes();
509         return true;
510     }
512     /**
513      * Purge dataroot directory
514      * @static
515      * @return void
516      */
517     public static function reset_dataroot() {
518         global $CFG;
520         $handle = opendir($CFG->dataroot);
521         $skip = array('.', '..', 'phpunittestdir.txt', 'phpunit', '.htaccess');
522         while (false !== ($item = readdir($handle))) {
523             if (in_array($item, $skip)) {
524                 continue;
525             }
526             if (is_dir("$CFG->dataroot/$item")) {
527                 remove_dir("$CFG->dataroot/$item", false);
528             } else {
529                 unlink("$CFG->dataroot/$item");
530             }
531         }
532         closedir($handle);
533         make_temp_directory('');
534         make_cache_directory('');
535         make_cache_directory('htmlpurifier');
536         // Reset the cache API so that it recreates it's required directories as well.
537         cache_factory::reset();
538         // Purge all data from the caches. This is required for consistency.
539         // Any file caches that happened to be within the data root will have already been clearer (because we just deleted cache)
540         // and now we will purge any other caches as well.
541         cache_helper::purge_all();
542     }
544     /**
545      * Reset contents of all database tables to initial values, reset caches, etc.
546      *
547      * Note: this is relatively slow (cca 2 seconds for pg and 7 for mysql) - please use with care!
548      *
549      * @static
550      * @param bool $logchanges log changes in global state and database in error log
551      * @return void
552      */
553     public static function reset_all_data($logchanges = false) {
554         global $DB, $CFG, $USER, $SITE, $COURSE, $PAGE, $OUTPUT, $SESSION, $GROUPLIB_CACHE;
556         // Show any unhandled debugging messages, the runbare() could already reset it.
557         self::display_debugging_messages();
558         self::reset_debugging();
560         // reset global $DB in case somebody mocked it
561         $DB = self::get_global_backup('DB');
563         if ($DB->is_transaction_started()) {
564             // we can not reset inside transaction
565             $DB->force_transaction_rollback();
566         }
568         $resetdb = self::reset_database();
569         $warnings = array();
571         if ($logchanges) {
572             if ($resetdb) {
573                 $warnings[] = 'Warning: unexpected database modification, resetting DB state';
574             }
576             $oldcfg = self::get_global_backup('CFG');
577             $oldsite = self::get_global_backup('SITE');
578             foreach($CFG as $k=>$v) {
579                 if (!property_exists($oldcfg, $k)) {
580                     $warnings[] = 'Warning: unexpected new $CFG->'.$k.' value';
581                 } else if ($oldcfg->$k !== $CFG->$k) {
582                     $warnings[] = 'Warning: unexpected change of $CFG->'.$k.' value';
583                 }
584                 unset($oldcfg->$k);
586             }
587             if ($oldcfg) {
588                 foreach($oldcfg as $k=>$v) {
589                     $warnings[] = 'Warning: unexpected removal of $CFG->'.$k;
590                 }
591             }
593             if ($USER->id != 0) {
594                 $warnings[] = 'Warning: unexpected change of $USER';
595             }
597             if ($COURSE->id != $oldsite->id) {
598                 $warnings[] = 'Warning: unexpected change of $COURSE';
599             }
600         }
602         // restore original globals
603         $_SERVER = self::get_global_backup('_SERVER');
604         $CFG = self::get_global_backup('CFG');
605         $SITE = self::get_global_backup('SITE');
606         $COURSE = $SITE;
608         // reinitialise following globals
609         $OUTPUT = new bootstrap_renderer();
610         $PAGE = new moodle_page();
611         $FULLME = null;
612         $ME = null;
613         $SCRIPT = null;
614         $SESSION = new stdClass();
615         $_SESSION['SESSION'] =& $SESSION;
617         // set fresh new not-logged-in user
618         $user = new stdClass();
619         $user->id = 0;
620         $user->mnethostid = $CFG->mnet_localhost_id;
621         session_set_user($user);
623         // reset all static caches
624         accesslib_clear_all_caches(true);
625         get_string_manager()->reset_caches(true);
626         reset_text_filters_cache(true);
627         events_get_handlers('reset');
628         textlib::reset_caches();
629         if (class_exists('repository')) {
630             repository::reset_caches();
631         }
632         $GROUPLIB_CACHE = null;
633         //TODO MDL-25290: add more resets here and probably refactor them to new core function
635         // purge dataroot directory
636         self::reset_dataroot();
638         // restore original config once more in case resetting of caches changed CFG
639         $CFG = self::get_global_backup('CFG');
641         // inform data generator
642         self::get_data_generator()->reset();
644         // fix PHP settings
645         error_reporting($CFG->debug);
647         // verify db writes just in case something goes wrong in reset
648         if (self::$lastdbwrites != $DB->perf_get_writes()) {
649             error_log('Unexpected DB writes in phpunit_util::reset_all_data()');
650             self::$lastdbwrites = $DB->perf_get_writes();
651         }
653         if ($warnings) {
654             $warnings = implode("\n", $warnings);
655             trigger_error($warnings, E_USER_WARNING);
656         }
657     }
659     /**
660      * Called during bootstrap only!
661      * @internal
662      * @static
663      * @return void
664      */
665     public static function bootstrap_init() {
666         global $CFG, $SITE, $DB;
668         // backup the globals
669         self::$globals['_SERVER'] = $_SERVER;
670         self::$globals['CFG'] = clone($CFG);
671         self::$globals['SITE'] = clone($SITE);
672         self::$globals['DB'] = $DB;
674         // refresh data in all tables, clear caches, etc.
675         phpunit_util::reset_all_data();
676     }
678     /**
679      * Returns original state of global variable.
680      * @static
681      * @param string $name
682      * @return mixed
683      */
684     public static function get_global_backup($name) {
685         if ($name === 'DB') {
686             // no cloning of database object,
687             // we just need the original reference, not original state
688             return self::$globals['DB'];
689         }
690         if (isset(self::$globals[$name])) {
691             if (is_object(self::$globals[$name])) {
692                 $return = clone(self::$globals[$name]);
693                 return $return;
694             } else {
695                 return self::$globals[$name];
696             }
697         }
698         return null;
699     }
701     /**
702      * Does this site (db and dataroot) appear to be used for production?
703      * We try very hard to prevent accidental damage done to production servers!!
704      *
705      * @static
706      * @return bool
707      */
708     public static function is_test_site() {
709         global $DB, $CFG;
711         if (!file_exists("$CFG->dataroot/phpunittestdir.txt")) {
712             // this is already tested in bootstrap script,
713             // but anyway presence of this file means the dataroot is for testing
714             return false;
715         }
717         $tables = $DB->get_tables(false);
718         if ($tables) {
719             if (!$DB->get_manager()->table_exists('config')) {
720                 return false;
721             }
722             if (!get_config('core', 'phpunittest')) {
723                 return false;
724             }
725         }
727         return true;
728     }
730     /**
731      * Is this site initialised to run unit tests?
732      *
733      * @static
734      * @return int array errorcode=>message, 0 means ok
735      */
736     public static function testing_ready_problem() {
737         global $CFG, $DB;
739         $tables = $DB->get_tables(false);
741         if (!self::is_test_site()) {
742             // dataroot was verified in bootstrap, so it must be DB
743             return array(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not use database for testing, try different prefix');
744         }
746         if (empty($tables)) {
747             return array(PHPUNIT_EXITCODE_INSTALL, '');
748         }
750         if (!file_exists("$CFG->dataroot/phpunit/tabledata.ser") or !file_exists("$CFG->dataroot/phpunit/tablestructure.ser")) {
751             return array(PHPUNIT_EXITCODE_REINSTALL, '');
752         }
754         if (!file_exists("$CFG->dataroot/phpunit/versionshash.txt")) {
755             return array(PHPUNIT_EXITCODE_REINSTALL, '');
756         }
758         $hash = phpunit_util::get_version_hash();
759         $oldhash = file_get_contents("$CFG->dataroot/phpunit/versionshash.txt");
761         if ($hash !== $oldhash) {
762             return array(PHPUNIT_EXITCODE_REINSTALL, '');
763         }
765         $dbhash = get_config('core', 'phpunittest');
766         if ($hash !== $dbhash) {
767             return array(PHPUNIT_EXITCODE_REINSTALL, '');
768         }
770         return array(0, '');
771     }
773     /**
774      * Drop all test site data.
775      *
776      * Note: To be used from CLI scripts only.
777      *
778      * @static
779      * @param bool $displayprogress if true, this method will echo progress information.
780      * @return void may terminate execution with exit code
781      */
782     public static function drop_site($displayprogress = false) {
783         global $DB, $CFG;
785         if (!self::is_test_site()) {
786             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not drop non-test site!!');
787         }
789         // Purge dataroot
790         if ($displayprogress) {
791             echo "Purging dataroot:\n";
792         }
793         self::reset_dataroot();
794         phpunit_bootstrap_initdataroot($CFG->dataroot);
795         $keep = array('.', '..', 'lock', 'webrunner.xml');
796         $files = scandir("$CFG->dataroot/phpunit");
797         foreach ($files as $file) {
798             if (in_array($file, $keep)) {
799                 continue;
800             }
801             $path = "$CFG->dataroot/phpunit/$file";
802             if (is_dir($path)) {
803                 remove_dir($path, false);
804             } else {
805                 unlink($path);
806             }
807         }
809         // drop all tables
810         $tables = $DB->get_tables(false);
811         if (isset($tables['config'])) {
812             // config always last to prevent problems with interrupted drops!
813             unset($tables['config']);
814             $tables['config'] = 'config';
815         }
817         if ($displayprogress) {
818             echo "Dropping tables:\n";
819         }
820         $dotsonline = 0;
821         foreach ($tables as $tablename) {
822             $table = new xmldb_table($tablename);
823             $DB->get_manager()->drop_table($table);
825             if ($dotsonline == 60) {
826                 if ($displayprogress) {
827                     echo "\n";
828                 }
829                 $dotsonline = 0;
830             }
831             if ($displayprogress) {
832                 echo '.';
833             }
834             $dotsonline += 1;
835         }
836         if ($displayprogress) {
837             echo "\n";
838         }
839     }
841     /**
842      * Perform a fresh test site installation
843      *
844      * Note: To be used from CLI scripts only.
845      *
846      * @static
847      * @return void may terminate execution with exit code
848      */
849     public static function install_site() {
850         global $DB, $CFG;
852         if (!self::is_test_site()) {
853             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not install on non-test site!!');
854         }
856         if ($DB->get_tables()) {
857             list($errorcode, $message) = phpunit_util::testing_ready_problem();
858             if ($errorcode) {
859                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_REINSTALL, 'Database tables already present, Moodle PHPUnit test environment can not be initialised');
860             } else {
861                 phpunit_bootstrap_error(0, 'Moodle PHPUnit test environment is already initialised');
862             }
863         }
865         $options = array();
866         $options['adminpass'] = 'admin';
867         $options['shortname'] = 'phpunit';
868         $options['fullname'] = 'PHPUnit test site';
870         install_cli_database($options, false);
872         // install timezone info
873         $timezones = get_records_csv($CFG->libdir.'/timezone.txt', 'timezone');
874         update_timezone_records($timezones);
876         // add test db flag
877         $hash = phpunit_util::get_version_hash();
878         set_config('phpunittest', $hash);
880         // store data for all tables
881         $data = array();
882         $structure = array();
883         $tables = $DB->get_tables();
884         foreach ($tables as $table) {
885             $columns = $DB->get_columns($table);
886             $structure[$table] = $columns;
887             if (isset($columns['id']) and $columns['id']->auto_increment) {
888                 $data[$table] = $DB->get_records($table, array(), 'id ASC');
889             } else {
890                 // there should not be many of these
891                 $data[$table] = $DB->get_records($table, array());
892             }
893         }
894         $data = serialize($data);
895         file_put_contents("$CFG->dataroot/phpunit/tabledata.ser", $data);
896         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/tabledata.ser");
898         $structure = serialize($structure);
899         file_put_contents("$CFG->dataroot/phpunit/tablestructure.ser", $structure);
900         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/tablestructure.ser");
902         // hash all plugin versions - helps with very fast detection of db structure changes
903         file_put_contents("$CFG->dataroot/phpunit/versionshash.txt", $hash);
904         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/versionshash.txt", $hash);
905     }
907     /**
908      * Calculate unique version hash for all plugins and core.
909      * @static
910      * @return string sha1 hash
911      */
912     public static function get_version_hash() {
913         global $CFG;
915         if (self::$versionhash) {
916             return self::$versionhash;
917         }
919         $versions = array();
921         // main version first
922         $version = null;
923         include($CFG->dirroot.'/version.php');
924         $versions['core'] = $version;
926         // modules
927         $mods = get_plugin_list('mod');
928         ksort($mods);
929         foreach ($mods as $mod => $fullmod) {
930             $module = new stdClass();
931             $module->version = null;
932             include($fullmod.'/version.php');
933             $versions[$mod] = $module->version;
934         }
936         // now the rest of plugins
937         $plugintypes = get_plugin_types();
938         unset($plugintypes['mod']);
939         ksort($plugintypes);
940         foreach ($plugintypes as $type=>$unused) {
941             $plugs = get_plugin_list($type);
942             ksort($plugs);
943             foreach ($plugs as $plug=>$fullplug) {
944                 $plugin = new stdClass();
945                 $plugin->version = null;
946                 @include($fullplug.'/version.php');
947                 $versions[$plug] = $plugin->version;
948             }
949         }
951         self::$versionhash = sha1(serialize($versions));
953         return self::$versionhash;
954     }
956     /**
957      * Builds dirroot/phpunit.xml and dataroot/phpunit/webrunner.xml files using defaults from /phpunit.xml.dist
958      * @static
959      * @return bool true means main config file created, false means only dataroot file created
960      */
961     public static function build_config_file() {
962         global $CFG;
964         $template = '
965         <testsuite name="@component@ test suite">
966             <directory suffix="_test.php">@dir@</directory>
967         </testsuite>';
968         $data = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
970         $suites = '';
972         $plugintypes = get_plugin_types();
973         ksort($plugintypes);
974         foreach ($plugintypes as $type=>$unused) {
975             $plugs = get_plugin_list($type);
976             ksort($plugs);
977             foreach ($plugs as $plug=>$fullplug) {
978                 if (!file_exists("$fullplug/tests/")) {
979                     continue;
980                 }
981                 $dir = substr($fullplug, strlen($CFG->dirroot)+1);
982                 $dir .= '/tests';
983                 $component = $type.'_'.$plug;
985                 $suite = str_replace('@component@', $component, $template);
986                 $suite = str_replace('@dir@', $dir, $suite);
988                 $suites .= $suite;
989             }
990         }
992         $data = preg_replace('|<!--@plugin_suites_start@-->.*<!--@plugin_suites_end@-->|s', $suites, $data, 1);
994         $result = false;
995         if (is_writable($CFG->dirroot)) {
996             if ($result = file_put_contents("$CFG->dirroot/phpunit.xml", $data)) {
997                 phpunit_boostrap_fix_file_permissions("$CFG->dirroot/phpunit.xml");
998             }
999         }
1001         // relink - it seems that xml:base does not work in phpunit xml files, remove this nasty hack if you find a way to set xml base for relative refs
1002         $data = str_replace('lib/phpunit/', $CFG->dirroot.DIRECTORY_SEPARATOR.'lib'.DIRECTORY_SEPARATOR.'phpunit'.DIRECTORY_SEPARATOR, $data);
1003         $data = preg_replace('|<directory suffix="_test.php">([^<]+)</directory>|',
1004             '<directory suffix="_test.php">'.$CFG->dirroot.(DIRECTORY_SEPARATOR === '\\' ? '\\\\' : DIRECTORY_SEPARATOR).'$1</directory>',
1005             $data);
1006         file_put_contents("$CFG->dataroot/phpunit/webrunner.xml", $data);
1007         phpunit_boostrap_fix_file_permissions("$CFG->dataroot/phpunit/webrunner.xml");
1009         return (bool)$result;
1010     }
1012     /**
1013      * Builds phpunit.xml files for all components using defaults from /phpunit.xml.dist
1014      *
1015      * @static
1016      * @return void, stops if can not write files
1017      */
1018     public static function build_component_config_files() {
1019         global $CFG;
1021         $template = '
1022         <testsuites>
1023             <testsuite name="@component@">
1024                 <directory suffix="_test.php">.</directory>
1025             </testsuite>
1026         </testsuites>';
1028         // Use the upstream file as source for the distributed configurations
1029         $ftemplate = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
1030         $ftemplate = preg_replace('|<!--All core suites.*</testsuites>|s', '<!--@component_suite@-->', $ftemplate);
1032         // Get all the components
1033         $components = self::get_all_plugins_with_tests() + self::get_all_subsystems_with_tests();
1035         // Get all the directories having tests
1036         $directories = self::get_all_directories_with_tests();
1038         // Find any directory not covered by proper components
1039         $remaining = array_diff($directories, $components);
1041         // Add them to the list of components
1042         $components += $remaining;
1044         // Create the corresponding phpunit.xml file for each component
1045         foreach ($components as $cname => $cpath) {
1046             // Calculate the component suite
1047             $ctemplate = $template;
1048             $ctemplate = str_replace('@component@', $cname, $ctemplate);
1050             // Apply it to the file template
1051             $fcontents = str_replace('<!--@component_suite@-->', $ctemplate, $ftemplate);
1053             // fix link to schema
1054             $level = substr_count(str_replace('\\', '/', $cpath), '/') - substr_count(str_replace('\\', '/', $CFG->dirroot), '/');
1055             $fcontents = str_replace('lib/phpunit/', str_repeat('../', $level).'lib/phpunit/', $fcontents);
1057             // Write the file
1058             $result = false;
1059             if (is_writable($cpath)) {
1060                 if ($result = (bool)file_put_contents("$cpath/phpunit.xml", $fcontents)) {
1061                     phpunit_boostrap_fix_file_permissions("$cpath/phpunit.xml");
1062                 }
1063             }
1064             // Problems writing file, throw error
1065             if (!$result) {
1066                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGWARNING, "Can not create $cpath/phpunit.xml configuration file, verify dir permissions");
1067             }
1068         }
1069     }
1071     /**
1072      * Returns all the plugins having PHPUnit tests
1073      *
1074      * @return array all the plugins having PHPUnit tests
1075      *
1076      */
1077     private static function get_all_plugins_with_tests() {
1078         $pluginswithtests = array();
1080         $plugintypes = get_plugin_types();
1081         ksort($plugintypes);
1082         foreach ($plugintypes as $type => $unused) {
1083             $plugs = get_plugin_list($type);
1084             ksort($plugs);
1085             foreach ($plugs as $plug => $fullplug) {
1086                 // Look for tests recursively
1087                 if (self::directory_has_tests($fullplug)) {
1088                     $pluginswithtests[$type . '_' . $plug] = $fullplug;
1089                 }
1090             }
1091         }
1092         return $pluginswithtests;
1093     }
1095     /**
1096      * Returns all the subsystems having PHPUnit tests
1097      *
1098      * Note we are hacking here the list of subsystems
1099      * to cover some well-known subsystems that are not properly
1100      * returned by the {@link get_core_subsystems()} function.
1101      *
1102      * @return array all the subsystems having PHPUnit tests
1103      */
1104     private static function get_all_subsystems_with_tests() {
1105         global $CFG;
1107         $subsystemswithtests = array();
1109         $subsystems = get_core_subsystems();
1111         // Hack the list a bit to cover some well-known ones
1112         $subsystems['backup'] = 'backup';
1113         $subsystems['db-dml'] = 'lib/dml';
1114         $subsystems['db-ddl'] = 'lib/ddl';
1116         ksort($subsystems);
1117         foreach ($subsystems as $subsys => $relsubsys) {
1118             if ($relsubsys === null) {
1119                 continue;
1120             }
1121             $fullsubsys = $CFG->dirroot . '/' . $relsubsys;
1122             if (!is_dir($fullsubsys)) {
1123                 continue;
1124             }
1125             // Look for tests recursively
1126             if (self::directory_has_tests($fullsubsys)) {
1127                 $subsystemswithtests['core_' . $subsys] = $fullsubsys;
1128             }
1129         }
1130         return $subsystemswithtests;
1131     }
1133     /**
1134      * Returns all the directories having tests
1135      *
1136      * @return array all directories having tests
1137      */
1138     private static function get_all_directories_with_tests() {
1139         global $CFG;
1141         $dirs = array();
1142         $dirite = new RecursiveDirectoryIterator($CFG->dirroot);
1143         $iteite = new RecursiveIteratorIterator($dirite);
1144         $sep = preg_quote(DIRECTORY_SEPARATOR, '|');
1145         $regite = new RegexIterator($iteite, '|'.$sep.'tests'.$sep.'.*_test\.php$|');
1146         foreach ($regite as $path => $element) {
1147             $key = dirname(dirname($path));
1148             $value = trim(str_replace('/', '_', str_replace($CFG->dirroot, '', $key)), '_');
1149             $dirs[$key] = $value;
1150         }
1151         ksort($dirs);
1152         return array_flip($dirs);
1153     }
1155     /**
1156      * Returns if a given directory has tests (recursively)
1157      *
1158      * @param $dir string full path to the directory to look for phpunit tests
1159      * @return bool if a given directory has tests (true) or no (false)
1160      */
1161     private static function directory_has_tests($dir) {
1162         if (!is_dir($dir)) {
1163             return false;
1164         }
1166         $dirite = new RecursiveDirectoryIterator($dir);
1167         $iteite = new RecursiveIteratorIterator($dirite);
1168         $sep = preg_quote(DIRECTORY_SEPARATOR, '|');
1169         $regite = new RegexIterator($iteite, '|'.$sep.'tests'.$sep.'.*_test\.php$|');
1170         $regite->rewind();
1171         if ($regite->valid()) {
1172             return true;
1173         }
1174         return false;
1175     }
1177     /**
1178      * To be called from debugging() only.
1179      * @param string $message
1180      * @param int $level
1181      * @param string $from
1182      */
1183     public static function debugging_triggered($message, $level, $from) {
1184         // Store only if debugging triggered from actual test,
1185         // we need normal debugging outside of tests to find problems in our phpunit integration.
1186         $backtrace = debug_backtrace();
1188         foreach ($backtrace as $bt) {
1189             $intest = false;
1190             if (isset($bt['object']) and is_object($bt['object'])) {
1191                 if ($bt['object'] instanceof PHPUnit_Framework_TestCase) {
1192                     if (strpos($bt['function'], 'test') === 0) {
1193                         $intest = true;
1194                         break;
1195                     }
1196                 }
1197             }
1198         }
1199         if (!$intest) {
1200             return false;
1201         }
1203         $debug = new stdClass();
1204         $debug->message = $message;
1205         $debug->level   = $level;
1206         $debug->from    = $from;
1208         self::$debuggings[] = $debug;
1210         return true;
1211     }
1213     /**
1214      * Resets the list of debugging messages.
1215      */
1216     public static function reset_debugging() {
1217         self::$debuggings = array();
1218     }
1220     /**
1221      * Returns all debugging messages triggered during test.
1222      * @return array with instances having message, level and stacktrace property.
1223      */
1224     public static function get_debugging_messages() {
1225         return self::$debuggings;
1226     }
1228     /**
1229      * Prints out any debug messages accumulated during test execution.
1230      * @return bool false if no debug messages, true if debug triggered
1231      */
1232     public static function display_debugging_messages() {
1233         if (empty(self::$debuggings)) {
1234             return false;
1235         }
1236         foreach(self::$debuggings as $debug) {
1237             echo 'Debugging: ' . $debug->message . "\n" . trim($debug->from) . "\n";
1238         }
1240         return true;
1241     }