Merge branch 'MDL-37585' of git://github.com/timhunt/moodle
[moodle.git] / lib / phpunit / classes / util.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Utility class.
19  *
20  * @package    core
21  * @category   phpunit
22  * @copyright  2012 Petr Skoda {@link http://skodak.org}
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
26 require_once(__DIR__.'/../../testing/classes/util.php');
28 /**
29  * Collection of utility methods.
30  *
31  * @package    core
32  * @category   phpunit
33  * @copyright  2012 Petr Skoda {@link http://skodak.org}
34  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
35  */
36 class phpunit_util extends testing_util {
37     /** @var array An array of original globals, restored after each test */
38     protected static $globals = array();
40     /** @var array list of debugging messages triggered during the last test execution */
41     protected static $debuggings = array();
43     /** @var phpunit_message_sink alternative target for moodle messaging */
44     protected static $messagesink = null;
46     /**
47      * @var array Files to skip when resetting dataroot folder
48      */
49     protected static $datarootskiponreset = array('.', '..', 'phpunittestdir.txt', 'phpunit', '.htaccess');
51     /**
52      * @var array Files to skip when dropping dataroot folder
53      */
54     protected static $datarootskipondrop = array('.', '..', 'lock', 'webrunner.xml');
56     /**
57      * Load global $CFG;
58      * @internal
59      * @static
60      * @return void
61      */
62     public static function initialise_cfg() {
63         global $DB;
64         $dbhash = false;
65         try {
66             $dbhash = $DB->get_field('config', 'value', array('name'=>'phpunittest'));
67         } catch (Exception $e) {
68             // not installed yet
69             initialise_cfg();
70             return;
71         }
72         if ($dbhash !== self::get_version_hash()) {
73             // do not set CFG - the only way forward is to drop and reinstall
74             return;
75         }
76         // standard CFG init
77         initialise_cfg();
78     }
80     /**
81      * Reset contents of all database tables to initial values, reset caches, etc.
82      *
83      * Note: this is relatively slow (cca 2 seconds for pg and 7 for mysql) - please use with care!
84      *
85      * @static
86      * @param bool $logchanges log changes in global state and database in error log
87      * @return void
88      */
89     public static function reset_all_data($logchanges = false) {
90         global $DB, $CFG, $USER, $SITE, $COURSE, $PAGE, $OUTPUT, $SESSION;
92         // Stop any message redirection.
93         phpunit_util::stop_message_redirection();
95         // Release memory and indirectly call destroy() methods to release resource handles, etc.
96         gc_collect_cycles();
98         // Show any unhandled debugging messages, the runbare() could already reset it.
99         self::display_debugging_messages();
100         self::reset_debugging();
102         // reset global $DB in case somebody mocked it
103         $DB = self::get_global_backup('DB');
105         if ($DB->is_transaction_started()) {
106             // we can not reset inside transaction
107             $DB->force_transaction_rollback();
108         }
110         $resetdb = self::reset_database();
111         $warnings = array();
113         if ($logchanges) {
114             if ($resetdb) {
115                 $warnings[] = 'Warning: unexpected database modification, resetting DB state';
116             }
118             $oldcfg = self::get_global_backup('CFG');
119             $oldsite = self::get_global_backup('SITE');
120             foreach($CFG as $k=>$v) {
121                 if (!property_exists($oldcfg, $k)) {
122                     $warnings[] = 'Warning: unexpected new $CFG->'.$k.' value';
123                 } else if ($oldcfg->$k !== $CFG->$k) {
124                     $warnings[] = 'Warning: unexpected change of $CFG->'.$k.' value';
125                 }
126                 unset($oldcfg->$k);
128             }
129             if ($oldcfg) {
130                 foreach($oldcfg as $k=>$v) {
131                     $warnings[] = 'Warning: unexpected removal of $CFG->'.$k;
132                 }
133             }
135             if ($USER->id != 0) {
136                 $warnings[] = 'Warning: unexpected change of $USER';
137             }
139             if ($COURSE->id != $oldsite->id) {
140                 $warnings[] = 'Warning: unexpected change of $COURSE';
141             }
142         }
144         // restore original globals
145         $_SERVER = self::get_global_backup('_SERVER');
146         $CFG = self::get_global_backup('CFG');
147         $SITE = self::get_global_backup('SITE');
148         $COURSE = $SITE;
150         // reinitialise following globals
151         $OUTPUT = new bootstrap_renderer();
152         $PAGE = new moodle_page();
153         $FULLME = null;
154         $ME = null;
155         $SCRIPT = null;
156         $SESSION = new stdClass();
157         $_SESSION['SESSION'] =& $SESSION;
159         // set fresh new not-logged-in user
160         $user = new stdClass();
161         $user->id = 0;
162         $user->mnethostid = $CFG->mnet_localhost_id;
163         session_set_user($user);
165         // reset all static caches
166         accesslib_clear_all_caches(true);
167         get_string_manager()->reset_caches(true);
168         reset_text_filters_cache(true);
169         events_get_handlers('reset');
170         textlib::reset_caches();
171         if (class_exists('repository')) {
172             repository::reset_caches();
173         }
174         //TODO MDL-25290: add more resets here and probably refactor them to new core function
176         // Reset course and module caches.
177         if (class_exists('format_base')) {
178             // If file containing class is not loaded, there is no cache there anyway.
179             format_base::reset_course_cache(0);
180         }
181         get_fast_modinfo(0, 0, true);
183         // Reset other singletons.
184         if (class_exists('plugin_manager')) {
185             plugin_manager::reset_caches(true);
186         }
187         if (class_exists('available_update_checker')) {
188             available_update_checker::reset_caches(true);
189         }
190         if (class_exists('available_update_deployer')) {
191             available_update_deployer::reset_caches(true);
192         }
194         // purge dataroot directory
195         self::reset_dataroot();
197         // restore original config once more in case resetting of caches changed CFG
198         $CFG = self::get_global_backup('CFG');
200         // inform data generator
201         self::get_data_generator()->reset();
203         // fix PHP settings
204         error_reporting($CFG->debug);
206         // verify db writes just in case something goes wrong in reset
207         if (self::$lastdbwrites != $DB->perf_get_writes()) {
208             error_log('Unexpected DB writes in phpunit_util::reset_all_data()');
209             self::$lastdbwrites = $DB->perf_get_writes();
210         }
212         if ($warnings) {
213             $warnings = implode("\n", $warnings);
214             trigger_error($warnings, E_USER_WARNING);
215         }
216     }
218     /**
219      * Called during bootstrap only!
220      * @internal
221      * @static
222      * @return void
223      */
224     public static function bootstrap_init() {
225         global $CFG, $SITE, $DB;
227         // backup the globals
228         self::$globals['_SERVER'] = $_SERVER;
229         self::$globals['CFG'] = clone($CFG);
230         self::$globals['SITE'] = clone($SITE);
231         self::$globals['DB'] = $DB;
233         // refresh data in all tables, clear caches, etc.
234         phpunit_util::reset_all_data();
235     }
237     /**
238      * Returns original state of global variable.
239      * @static
240      * @param string $name
241      * @return mixed
242      */
243     public static function get_global_backup($name) {
244         if ($name === 'DB') {
245             // no cloning of database object,
246             // we just need the original reference, not original state
247             return self::$globals['DB'];
248         }
249         if (isset(self::$globals[$name])) {
250             if (is_object(self::$globals[$name])) {
251                 $return = clone(self::$globals[$name]);
252                 return $return;
253             } else {
254                 return self::$globals[$name];
255             }
256         }
257         return null;
258     }
260     /**
261      * Is this site initialised to run unit tests?
262      *
263      * @static
264      * @return int array errorcode=>message, 0 means ok
265      */
266     public static function testing_ready_problem() {
267         global $DB;
269         if (!self::is_test_site()) {
270             // dataroot was verified in bootstrap, so it must be DB
271             return array(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not use database for testing, try different prefix');
272         }
274         $tables = $DB->get_tables(false);
275         if (empty($tables)) {
276             return array(PHPUNIT_EXITCODE_INSTALL, '');
277         }
279         if (!self::is_test_data_updated()) {
280             return array(PHPUNIT_EXITCODE_REINSTALL, '');
281         }
283         return array(0, '');
284     }
286     /**
287      * Drop all test site data.
288      *
289      * Note: To be used from CLI scripts only.
290      *
291      * @static
292      * @param bool $displayprogress if true, this method will echo progress information.
293      * @return void may terminate execution with exit code
294      */
295     public static function drop_site($displayprogress = false) {
296         global $DB, $CFG;
298         if (!self::is_test_site()) {
299             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not drop non-test site!!');
300         }
302         // Purge dataroot
303         if ($displayprogress) {
304             echo "Purging dataroot:\n";
305         }
307         self::reset_dataroot();
308         testing_initdataroot($CFG->dataroot, 'phpunit');
309         self::drop_dataroot();
311         // drop all tables
312         self::drop_database($displayprogress);
313     }
315     /**
316      * Perform a fresh test site installation
317      *
318      * Note: To be used from CLI scripts only.
319      *
320      * @static
321      * @return void may terminate execution with exit code
322      */
323     public static function install_site() {
324         global $DB, $CFG;
326         if (!self::is_test_site()) {
327             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not install on non-test site!!');
328         }
330         if ($DB->get_tables()) {
331             list($errorcode, $message) = phpunit_util::testing_ready_problem();
332             if ($errorcode) {
333                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_REINSTALL, 'Database tables already present, Moodle PHPUnit test environment can not be initialised');
334             } else {
335                 phpunit_bootstrap_error(0, 'Moodle PHPUnit test environment is already initialised');
336             }
337         }
339         $options = array();
340         $options['adminpass'] = 'admin';
341         $options['shortname'] = 'phpunit';
342         $options['fullname'] = 'PHPUnit test site';
344         install_cli_database($options, false);
346         // install timezone info
347         $timezones = get_records_csv($CFG->libdir.'/timezone.txt', 'timezone');
348         update_timezone_records($timezones);
350         // Store version hash in the database and in a file.
351         self::store_versions_hash();
353         // Store database data and structure.
354         self::store_database_state();
355     }
357     /**
358      * Builds dirroot/phpunit.xml and dataroot/phpunit/webrunner.xml files using defaults from /phpunit.xml.dist
359      * @static
360      * @return bool true means main config file created, false means only dataroot file created
361      */
362     public static function build_config_file() {
363         global $CFG;
365         $template = '
366         <testsuite name="@component@ test suite">
367             <directory suffix="_test.php">@dir@</directory>
368         </testsuite>';
369         $data = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
371         $suites = '';
373         $plugintypes = get_plugin_types();
374         ksort($plugintypes);
375         foreach ($plugintypes as $type=>$unused) {
376             $plugs = get_plugin_list($type);
377             ksort($plugs);
378             foreach ($plugs as $plug=>$fullplug) {
379                 if (!file_exists("$fullplug/tests/")) {
380                     continue;
381                 }
382                 $dir = substr($fullplug, strlen($CFG->dirroot)+1);
383                 $dir .= '/tests';
384                 $component = $type.'_'.$plug;
386                 $suite = str_replace('@component@', $component, $template);
387                 $suite = str_replace('@dir@', $dir, $suite);
389                 $suites .= $suite;
390             }
391         }
393         $data = preg_replace('|<!--@plugin_suites_start@-->.*<!--@plugin_suites_end@-->|s', $suites, $data, 1);
395         $result = false;
396         if (is_writable($CFG->dirroot)) {
397             if ($result = file_put_contents("$CFG->dirroot/phpunit.xml", $data)) {
398                 testing_fix_file_permissions("$CFG->dirroot/phpunit.xml");
399             }
400         }
402         // relink - it seems that xml:base does not work in phpunit xml files, remove this nasty hack if you find a way to set xml base for relative refs
403         $data = str_replace('lib/phpunit/', $CFG->dirroot.DIRECTORY_SEPARATOR.'lib'.DIRECTORY_SEPARATOR.'phpunit'.DIRECTORY_SEPARATOR, $data);
404         $data = preg_replace('|<directory suffix="_test.php">([^<]+)</directory>|',
405             '<directory suffix="_test.php">'.$CFG->dirroot.(DIRECTORY_SEPARATOR === '\\' ? '\\\\' : DIRECTORY_SEPARATOR).'$1</directory>',
406             $data);
407         file_put_contents("$CFG->dataroot/phpunit/webrunner.xml", $data);
408         testing_fix_file_permissions("$CFG->dataroot/phpunit/webrunner.xml");
410         return (bool)$result;
411     }
413     /**
414      * Builds phpunit.xml files for all components using defaults from /phpunit.xml.dist
415      *
416      * @static
417      * @return void, stops if can not write files
418      */
419     public static function build_component_config_files() {
420         global $CFG;
422         $template = '
423         <testsuites>
424             <testsuite name="@component@">
425                 <directory suffix="_test.php">.</directory>
426             </testsuite>
427         </testsuites>';
429         // Use the upstream file as source for the distributed configurations
430         $ftemplate = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
431         $ftemplate = preg_replace('|<!--All core suites.*</testsuites>|s', '<!--@component_suite@-->', $ftemplate);
433         // Gets all the components with tests
434         $components = tests_finder::get_components_with_tests('phpunit');
436         // Create the corresponding phpunit.xml file for each component
437         foreach ($components as $cname => $cpath) {
438             // Calculate the component suite
439             $ctemplate = $template;
440             $ctemplate = str_replace('@component@', $cname, $ctemplate);
442             // Apply it to the file template
443             $fcontents = str_replace('<!--@component_suite@-->', $ctemplate, $ftemplate);
445             // fix link to schema
446             $level = substr_count(str_replace('\\', '/', $cpath), '/') - substr_count(str_replace('\\', '/', $CFG->dirroot), '/');
447             $fcontents = str_replace('lib/phpunit/', str_repeat('../', $level).'lib/phpunit/', $fcontents);
449             // Write the file
450             $result = false;
451             if (is_writable($cpath)) {
452                 if ($result = (bool)file_put_contents("$cpath/phpunit.xml", $fcontents)) {
453                     testing_fix_file_permissions("$cpath/phpunit.xml");
454                 }
455             }
456             // Problems writing file, throw error
457             if (!$result) {
458                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGWARNING, "Can not create $cpath/phpunit.xml configuration file, verify dir permissions");
459             }
460         }
461     }
463     /**
464      * To be called from debugging() only.
465      * @param string $message
466      * @param int $level
467      * @param string $from
468      */
469     public static function debugging_triggered($message, $level, $from) {
470         // Store only if debugging triggered from actual test,
471         // we need normal debugging outside of tests to find problems in our phpunit integration.
472         $backtrace = debug_backtrace();
474         foreach ($backtrace as $bt) {
475             $intest = false;
476             if (isset($bt['object']) and is_object($bt['object'])) {
477                 if ($bt['object'] instanceof PHPUnit_Framework_TestCase) {
478                     if (strpos($bt['function'], 'test') === 0) {
479                         $intest = true;
480                         break;
481                     }
482                 }
483             }
484         }
485         if (!$intest) {
486             return false;
487         }
489         $debug = new stdClass();
490         $debug->message = $message;
491         $debug->level   = $level;
492         $debug->from    = $from;
494         self::$debuggings[] = $debug;
496         return true;
497     }
499     /**
500      * Resets the list of debugging messages.
501      */
502     public static function reset_debugging() {
503         self::$debuggings = array();
504     }
506     /**
507      * Returns all debugging messages triggered during test.
508      * @return array with instances having message, level and stacktrace property.
509      */
510     public static function get_debugging_messages() {
511         return self::$debuggings;
512     }
514     /**
515      * Prints out any debug messages accumulated during test execution.
516      * @return bool false if no debug messages, true if debug triggered
517      */
518     public static function display_debugging_messages() {
519         if (empty(self::$debuggings)) {
520             return false;
521         }
522         foreach(self::$debuggings as $debug) {
523             echo 'Debugging: ' . $debug->message . "\n" . trim($debug->from) . "\n";
524         }
526         return true;
527     }
529     /**
530      * Start message redirection.
531      *
532      * Note: Do not call directly from tests,
533      *       use $sink = $this->redirectMessages() instead.
534      *
535      * @return phpunit_message_sink
536      */
537     public static function start_message_redirection() {
538         if (self::$messagesink) {
539             self::stop_message_redirection();
540         }
541         self::$messagesink = new phpunit_message_sink();
542         return self::$messagesink;
543     }
545     /**
546      * End message redirection.
547      *
548      * Note: Do not call directly from tests,
549      *       use $sink->close() instead.
550      */
551     public static function stop_message_redirection() {
552         self::$messagesink = null;
553     }
555     /**
556      * Are messages redirected to some sink?
557      *
558      * Note: to be called from messagelib.php only!
559      *
560      * @return bool
561      */
562     public static function is_redirecting_messages() {
563         return !empty(self::$messagesink);
564     }
566     /**
567      * To be called from messagelib.php only!
568      *
569      * @param stdClass $message record from message_read table
570      * @return bool true means send message, false means message "sent" to sink.
571      */
572     public static function message_sent($message) {
573         if (self::$messagesink) {
574             self::$messagesink->add_message($message);
575         }
576     }