7c6fd2f1d1159208e128f7a4fa09f0035b94c931
[moodle.git] / lib / phpunit / classes / util.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Utility class.
19  *
20  * @package    core
21  * @category   phpunit
22  * @copyright  2012 Petr Skoda {@link http://skodak.org}
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
26 require_once(__DIR__.'/../../testing/classes/util.php');
28 /**
29  * Collection of utility methods.
30  *
31  * @package    core
32  * @category   phpunit
33  * @copyright  2012 Petr Skoda {@link http://skodak.org}
34  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
35  */
36 class phpunit_util extends testing_util {
37     /** @var array An array of original globals, restored after each test */
38     protected static $globals = array();
40     /** @var array list of debugging messages triggered during the last test execution */
41     protected static $debuggings = array();
43     /** @var phpunit_message_sink alternative target for moodle messaging */
44     protected static $messagesink = null;
46     /** @var phpunit_phpmailer_sink alternative target for phpmailer messaging */
47     protected static $phpmailersink = null;
49     /** @var phpunit_message_sink alternative target for moodle messaging */
50     protected static $eventsink = null;
52     /**
53      * @var array Files to skip when resetting dataroot folder
54      */
55     protected static $datarootskiponreset = array('.', '..', 'phpunittestdir.txt', 'phpunit', '.htaccess');
57     /**
58      * @var array Files to skip when dropping dataroot folder
59      */
60     protected static $datarootskipondrop = array('.', '..', 'lock', 'webrunner.xml');
62     /**
63      * Load global $CFG;
64      * @internal
65      * @static
66      * @return void
67      */
68     public static function initialise_cfg() {
69         global $DB;
70         $dbhash = false;
71         try {
72             $dbhash = $DB->get_field('config', 'value', array('name'=>'phpunittest'));
73         } catch (Exception $e) {
74             // not installed yet
75             initialise_cfg();
76             return;
77         }
78         if ($dbhash !== core_component::get_all_versions_hash()) {
79             // do not set CFG - the only way forward is to drop and reinstall
80             return;
81         }
82         // standard CFG init
83         initialise_cfg();
84     }
86     /**
87      * Reset contents of all database tables to initial values, reset caches, etc.
88      *
89      * Note: this is relatively slow (cca 2 seconds for pg and 7 for mysql) - please use with care!
90      *
91      * @static
92      * @param bool $detectchanges
93      *      true  - changes in global state and database are reported as errors
94      *      false - no errors reported
95      *      null  - only critical problems are reported as errors
96      * @return void
97      */
98     public static function reset_all_data($detectchanges = false) {
99         global $DB, $CFG, $USER, $SITE, $COURSE, $PAGE, $OUTPUT, $SESSION;
101         // Stop any message redirection.
102         phpunit_util::stop_message_redirection();
104         // Stop any message redirection.
105         phpunit_util::stop_phpmailer_redirection();
107         // Stop any message redirection.
108         phpunit_util::stop_event_redirection();
110         // Release memory and indirectly call destroy() methods to release resource handles, etc.
111         gc_collect_cycles();
113         // Show any unhandled debugging messages, the runbare() could already reset it.
114         self::display_debugging_messages();
115         self::reset_debugging();
117         // reset global $DB in case somebody mocked it
118         $DB = self::get_global_backup('DB');
120         if ($DB->is_transaction_started()) {
121             // we can not reset inside transaction
122             $DB->force_transaction_rollback();
123         }
125         $resetdb = self::reset_database();
126         $warnings = array();
128         if ($detectchanges === true) {
129             if ($resetdb) {
130                 $warnings[] = 'Warning: unexpected database modification, resetting DB state';
131             }
133             $oldcfg = self::get_global_backup('CFG');
134             $oldsite = self::get_global_backup('SITE');
135             foreach($CFG as $k=>$v) {
136                 if (!property_exists($oldcfg, $k)) {
137                     $warnings[] = 'Warning: unexpected new $CFG->'.$k.' value';
138                 } else if ($oldcfg->$k !== $CFG->$k) {
139                     $warnings[] = 'Warning: unexpected change of $CFG->'.$k.' value';
140                 }
141                 unset($oldcfg->$k);
143             }
144             if ($oldcfg) {
145                 foreach($oldcfg as $k=>$v) {
146                     $warnings[] = 'Warning: unexpected removal of $CFG->'.$k;
147                 }
148             }
150             if ($USER->id != 0) {
151                 $warnings[] = 'Warning: unexpected change of $USER';
152             }
154             if ($COURSE->id != $oldsite->id) {
155                 $warnings[] = 'Warning: unexpected change of $COURSE';
156             }
158         }
160         if (ini_get('max_execution_time') != 0) {
161             // This is special warning for all resets because we do not want any
162             // libraries to mess with timeouts unintentionally.
163             // Our PHPUnit integration is not supposed to change it either.
165             if ($detectchanges !== false) {
166                 $warnings[] = 'Warning: max_execution_time was changed to '.ini_get('max_execution_time');
167             }
168             set_time_limit(0);
169         }
171         // restore original globals
172         $_SERVER = self::get_global_backup('_SERVER');
173         $CFG = self::get_global_backup('CFG');
174         $SITE = self::get_global_backup('SITE');
175         $_GET = array();
176         $_POST = array();
177         $_FILES = array();
178         $_REQUEST = array();
179         $COURSE = $SITE;
181         // reinitialise following globals
182         $OUTPUT = new bootstrap_renderer();
183         $PAGE = new moodle_page();
184         $FULLME = null;
185         $ME = null;
186         $SCRIPT = null;
187         $SESSION = new stdClass();
188         $_SESSION['SESSION'] =& $SESSION;
190         // set fresh new not-logged-in user
191         $user = new stdClass();
192         $user->id = 0;
193         $user->mnethostid = $CFG->mnet_localhost_id;
194         \core\session\manager::set_user($user);
196         // reset all static caches
197         \core\event\manager::phpunit_reset();
198         accesslib_clear_all_caches(true);
199         get_string_manager()->reset_caches(true);
200         reset_text_filters_cache(true);
201         events_get_handlers('reset');
202         core_text::reset_caches();
203         get_message_processors(false, true);
204         filter_manager::reset_caches();
205         //TODO MDL-25290: add more resets here and probably refactor them to new core function
207         // Reset course and module caches.
208         if (class_exists('format_base')) {
209             // If file containing class is not loaded, there is no cache there anyway.
210             format_base::reset_course_cache(0);
211         }
212         get_fast_modinfo(0, 0, true);
214         // Reset other singletons.
215         if (class_exists('plugin_manager')) {
216             plugin_manager::reset_caches(true);
217         }
218         if (class_exists('available_update_checker')) {
219             available_update_checker::reset_caches(true);
220         }
221         if (class_exists('available_update_deployer')) {
222             available_update_deployer::reset_caches(true);
223         }
225         // purge dataroot directory
226         self::reset_dataroot();
228         // restore original config once more in case resetting of caches changed CFG
229         $CFG = self::get_global_backup('CFG');
231         // inform data generator
232         self::get_data_generator()->reset();
234         // fix PHP settings
235         error_reporting($CFG->debug);
237         // verify db writes just in case something goes wrong in reset
238         if (self::$lastdbwrites != $DB->perf_get_writes()) {
239             error_log('Unexpected DB writes in phpunit_util::reset_all_data()');
240             self::$lastdbwrites = $DB->perf_get_writes();
241         }
243         if ($warnings) {
244             $warnings = implode("\n", $warnings);
245             trigger_error($warnings, E_USER_WARNING);
246         }
247     }
249     /**
250      * Called during bootstrap only!
251      * @internal
252      * @static
253      * @return void
254      */
255     public static function bootstrap_init() {
256         global $CFG, $SITE, $DB;
258         // backup the globals
259         self::$globals['_SERVER'] = $_SERVER;
260         self::$globals['CFG'] = clone($CFG);
261         self::$globals['SITE'] = clone($SITE);
262         self::$globals['DB'] = $DB;
264         // refresh data in all tables, clear caches, etc.
265         phpunit_util::reset_all_data();
266     }
268     /**
269      * Print some Moodle related info to console.
270      * @internal
271      * @static
272      * @return void
273      */
274     public static function bootstrap_moodle_info() {
275         global $CFG;
277         // All developers have to understand English, do not localise!
279         $release = null;
280         require("$CFG->dirroot/version.php");
282         echo "Moodle $release, $CFG->dbtype";
283         if ($hash = self::get_git_hash()) {
284             echo ", $hash";
285         }
286         echo "\n";
287     }
289     /**
290      * Try to get current git hash of the Moodle in $CFG->dirroot.
291      * @return string null if unknown, sha1 hash if known
292      */
293     public static function get_git_hash() {
294         global $CFG;
296         // This is a bit naive, but it should mostly work for all platforms.
298         if (!file_exists("$CFG->dirroot/.git/HEAD")) {
299             return null;
300         }
302         $ref = file_get_contents("$CFG->dirroot/.git/HEAD");
303         if ($ref === false) {
304             return null;
305         }
307         $ref = trim($ref);
309         if (strpos($ref, 'ref: ') !== 0) {
310             return null;
311         }
313         $ref = substr($ref, 5);
315         if (!file_exists("$CFG->dirroot/.git/$ref")) {
316             return null;
317         }
319         $hash = file_get_contents("$CFG->dirroot/.git/$ref");
321         if ($hash === false) {
322             return null;
323         }
325         $hash = trim($hash);
327         if (strlen($hash) != 40) {
328             return null;
329         }
331         return $hash;
332     }
334     /**
335      * Returns original state of global variable.
336      * @static
337      * @param string $name
338      * @return mixed
339      */
340     public static function get_global_backup($name) {
341         if ($name === 'DB') {
342             // no cloning of database object,
343             // we just need the original reference, not original state
344             return self::$globals['DB'];
345         }
346         if (isset(self::$globals[$name])) {
347             if (is_object(self::$globals[$name])) {
348                 $return = clone(self::$globals[$name]);
349                 return $return;
350             } else {
351                 return self::$globals[$name];
352             }
353         }
354         return null;
355     }
357     /**
358      * Is this site initialised to run unit tests?
359      *
360      * @static
361      * @return int array errorcode=>message, 0 means ok
362      */
363     public static function testing_ready_problem() {
364         global $DB;
366         if (!self::is_test_site()) {
367             // dataroot was verified in bootstrap, so it must be DB
368             return array(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not use database for testing, try different prefix');
369         }
371         $tables = $DB->get_tables(false);
372         if (empty($tables)) {
373             return array(PHPUNIT_EXITCODE_INSTALL, '');
374         }
376         if (!self::is_test_data_updated()) {
377             return array(PHPUNIT_EXITCODE_REINSTALL, '');
378         }
380         return array(0, '');
381     }
383     /**
384      * Drop all test site data.
385      *
386      * Note: To be used from CLI scripts only.
387      *
388      * @static
389      * @param bool $displayprogress if true, this method will echo progress information.
390      * @return void may terminate execution with exit code
391      */
392     public static function drop_site($displayprogress = false) {
393         global $DB, $CFG;
395         if (!self::is_test_site()) {
396             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not drop non-test site!!');
397         }
399         // Purge dataroot
400         if ($displayprogress) {
401             echo "Purging dataroot:\n";
402         }
404         self::reset_dataroot();
405         testing_initdataroot($CFG->dataroot, 'phpunit');
406         self::drop_dataroot();
408         // drop all tables
409         self::drop_database($displayprogress);
410     }
412     /**
413      * Perform a fresh test site installation
414      *
415      * Note: To be used from CLI scripts only.
416      *
417      * @static
418      * @return void may terminate execution with exit code
419      */
420     public static function install_site() {
421         global $DB, $CFG;
423         if (!self::is_test_site()) {
424             phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGERROR, 'Can not install on non-test site!!');
425         }
427         if ($DB->get_tables()) {
428             list($errorcode, $message) = phpunit_util::testing_ready_problem();
429             if ($errorcode) {
430                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_REINSTALL, 'Database tables already present, Moodle PHPUnit test environment can not be initialised');
431             } else {
432                 phpunit_bootstrap_error(0, 'Moodle PHPUnit test environment is already initialised');
433             }
434         }
436         $options = array();
437         $options['adminpass'] = 'admin';
438         $options['shortname'] = 'phpunit';
439         $options['fullname'] = 'PHPUnit test site';
441         install_cli_database($options, false);
443         // install timezone info
444         $timezones = get_records_csv($CFG->libdir.'/timezone.txt', 'timezone');
445         update_timezone_records($timezones);
447         // Store version hash in the database and in a file.
448         self::store_versions_hash();
450         // Store database data and structure.
451         self::store_database_state();
452     }
454     /**
455      * Builds dirroot/phpunit.xml and dataroot/phpunit/webrunner.xml files using defaults from /phpunit.xml.dist
456      * @static
457      * @return bool true means main config file created, false means only dataroot file created
458      */
459     public static function build_config_file() {
460         global $CFG;
462         $template = '
463         <testsuite name="@component@ test suite">
464             <directory suffix="_test.php">@dir@</directory>
465         </testsuite>';
466         $data = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
468         $suites = '';
470         $plugintypes = core_component::get_plugin_types();
471         ksort($plugintypes);
472         foreach ($plugintypes as $type=>$unused) {
473             $plugs = core_component::get_plugin_list($type);
474             ksort($plugs);
475             foreach ($plugs as $plug=>$fullplug) {
476                 if (!file_exists("$fullplug/tests/")) {
477                     continue;
478                 }
479                 $dir = substr($fullplug, strlen($CFG->dirroot)+1);
480                 $dir .= '/tests';
481                 $component = $type.'_'.$plug;
483                 $suite = str_replace('@component@', $component, $template);
484                 $suite = str_replace('@dir@', $dir, $suite);
486                 $suites .= $suite;
487             }
488         }
490         $data = preg_replace('|<!--@plugin_suites_start@-->.*<!--@plugin_suites_end@-->|s', $suites, $data, 1);
492         $result = false;
493         if (is_writable($CFG->dirroot)) {
494             if ($result = file_put_contents("$CFG->dirroot/phpunit.xml", $data)) {
495                 testing_fix_file_permissions("$CFG->dirroot/phpunit.xml");
496             }
497         }
499         // relink - it seems that xml:base does not work in phpunit xml files, remove this nasty hack if you find a way to set xml base for relative refs
500         $data = str_replace('lib/phpunit/', $CFG->dirroot.DIRECTORY_SEPARATOR.'lib'.DIRECTORY_SEPARATOR.'phpunit'.DIRECTORY_SEPARATOR, $data);
501         $data = preg_replace('|<directory suffix="_test.php">([^<]+)</directory>|',
502             '<directory suffix="_test.php">'.$CFG->dirroot.(DIRECTORY_SEPARATOR === '\\' ? '\\\\' : DIRECTORY_SEPARATOR).'$1</directory>',
503             $data);
504         file_put_contents("$CFG->dataroot/phpunit/webrunner.xml", $data);
505         testing_fix_file_permissions("$CFG->dataroot/phpunit/webrunner.xml");
507         return (bool)$result;
508     }
510     /**
511      * Builds phpunit.xml files for all components using defaults from /phpunit.xml.dist
512      *
513      * @static
514      * @return void, stops if can not write files
515      */
516     public static function build_component_config_files() {
517         global $CFG;
519         $template = '
520         <testsuites>
521             <testsuite name="@component@">
522                 <directory suffix="_test.php">.</directory>
523             </testsuite>
524         </testsuites>';
526         // Use the upstream file as source for the distributed configurations
527         $ftemplate = file_get_contents("$CFG->dirroot/phpunit.xml.dist");
528         $ftemplate = preg_replace('|<!--All core suites.*</testsuites>|s', '<!--@component_suite@-->', $ftemplate);
530         // Gets all the components with tests
531         $components = tests_finder::get_components_with_tests('phpunit');
533         // Create the corresponding phpunit.xml file for each component
534         foreach ($components as $cname => $cpath) {
535             // Calculate the component suite
536             $ctemplate = $template;
537             $ctemplate = str_replace('@component@', $cname, $ctemplate);
539             // Apply it to the file template
540             $fcontents = str_replace('<!--@component_suite@-->', $ctemplate, $ftemplate);
542             // fix link to schema
543             $level = substr_count(str_replace('\\', '/', $cpath), '/') - substr_count(str_replace('\\', '/', $CFG->dirroot), '/');
544             $fcontents = str_replace('lib/phpunit/', str_repeat('../', $level).'lib/phpunit/', $fcontents);
546             // Write the file
547             $result = false;
548             if (is_writable($cpath)) {
549                 if ($result = (bool)file_put_contents("$cpath/phpunit.xml", $fcontents)) {
550                     testing_fix_file_permissions("$cpath/phpunit.xml");
551                 }
552             }
553             // Problems writing file, throw error
554             if (!$result) {
555                 phpunit_bootstrap_error(PHPUNIT_EXITCODE_CONFIGWARNING, "Can not create $cpath/phpunit.xml configuration file, verify dir permissions");
556             }
557         }
558     }
560     /**
561      * To be called from debugging() only.
562      * @param string $message
563      * @param int $level
564      * @param string $from
565      */
566     public static function debugging_triggered($message, $level, $from) {
567         // Store only if debugging triggered from actual test,
568         // we need normal debugging outside of tests to find problems in our phpunit integration.
569         $backtrace = debug_backtrace();
571         foreach ($backtrace as $bt) {
572             $intest = false;
573             if (isset($bt['object']) and is_object($bt['object'])) {
574                 if ($bt['object'] instanceof PHPUnit_Framework_TestCase) {
575                     if (strpos($bt['function'], 'test') === 0) {
576                         $intest = true;
577                         break;
578                     }
579                 }
580             }
581         }
582         if (!$intest) {
583             return false;
584         }
586         $debug = new stdClass();
587         $debug->message = $message;
588         $debug->level   = $level;
589         $debug->from    = $from;
591         self::$debuggings[] = $debug;
593         return true;
594     }
596     /**
597      * Resets the list of debugging messages.
598      */
599     public static function reset_debugging() {
600         self::$debuggings = array();
601         set_debugging(DEBUG_DEVELOPER);
602     }
604     /**
605      * Returns all debugging messages triggered during test.
606      * @return array with instances having message, level and stacktrace property.
607      */
608     public static function get_debugging_messages() {
609         return self::$debuggings;
610     }
612     /**
613      * Prints out any debug messages accumulated during test execution.
614      * @return bool false if no debug messages, true if debug triggered
615      */
616     public static function display_debugging_messages() {
617         if (empty(self::$debuggings)) {
618             return false;
619         }
620         foreach(self::$debuggings as $debug) {
621             echo 'Debugging: ' . $debug->message . "\n" . trim($debug->from) . "\n";
622         }
624         return true;
625     }
627     /**
628      * Start message redirection.
629      *
630      * Note: Do not call directly from tests,
631      *       use $sink = $this->redirectMessages() instead.
632      *
633      * @return phpunit_message_sink
634      */
635     public static function start_message_redirection() {
636         if (self::$messagesink) {
637             self::stop_message_redirection();
638         }
639         self::$messagesink = new phpunit_message_sink();
640         return self::$messagesink;
641     }
643     /**
644      * End message redirection.
645      *
646      * Note: Do not call directly from tests,
647      *       use $sink->close() instead.
648      */
649     public static function stop_message_redirection() {
650         self::$messagesink = null;
651     }
653     /**
654      * Are messages redirected to some sink?
655      *
656      * Note: to be called from messagelib.php only!
657      *
658      * @return bool
659      */
660     public static function is_redirecting_messages() {
661         return !empty(self::$messagesink);
662     }
664     /**
665      * To be called from messagelib.php only!
666      *
667      * @param stdClass $message record from message_read table
668      * @return bool true means send message, false means message "sent" to sink.
669      */
670     public static function message_sent($message) {
671         if (self::$messagesink) {
672             self::$messagesink->add_message($message);
673         }
674     }
676     /**
677      * Start phpmailer redirection.
678      *
679      * Note: Do not call directly from tests,
680      *       use $sink = $this->redirectEmails() instead.
681      *
682      * @return phpunit_phpmailer_sink
683      */
684     public static function start_phpmailer_redirection() {
685         if (self::$phpmailersink) {
686             self::stop_phpmailer_redirection();
687         }
688         self::$phpmailersink = new phpunit_phpmailer_sink();
689         return self::$phpmailersink;
690     }
692     /**
693      * End phpmailer redirection.
694      *
695      * Note: Do not call directly from tests,
696      *       use $sink->close() instead.
697      */
698     public static function stop_phpmailer_redirection() {
699         self::$phpmailersink = null;
700     }
702     /**
703      * Are messages for phpmailer redirected to some sink?
704      *
705      * Note: to be called from moodle_phpmailer.php only!
706      *
707      * @return bool
708      */
709     public static function is_redirecting_phpmailer() {
710         return !empty(self::$phpmailersink);
711     }
713     /**
714      * To be called from messagelib.php only!
715      *
716      * @param stdClass $message record from message_read table
717      * @return bool true means send message, false means message "sent" to sink.
718      */
719     public static function phpmailer_sent($message) {
720         if (self::$phpmailersink) {
721             self::$phpmailersink->add_message($message);
722         }
723     }
725     /**
726      * Start event redirection.
727      *
728      * @private
729      * Note: Do not call directly from tests,
730      *       use $sink = $this->redirectEvents() instead.
731      *
732      * @return phpunit_event_sink
733      */
734     public static function start_event_redirection() {
735         if (self::$eventsink) {
736             self::stop_event_redirection();
737         }
738         self::$eventsink = new phpunit_event_sink();
739         return self::$eventsink;
740     }
742     /**
743      * End event redirection.
744      *
745      * @private
746      * Note: Do not call directly from tests,
747      *       use $sink->close() instead.
748      */
749     public static function stop_event_redirection() {
750         self::$eventsink = null;
751     }
753     /**
754      * Are events redirected to some sink?
755      *
756      * Note: to be called from \core\event\base only!
757      *
758      * @private
759      * @return bool
760      */
761     public static function is_redirecting_events() {
762         return !empty(self::$eventsink);
763     }
765     /**
766      * To be called from \core\event\base only!
767      *
768      * @private
769      * @param \core\event\base $event record from event_read table
770      * @return bool true means send event, false means event "sent" to sink.
771      */
772     public static function event_triggered(\core\event\base $event) {
773         if (self::$eventsink) {
774             self::$eventsink->add_event($event);
775         }
776     }