MDL-55742 mod_lti: Remove support for get_magic_quotes_gpc
[moodle.git] / lib / tests / behat / behat_hooks.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Behat hooks steps definitions.
19  *
20  * This methods are used by Behat CLI command.
21  *
22  * @package    core
23  * @category   test
24  * @copyright  2012 David MonllaĆ³
25  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
26  */
28 // NOTE: no MOODLE_INTERNAL test here, this file may be required by behat before including /config.php.
30 require_once(__DIR__ . '/../../behat/behat_base.php');
32 use Behat\Testwork\Hook\Scope\BeforeSuiteScope,
33     Behat\Testwork\Hook\Scope\AfterSuiteScope,
34     Behat\Behat\Hook\Scope\BeforeFeatureScope,
35     Behat\Behat\Hook\Scope\AfterFeatureScope,
36     Behat\Behat\Hook\Scope\BeforeScenarioScope,
37     Behat\Behat\Hook\Scope\AfterScenarioScope,
38     Behat\Behat\Hook\Scope\BeforeStepScope,
39     Behat\Behat\Hook\Scope\AfterStepScope,
40     Behat\Mink\Exception\DriverException as DriverException,
41     WebDriver\Exception\NoSuchWindow as NoSuchWindow,
42     WebDriver\Exception\UnexpectedAlertOpen as UnexpectedAlertOpen,
43     WebDriver\Exception\UnknownError as UnknownError,
44     WebDriver\Exception\CurlExec as CurlExec,
45     WebDriver\Exception\NoAlertOpenError as NoAlertOpenError;
47 /**
48  * Hooks to the behat process.
49  *
50  * Behat accepts hooks after and before each
51  * suite, feature, scenario and step.
52  *
53  * They can not call other steps as part of their process
54  * like regular steps definitions does.
55  *
56  * Throws generic Exception because they are captured by Behat.
57  *
58  * @package   core
59  * @category  test
60  * @copyright 2012 David MonllaĆ³
61  * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
62  */
63 class behat_hooks extends behat_base {
65     /**
66      * @var Last browser session start time.
67      */
68     protected static $lastbrowsersessionstart = 0;
70     /**
71      * @var For actions that should only run once.
72      */
73     protected static $initprocessesfinished = false;
75     /**
76      * Some exceptions can only be caught in a before or after step hook,
77      * they can not be thrown there as they will provoke a framework level
78      * failure, but we can store them here to fail the step in i_look_for_exceptions()
79      * which result will be parsed by the framework as the last step result.
80      *
81      * @var Null or the exception last step throw in the before or after hook.
82      */
83     protected static $currentstepexception = null;
85     /**
86      * If we are saving any kind of dump on failure we should use the same parent dir during a run.
87      *
88      * @var The parent dir name
89      */
90     protected static $faildumpdirname = false;
92     /**
93      * Keeps track of time taken by feature to execute.
94      *
95      * @var array list of feature timings
96      */
97     protected static $timings = array();
99     /**
100      * Keeps track of current running suite name.
101      *
102      * @var string current running suite name
103      */
104     protected static $runningsuite = '';
106     /**
107      * Hook to capture BeforeSuite event so as to give access to moodle codebase.
108      * This will try and catch any exception and exists if anything fails.
109      *
110      * @param BeforeSuiteScope $scope scope passed by event fired before suite.
111      * @BeforeSuite
112      */
113     public static function before_suite_hook(BeforeSuiteScope $scope) {
114         try {
115             self::before_suite($scope);
116         } catch (behat_stop_exception $e) {
117             echo $e->getMessage() . PHP_EOL;
118             exit(1);
119         }
120     }
122     /**
123      * Gives access to moodle codebase, ensures all is ready and sets up the test lock.
124      *
125      * Includes config.php to use moodle codebase with $CFG->behat_*
126      * instead of $CFG->prefix and $CFG->dataroot, called once per suite.
127      *
128      * @param BeforeSuiteScope $scope scope passed by event fired before suite.
129      * @static
130      * @throws behat_stop_exception
131      */
132     public static function before_suite(BeforeSuiteScope $scope) {
133         global $CFG;
135         // Defined only when the behat CLI command is running, the moodle init setup process will
136         // read this value and switch to $CFG->behat_dataroot and $CFG->behat_prefix instead of
137         // the normal site.
138         if (!defined('BEHAT_TEST')) {
139             define('BEHAT_TEST', 1);
140         }
142         if (!defined('CLI_SCRIPT')) {
143             define('CLI_SCRIPT', 1);
144         }
146         // With BEHAT_TEST we will be using $CFG->behat_* instead of $CFG->dataroot, $CFG->prefix and $CFG->wwwroot.
147         require_once(__DIR__ . '/../../../config.php');
149         // Now that we are MOODLE_INTERNAL.
150         require_once(__DIR__ . '/../../behat/classes/behat_command.php');
151         require_once(__DIR__ . '/../../behat/classes/behat_selectors.php');
152         require_once(__DIR__ . '/../../behat/classes/behat_context_helper.php');
153         require_once(__DIR__ . '/../../behat/classes/util.php');
154         require_once(__DIR__ . '/../../testing/classes/test_lock.php');
155         require_once(__DIR__ . '/../../testing/classes/nasty_strings.php');
157         // Avoids vendor/bin/behat to be executed directly without test environment enabled
158         // to prevent undesired db & dataroot modifications, this is also checked
159         // before each scenario (accidental user deletes) in the BeforeScenario hook.
161         if (!behat_util::is_test_mode_enabled()) {
162             throw new behat_stop_exception('Behat only can run if test mode is enabled. More info in ' .
163                 behat_command::DOCS_URL . '#Running_tests');
164         }
166         // Reset all data, before checking for check_server_status.
167         // If not done, then it can return apache error, while running tests.
168         behat_util::clean_tables_updated_by_scenario_list();
169         behat_util::reset_all_data();
171         // Check if server is running and using same version for cli and apache.
172         behat_util::check_server_status();
174         // Prevents using outdated data, upgrade script would start and tests would fail.
175         if (!behat_util::is_test_data_updated()) {
176             $commandpath = 'php admin/tool/behat/cli/init.php';
177             throw new behat_stop_exception("Your behat test site is outdated, please run\n\n    " .
178                     $commandpath . "\n\nfrom your moodle dirroot to drop and install the behat test site again.");
179         }
180         // Avoid parallel tests execution, it continues when the previous lock is released.
181         test_lock::acquire('behat');
183         // Store the browser reset time if reset after N seconds is specified in config.php.
184         if (!empty($CFG->behat_restart_browser_after)) {
185             // Store the initial browser session opening.
186             self::$lastbrowsersessionstart = time();
187         }
189         if (!empty($CFG->behat_faildump_path) && !is_writable($CFG->behat_faildump_path)) {
190             throw new behat_stop_exception('You set $CFG->behat_faildump_path to a non-writable directory');
191         }
193         // Handle interrupts on PHP7.
194         if (extension_loaded('pcntl')) {
195             $disabled = explode(',', ini_get('disable_functions'));
196             if (!in_array('pcntl_signal', $disabled)) {
197                 declare(ticks = 1);
198             }
199         }
200     }
202     /**
203      * Gives access to moodle codebase, to keep track of feature start time.
204      *
205      * @param BeforeFeatureScope $scope scope passed by event fired before feature.
206      * @BeforeFeature
207      */
208     public static function before_feature(BeforeFeatureScope $scope) {
209         if (!defined('BEHAT_FEATURE_TIMING_FILE')) {
210             return;
211         }
212         $file = $scope->getFeature()->getFile();
213         self::$timings[$file] = microtime(true);
214     }
216     /**
217      * Gives access to moodle codebase, to keep track of feature end time.
218      *
219      * @param AfterFeatureScope $scope scope passed by event fired after feature.
220      * @AfterFeature
221      */
222     public static function after_feature(AfterFeatureScope $scope) {
223         if (!defined('BEHAT_FEATURE_TIMING_FILE')) {
224             return;
225         }
226         $file = $scope->getFeature()->getFile();
227         self::$timings[$file] = microtime(true) - self::$timings[$file];
228         // Probably didn't actually run this, don't output it.
229         if (self::$timings[$file] < 1) {
230             unset(self::$timings[$file]);
231         }
232     }
234     /**
235      * Gives access to moodle codebase, to keep track of suite timings.
236      *
237      * @param AfterSuiteScope $scope scope passed by event fired after suite.
238      * @AfterSuite
239      */
240     public static function after_suite(AfterSuiteScope $scope) {
241         if (!defined('BEHAT_FEATURE_TIMING_FILE')) {
242             return;
243         }
244         $realroot = realpath(__DIR__.'/../../../').'/';
245         foreach (self::$timings as $k => $v) {
246             $new = str_replace($realroot, '', $k);
247             self::$timings[$new] = round($v, 1);
248             unset(self::$timings[$k]);
249         }
250         if ($existing = @json_decode(file_get_contents(BEHAT_FEATURE_TIMING_FILE), true)) {
251             self::$timings = array_merge($existing, self::$timings);
252         }
253         arsort(self::$timings);
254         @file_put_contents(BEHAT_FEATURE_TIMING_FILE, json_encode(self::$timings, JSON_PRETTY_PRINT));
255     }
257     /**
258      * Hook to capture before scenario event to get scope.
259      *
260      * @param BeforeScenarioScope $scope scope passed by event fired before scenario.
261      * @BeforeScenario
262      */
263     public function before_scenario_hook(BeforeScenarioScope $scope) {
264         try {
265             $this->before_scenario($scope);
266         } catch (behat_stop_exception $e) {
267             echo $e->getMessage() . PHP_EOL;
268             exit(1);
269         }
270     }
272     /**
273      * Resets the test environment.
274      *
275      * @param BeforeScenarioScope $scope scope passed by event fired before scenario.
276      * @throws behat_stop_exception If here we are not using the test database it should be because of a coding error
277      */
278     public function before_scenario(BeforeScenarioScope $scope) {
279         global $DB, $CFG;
281         // As many checks as we can.
282         if (!defined('BEHAT_TEST') ||
283                !defined('BEHAT_SITE_RUNNING') ||
284                php_sapi_name() != 'cli' ||
285                !behat_util::is_test_mode_enabled() ||
286                !behat_util::is_test_site()) {
287             throw new behat_stop_exception('Behat only can modify the test database and the test dataroot!');
288         }
290         $moreinfo = 'More info in ' . behat_command::DOCS_URL . '#Running_tests';
291         $driverexceptionmsg = 'Selenium server is not running, you need to start it to run tests that involve Javascript. ' . $moreinfo;
292         try {
293             $session = $this->getSession();
294         } catch (CurlExec $e) {
295             // Exception thrown by WebDriver, so only @javascript tests will be caugth; in
296             // behat_util::check_server_status() we already checked that the server is running.
297             throw new behat_stop_exception($driverexceptionmsg);
298         } catch (DriverException $e) {
299             throw new behat_stop_exception($driverexceptionmsg);
300         } catch (UnknownError $e) {
301             // Generic 'I have no idea' Selenium error. Custom exception to provide more feedback about possible solutions.
302             throw new behat_stop_exception($e->getMessage());
303         }
305         $suitename = $scope->getSuite()->getName();
307         // Register behat selectors for theme, if suite is changed. We do it for every suite change.
308         if ($suitename !== self::$runningsuite) {
309             behat_context_helper::set_environment($scope->getEnvironment());
311             // We need the Mink session to do it and we do it only before the first scenario.
312             $behatselectorclass = 'behat_selectors';
313             if ($suitename !== 'default') {
314                 $behatselectorclass = behat_config_util::get_behat_theme_selector_override_classname($suitename, true);
315             }
316             if (class_exists($behatselectorclass)) {
317                 $behatselectorclass = new $behatselectorclass();
318                 $behatselectorclass::register_moodle_selectors($session);
319             }
320         }
322         // Reset mink session between the scenarios.
323         $session->reset();
325         // Reset $SESSION.
326         \core\session\manager::init_empty_session();
328         behat_util::reset_all_data();
330         // Assign valid data to admin user (some generator-related code needs a valid user).
331         $user = $DB->get_record('user', array('username' => 'admin'));
332         \core\session\manager::set_user($user);
334         // Reset the browser if specified in config.php.
335         if (!empty($CFG->behat_restart_browser_after) && $this->running_javascript()) {
336             $now = time();
337             if (self::$lastbrowsersessionstart + $CFG->behat_restart_browser_after < $now) {
338                 $session->restart();
339                 self::$lastbrowsersessionstart = $now;
340             }
341         }
343         // Set the theme if not default.
344         if ($suitename !== "default") {
345             set_config('theme', $suitename);
346             self::$runningsuite = $suitename;
347         }
349         // Start always in the the homepage.
350         try {
351             // Let's be conservative as we never know when new upstream issues will affect us.
352             $session->visit($this->locate_path('/'));
353         } catch (UnknownError $e) {
354             throw new behat_stop_exception($e->getMessage());
355         }
357         // Checking that the root path is a Moodle test site.
358         if (self::is_first_scenario()) {
359             $notestsiteexception = new behat_stop_exception('The base URL (' . $CFG->wwwroot . ') is not a behat test site, ' .
360                 'ensure you started the built-in web server in the correct directory or your web server is correctly started and set up');
361             $this->find("xpath", "//head/child::title[normalize-space(.)='" . behat_util::BEHATSITENAME . "']", $notestsiteexception);
363             self::$initprocessesfinished = true;
364         }
366         // Run all test with medium (1024x768) screen size, to avoid responsive problems.
367         $this->resize_window('medium');
368     }
370     /**
371      * Wait for JS to complete before beginning interacting with the DOM.
372      *
373      * Executed only when running against a real browser. We wrap it
374      * all in a try & catch to forward the exception to i_look_for_exceptions
375      * so the exception will be at scenario level, which causes a failure, by
376      * default would be at framework level, which will stop the execution of
377      * the run.
378      *
379      * @param BeforeStepScope $scope scope passed by event fired before step.
380      * @BeforeStep
381      */
382     public function before_step_javascript(BeforeStepScope $scope) {
383         self::$currentstepexception = null;
385         // Only run if JS.
386         if ($this->running_javascript()) {
387             try {
388                 $this->wait_for_pending_js();
389             } catch (Exception $e) {
390                 self::$currentstepexception = $e;
391             }
392         }
393     }
395     /**
396      * Wait for JS to complete after finishing the step.
397      *
398      * With this we ensure that there are not AJAX calls
399      * still in progress.
400      *
401      * Executed only when running against a real browser. We wrap it
402      * all in a try & catch to forward the exception to i_look_for_exceptions
403      * so the exception will be at scenario level, which causes a failure, by
404      * default would be at framework level, which will stop the execution of
405      * the run.
406      *
407      * @param AfterStepScope $scope scope passed by event fired after step..
408      * @AfterStep
409      */
410     public function after_step_javascript(AfterStepScope $scope) {
411         global $CFG, $DB;
413         // Save the page content if the step failed.
414         if (!empty($CFG->behat_faildump_path) &&
415             $scope->getTestResult()->getResultCode() === Behat\Testwork\Tester\Result\TestResult::FAILED) {
416             $this->take_contentdump($scope);
417         }
419         // Abort any open transactions to prevent subsequent tests hanging.
420         // This does the same as abort_all_db_transactions(), but doesn't call error_log() as we don't
421         // want to see a message in the behat output.
422         if (($scope->getTestResult() instanceof \Behat\Behat\Tester\Result\ExecutedStepResult) &&
423             $scope->getTestResult()->hasException()) {
424             if ($DB && $DB->is_transaction_started()) {
425                 $DB->force_transaction_rollback();
426             }
427         }
429         // Only run if JS.
430         if (!$this->running_javascript()) {
431             return;
432         }
434         // Save a screenshot if the step failed.
435         if (!empty($CFG->behat_faildump_path) &&
436             $scope->getTestResult()->getResultCode() === Behat\Testwork\Tester\Result\TestResult::FAILED) {
437             $this->take_screenshot($scope);
438         }
440         try {
441             $this->wait_for_pending_js();
442             self::$currentstepexception = null;
443         } catch (UnexpectedAlertOpen $e) {
444             self::$currentstepexception = $e;
446             // Accepting the alert so the framework can continue properly running
447             // the following scenarios. Some browsers already closes the alert, so
448             // wrapping in a try & catch.
449             try {
450                 $this->getSession()->getDriver()->getWebDriverSession()->accept_alert();
451             } catch (Exception $e) {
452                 // Catching the generic one as we never know how drivers reacts here.
453             }
454         } catch (Exception $e) {
455             self::$currentstepexception = $e;
456         }
457     }
459     /**
460      * Executed after scenario having switch window to restart session.
461      * This is needed to close all extra browser windows and starting
462      * one browser window.
463      *
464      * @param AfterScenarioScope $scope scope passed by event fired after scenario.
465      * @AfterScenario @_switch_window
466      */
467     public function after_scenario_switchwindow(AfterScenarioScope $scope) {
468         for ($count = 0; $count < self::EXTENDED_TIMEOUT; $count++) {
469             try {
470                 $this->getSession()->restart();
471                 break;
472             } catch (DriverException $e) {
473                 // Wait for timeout and try again.
474                 sleep(self::TIMEOUT);
475             }
476         }
477         // If session is not restarted above then it will try to start session before next scenario
478         // and if that fails then exception will be thrown.
479     }
481     /**
482      * Getter for self::$faildumpdirname
483      *
484      * @return string
485      */
486     protected function get_run_faildump_dir() {
487         return self::$faildumpdirname;
488     }
490     /**
491      * Take screenshot when a step fails.
492      *
493      * @throws Exception
494      * @param AfterStepScope $scope scope passed by event after step.
495      */
496     protected function take_screenshot(AfterStepScope $scope) {
497         // Goutte can't save screenshots.
498         if (!$this->running_javascript()) {
499             return false;
500         }
502         // Some drivers (e.g. chromedriver) may throw an exception while trying to take a screenshot.  If this isn't handled,
503         // the behat run dies.  We don't want to lose the information about the failure that triggered the screenshot,
504         // so let's log the exception message to a file (to explain why there's no screenshot) and allow the run to continue,
505         // handling the failure as normal.
506         try {
507             list ($dir, $filename) = $this->get_faildump_filename($scope, 'png');
508             $this->saveScreenshot($filename, $dir);
509         } catch (Exception $e) {
510             // Catching all exceptions as we don't know what the driver might throw.
511             list ($dir, $filename) = $this->get_faildump_filename($scope, 'txt');
512             $message = "Could not save screenshot due to an error\n" . $e->getMessage();
513             file_put_contents($dir . DIRECTORY_SEPARATOR . $filename, $message);
514         }
515     }
517     /**
518      * Take a dump of the page content when a step fails.
519      *
520      * @throws Exception
521      * @param AfterStepScope $scope scope passed by event after step.
522      */
523     protected function take_contentdump(AfterStepScope $scope) {
524         list ($dir, $filename) = $this->get_faildump_filename($scope, 'html');
526         try {
527             // Driver may throw an exception during getContent(), so do it first to avoid getting an empty file.
528             $content = $this->getSession()->getPage()->getContent();
529         } catch (Exception $e) {
530             // Catching all exceptions as we don't know what the driver might throw.
531             $content = "Could not save contentdump due to an error\n" . $e->getMessage();
532         }
533         file_put_contents($dir . DIRECTORY_SEPARATOR . $filename, $content);
534     }
536     /**
537      * Determine the full pathname to store a failure-related dump.
538      *
539      * This is used for content such as the DOM, and screenshots.
540      *
541      * @param AfterStepScope $scope scope passed by event after step.
542      * @param String $filetype The file suffix to use. Limited to 4 chars.
543      */
544     protected function get_faildump_filename(AfterStepScope $scope, $filetype) {
545         global $CFG;
547         // All the contentdumps should be in the same parent dir.
548         if (!$faildumpdir = self::get_run_faildump_dir()) {
549             $faildumpdir = self::$faildumpdirname = date('Ymd_His');
551             $dir = $CFG->behat_faildump_path . DIRECTORY_SEPARATOR . $faildumpdir;
553             if (!is_dir($dir) && !mkdir($dir, $CFG->directorypermissions, true)) {
554                 // It shouldn't, we already checked that the directory is writable.
555                 throw new Exception('No directories can be created inside $CFG->behat_faildump_path, check the directory permissions.');
556             }
557         } else {
558             // We will always need to know the full path.
559             $dir = $CFG->behat_faildump_path . DIRECTORY_SEPARATOR . $faildumpdir;
560         }
562         // The scenario title + the failed step text.
563         // We want a i-am-the-scenario-title_i-am-the-failed-step.$filetype format.
564         $filename = $scope->getFeature()->getTitle() . '_' . $scope->getStep()->getText();
565         $filename = preg_replace('/([^a-zA-Z0-9\_]+)/', '-', $filename);
567         // File name limited to 255 characters. Leaving 5 chars for line number and 4 chars for the file.
568         // extension as we allow .png for images and .html for DOM contents.
569         $filename = substr($filename, 0, 245) . '_' . $scope->getStep()->getLine() . '.' . $filetype;
571         return array($dir, $filename);
572     }
574     /**
575      * Internal step definition to find exceptions, debugging() messages and PHP debug messages.
576      *
577      * Part of behat_hooks class as is part of the testing framework, is auto-executed
578      * after each step so no features will splicitly use it.
579      *
580      * @Given /^I look for exceptions$/
581      * @throw Exception Unknown type, depending on what we caught in the hook or basic \Exception.
582      * @see Moodle\BehatExtension\Tester\MoodleStepTester
583      */
584     public function i_look_for_exceptions() {
585         // If the step already failed in a hook throw the exception.
586         if (!is_null(self::$currentstepexception)) {
587             throw self::$currentstepexception;
588         }
590         $this->look_for_exceptions();
591     }
593     /**
594      * Returns whether the first scenario of the suite is running
595      *
596      * @return bool
597      */
598     protected static function is_first_scenario() {
599         return !(self::$initprocessesfinished);
600     }
603 /**
604  * Behat stop exception
605  *
606  * This exception is thrown from before suite or scenario if any setup problem found.
607  *
608  * @package    core_test
609  * @copyright  2016 Rajesh Taneja <rajesh@moodle.com>
610  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
611  */
612 class behat_stop_exception extends \Exception{}