MDL-55188 events: First deprecation of eventslib.php
[moodle.git] / lib / upgradelib.php
1 <?php
3 // This file is part of Moodle - http://moodle.org/
4 //
5 // Moodle is free software: you can redistribute it and/or modify
6 // it under the terms of the GNU General Public License as published by
7 // the Free Software Foundation, either version 3 of the License, or
8 // (at your option) any later version.
9 //
10 // Moodle is distributed in the hope that it will be useful,
11 // but WITHOUT ANY WARRANTY; without even the implied warranty of
12 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 // GNU General Public License for more details.
14 //
15 // You should have received a copy of the GNU General Public License
16 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
18 /**
19  * Various upgrade/install related functions and classes.
20  *
21  * @package    core
22  * @subpackage upgrade
23  * @copyright  1999 onwards Martin Dougiamas (http://dougiamas.com)
24  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
25  */
27 defined('MOODLE_INTERNAL') || die();
29 /** UPGRADE_LOG_NORMAL = 0 */
30 define('UPGRADE_LOG_NORMAL', 0);
31 /** UPGRADE_LOG_NOTICE = 1 */
32 define('UPGRADE_LOG_NOTICE', 1);
33 /** UPGRADE_LOG_ERROR = 2 */
34 define('UPGRADE_LOG_ERROR',  2);
36 /**
37  * Exception indicating unknown error during upgrade.
38  *
39  * @package    core
40  * @subpackage upgrade
41  * @copyright  2009 Petr Skoda {@link http://skodak.org}
42  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
43  */
44 class upgrade_exception extends moodle_exception {
45     function __construct($plugin, $version, $debuginfo=NULL) {
46         global $CFG;
47         $a = (object)array('plugin'=>$plugin, 'version'=>$version);
48         parent::__construct('upgradeerror', 'admin', "$CFG->wwwroot/$CFG->admin/index.php", $a, $debuginfo);
49     }
50 }
52 /**
53  * Exception indicating downgrade error during upgrade.
54  *
55  * @package    core
56  * @subpackage upgrade
57  * @copyright  2009 Petr Skoda {@link http://skodak.org}
58  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
59  */
60 class downgrade_exception extends moodle_exception {
61     function __construct($plugin, $oldversion, $newversion) {
62         global $CFG;
63         $plugin = is_null($plugin) ? 'moodle' : $plugin;
64         $a = (object)array('plugin'=>$plugin, 'oldversion'=>$oldversion, 'newversion'=>$newversion);
65         parent::__construct('cannotdowngrade', 'debug', "$CFG->wwwroot/$CFG->admin/index.php", $a);
66     }
67 }
69 /**
70  * @package    core
71  * @subpackage upgrade
72  * @copyright  2009 Petr Skoda {@link http://skodak.org}
73  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
74  */
75 class upgrade_requires_exception extends moodle_exception {
76     function __construct($plugin, $pluginversion, $currentmoodle, $requiremoodle) {
77         global $CFG;
78         $a = new stdClass();
79         $a->pluginname     = $plugin;
80         $a->pluginversion  = $pluginversion;
81         $a->currentmoodle  = $currentmoodle;
82         $a->requiremoodle  = $requiremoodle;
83         parent::__construct('pluginrequirementsnotmet', 'error', "$CFG->wwwroot/$CFG->admin/index.php", $a);
84     }
85 }
87 /**
88  * @package    core
89  * @subpackage upgrade
90  * @copyright  2009 Petr Skoda {@link http://skodak.org}
91  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
92  */
93 class plugin_defective_exception extends moodle_exception {
94     function __construct($plugin, $details) {
95         global $CFG;
96         parent::__construct('detectedbrokenplugin', 'error', "$CFG->wwwroot/$CFG->admin/index.php", $plugin, $details);
97     }
98 }
100 /**
101  * Misplaced plugin exception.
102  *
103  * Note: this should be used only from the upgrade/admin code.
104  *
105  * @package    core
106  * @subpackage upgrade
107  * @copyright  2009 Petr Skoda {@link http://skodak.org}
108  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
109  */
110 class plugin_misplaced_exception extends moodle_exception {
111     /**
112      * Constructor.
113      * @param string $component the component from version.php
114      * @param string $expected expected directory, null means calculate
115      * @param string $current plugin directory path
116      */
117     public function __construct($component, $expected, $current) {
118         global $CFG;
119         if (empty($expected)) {
120             list($type, $plugin) = core_component::normalize_component($component);
121             $plugintypes = core_component::get_plugin_types();
122             if (isset($plugintypes[$type])) {
123                 $expected = $plugintypes[$type] . '/' . $plugin;
124             }
125         }
126         if (strpos($expected, '$CFG->dirroot') !== 0) {
127             $expected = str_replace($CFG->dirroot, '$CFG->dirroot', $expected);
128         }
129         if (strpos($current, '$CFG->dirroot') !== 0) {
130             $current = str_replace($CFG->dirroot, '$CFG->dirroot', $current);
131         }
132         $a = new stdClass();
133         $a->component = $component;
134         $a->expected  = $expected;
135         $a->current   = $current;
136         parent::__construct('detectedmisplacedplugin', 'core_plugin', "$CFG->wwwroot/$CFG->admin/index.php", $a);
137     }
140 /**
141  * Static class monitors performance of upgrade steps.
142  */
143 class core_upgrade_time {
144     /** @var float Time at start of current upgrade (plugin/system) */
145     protected static $before;
146     /** @var float Time at end of last savepoint */
147     protected static $lastsavepoint;
148     /** @var bool Flag to indicate whether we are recording timestamps or not. */
149     protected static $isrecording = false;
151     /**
152      * Records current time at the start of the current upgrade item, e.g. plugin.
153      */
154     public static function record_start() {
155         self::$before = microtime(true);
156         self::$lastsavepoint = self::$before;
157         self::$isrecording = true;
158     }
160     /**
161      * Records current time at the end of a given numbered step.
162      *
163      * @param float $version Version number (may have decimals, or not)
164      */
165     public static function record_savepoint($version) {
166         global $CFG, $OUTPUT;
168         // In developer debug mode we show a notification after each individual save point.
169         if ($CFG->debugdeveloper && self::$isrecording) {
170             $time = microtime(true);
172             $notification = new \core\output\notification($version . ': ' .
173                     get_string('successduration', '', format_float($time - self::$lastsavepoint, 2)),
174                     \core\output\notification::NOTIFY_SUCCESS);
175             $notification->set_show_closebutton(false);
176             echo $OUTPUT->render($notification);
177             self::$lastsavepoint = $time;
178         }
179     }
181     /**
182      * Gets the time since the record_start function was called, rounded to 2 digits.
183      *
184      * @return float Elapsed time
185      */
186     public static function get_elapsed() {
187         return microtime(true) - self::$before;
188     }
191 /**
192  * Sets maximum expected time needed for upgrade task.
193  * Please always make sure that upgrade will not run longer!
194  *
195  * The script may be automatically aborted if upgrade times out.
196  *
197  * @category upgrade
198  * @param int $max_execution_time in seconds (can not be less than 60 s)
199  */
200 function upgrade_set_timeout($max_execution_time=300) {
201     global $CFG;
203     if (!isset($CFG->upgraderunning) or $CFG->upgraderunning < time()) {
204         $upgraderunning = get_config(null, 'upgraderunning');
205     } else {
206         $upgraderunning = $CFG->upgraderunning;
207     }
209     if (!$upgraderunning) {
210         if (CLI_SCRIPT) {
211             // never stop CLI upgrades
212             $upgraderunning = 0;
213         } else {
214             // web upgrade not running or aborted
215             print_error('upgradetimedout', 'admin', "$CFG->wwwroot/$CFG->admin/");
216         }
217     }
219     if ($max_execution_time < 60) {
220         // protection against 0 here
221         $max_execution_time = 60;
222     }
224     $expected_end = time() + $max_execution_time;
226     if ($expected_end < $upgraderunning + 10 and $expected_end > $upgraderunning - 10) {
227         // no need to store new end, it is nearly the same ;-)
228         return;
229     }
231     if (CLI_SCRIPT) {
232         // there is no point in timing out of CLI scripts, admins can stop them if necessary
233         core_php_time_limit::raise();
234     } else {
235         core_php_time_limit::raise($max_execution_time);
236     }
237     set_config('upgraderunning', $expected_end); // keep upgrade locked until this time
240 /**
241  * Upgrade savepoint, marks end of each upgrade block.
242  * It stores new main version, resets upgrade timeout
243  * and abort upgrade if user cancels page loading.
244  *
245  * Please do not make large upgrade blocks with lots of operations,
246  * for example when adding tables keep only one table operation per block.
247  *
248  * @category upgrade
249  * @param bool $result false if upgrade step failed, true if completed
250  * @param string or float $version main version
251  * @param bool $allowabort allow user to abort script execution here
252  * @return void
253  */
254 function upgrade_main_savepoint($result, $version, $allowabort=true) {
255     global $CFG;
257     //sanity check to avoid confusion with upgrade_mod_savepoint usage.
258     if (!is_bool($allowabort)) {
259         $errormessage = 'Parameter type mismatch. Are you mixing up upgrade_main_savepoint() and upgrade_mod_savepoint()?';
260         throw new coding_exception($errormessage);
261     }
263     if (!$result) {
264         throw new upgrade_exception(null, $version);
265     }
267     if ($CFG->version >= $version) {
268         // something really wrong is going on in main upgrade script
269         throw new downgrade_exception(null, $CFG->version, $version);
270     }
272     set_config('version', $version);
273     upgrade_log(UPGRADE_LOG_NORMAL, null, 'Upgrade savepoint reached');
275     // reset upgrade timeout to default
276     upgrade_set_timeout();
278     core_upgrade_time::record_savepoint($version);
280     // this is a safe place to stop upgrades if user aborts page loading
281     if ($allowabort and connection_aborted()) {
282         die;
283     }
286 /**
287  * Module upgrade savepoint, marks end of module upgrade blocks
288  * It stores module version, resets upgrade timeout
289  * and abort upgrade if user cancels page loading.
290  *
291  * @category upgrade
292  * @param bool $result false if upgrade step failed, true if completed
293  * @param string or float $version main version
294  * @param string $modname name of module
295  * @param bool $allowabort allow user to abort script execution here
296  * @return void
297  */
298 function upgrade_mod_savepoint($result, $version, $modname, $allowabort=true) {
299     global $DB;
301     $component = 'mod_'.$modname;
303     if (!$result) {
304         throw new upgrade_exception($component, $version);
305     }
307     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
309     if (!$module = $DB->get_record('modules', array('name'=>$modname))) {
310         print_error('modulenotexist', 'debug', '', $modname);
311     }
313     if ($dbversion >= $version) {
314         // something really wrong is going on in upgrade script
315         throw new downgrade_exception($component, $dbversion, $version);
316     }
317     set_config('version', $version, $component);
319     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
321     // reset upgrade timeout to default
322     upgrade_set_timeout();
324     core_upgrade_time::record_savepoint($version);
326     // this is a safe place to stop upgrades if user aborts page loading
327     if ($allowabort and connection_aborted()) {
328         die;
329     }
332 /**
333  * Blocks upgrade savepoint, marks end of blocks upgrade blocks
334  * It stores block version, resets upgrade timeout
335  * and abort upgrade if user cancels page loading.
336  *
337  * @category upgrade
338  * @param bool $result false if upgrade step failed, true if completed
339  * @param string or float $version main version
340  * @param string $blockname name of block
341  * @param bool $allowabort allow user to abort script execution here
342  * @return void
343  */
344 function upgrade_block_savepoint($result, $version, $blockname, $allowabort=true) {
345     global $DB;
347     $component = 'block_'.$blockname;
349     if (!$result) {
350         throw new upgrade_exception($component, $version);
351     }
353     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
355     if (!$block = $DB->get_record('block', array('name'=>$blockname))) {
356         print_error('blocknotexist', 'debug', '', $blockname);
357     }
359     if ($dbversion >= $version) {
360         // something really wrong is going on in upgrade script
361         throw new downgrade_exception($component, $dbversion, $version);
362     }
363     set_config('version', $version, $component);
365     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
367     // reset upgrade timeout to default
368     upgrade_set_timeout();
370     core_upgrade_time::record_savepoint($version);
372     // this is a safe place to stop upgrades if user aborts page loading
373     if ($allowabort and connection_aborted()) {
374         die;
375     }
378 /**
379  * Plugins upgrade savepoint, marks end of blocks upgrade blocks
380  * It stores plugin version, resets upgrade timeout
381  * and abort upgrade if user cancels page loading.
382  *
383  * @category upgrade
384  * @param bool $result false if upgrade step failed, true if completed
385  * @param string or float $version main version
386  * @param string $type name of plugin
387  * @param string $dir location of plugin
388  * @param bool $allowabort allow user to abort script execution here
389  * @return void
390  */
391 function upgrade_plugin_savepoint($result, $version, $type, $plugin, $allowabort=true) {
392     global $DB;
394     $component = $type.'_'.$plugin;
396     if (!$result) {
397         throw new upgrade_exception($component, $version);
398     }
400     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
402     if ($dbversion >= $version) {
403         // Something really wrong is going on in the upgrade script
404         throw new downgrade_exception($component, $dbversion, $version);
405     }
406     set_config('version', $version, $component);
407     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
409     // Reset upgrade timeout to default
410     upgrade_set_timeout();
412     core_upgrade_time::record_savepoint($version);
414     // This is a safe place to stop upgrades if user aborts page loading
415     if ($allowabort and connection_aborted()) {
416         die;
417     }
420 /**
421  * Detect if there are leftovers in PHP source files.
422  *
423  * During main version upgrades administrators MUST move away
424  * old PHP source files and start from scratch (or better
425  * use git).
426  *
427  * @return bool true means borked upgrade, false means previous PHP files were properly removed
428  */
429 function upgrade_stale_php_files_present() {
430     global $CFG;
432     $someexamplesofremovedfiles = array(
433         // Removed in 3.6.
434         '/lib/password_compat/lib/password.php',
435         // Removed in 3.5.
436         '/lib/dml/mssql_native_moodle_database.php',
437         '/lib/dml/mssql_native_moodle_recordset.php',
438         '/lib/dml/mssql_native_moodle_temptables.php',
439         // Removed in 3.4.
440         '/auth/README.txt',
441         '/calendar/set.php',
442         '/enrol/users.php',
443         '/enrol/yui/rolemanager/assets/skins/sam/rolemanager.css',
444         // Removed in 3.3.
445         '/badges/backpackconnect.php',
446         '/calendar/yui/src/info/assets/skins/sam/moodle-calendar-info.css',
447         '/competency/classes/external/exporter.php',
448         '/mod/forum/forum.js',
449         '/user/pixgroup.php',
450         // Removed in 3.2.
451         '/calendar/preferences.php',
452         '/lib/alfresco/',
453         '/lib/jquery/jquery-1.12.1.min.js',
454         '/lib/password_compat/tests/',
455         '/lib/phpunit/classes/unittestcase.php',
456         // Removed in 3.1.
457         '/lib/classes/log/sql_internal_reader.php',
458         '/lib/zend/',
459         '/mod/forum/pix/icon.gif',
460         '/tag/templates/tagname.mustache',
461         // Removed in 3.0.
462         '/mod/lti/grade.php',
463         '/tag/coursetagslib.php',
464         // Removed in 2.9.
465         '/lib/timezone.txt',
466         // Removed in 2.8.
467         '/course/delete_category_form.php',
468         // Removed in 2.7.
469         '/admin/tool/qeupgradehelper/version.php',
470         // Removed in 2.6.
471         '/admin/block.php',
472         '/admin/oacleanup.php',
473         // Removed in 2.5.
474         '/backup/lib.php',
475         '/backup/bb/README.txt',
476         '/lib/excel/test.php',
477         // Removed in 2.4.
478         '/admin/tool/unittest/simpletestlib.php',
479         // Removed in 2.3.
480         '/lib/minify/builder/',
481         // Removed in 2.2.
482         '/lib/yui/3.4.1pr1/',
483         // Removed in 2.2.
484         '/search/cron_php5.php',
485         '/course/report/log/indexlive.php',
486         '/admin/report/backups/index.php',
487         '/admin/generator.php',
488         // Removed in 2.1.
489         '/lib/yui/2.8.0r4/',
490         // Removed in 2.0.
491         '/blocks/admin/block_admin.php',
492         '/blocks/admin_tree/block_admin_tree.php',
493     );
495     foreach ($someexamplesofremovedfiles as $file) {
496         if (file_exists($CFG->dirroot.$file)) {
497             return true;
498         }
499     }
501     return false;
504 /**
505  * Upgrade plugins
506  * @param string $type The type of plugins that should be updated (e.g. 'enrol', 'qtype')
507  * return void
508  */
509 function upgrade_plugins($type, $startcallback, $endcallback, $verbose) {
510     global $CFG, $DB;
512 /// special cases
513     if ($type === 'mod') {
514         return upgrade_plugins_modules($startcallback, $endcallback, $verbose);
515     } else if ($type === 'block') {
516         return upgrade_plugins_blocks($startcallback, $endcallback, $verbose);
517     }
519     $plugs = core_component::get_plugin_list($type);
521     foreach ($plugs as $plug=>$fullplug) {
522         // Reset time so that it works when installing a large number of plugins
523         core_php_time_limit::raise(600);
524         $component = clean_param($type.'_'.$plug, PARAM_COMPONENT); // standardised plugin name
526         // check plugin dir is valid name
527         if (empty($component)) {
528             throw new plugin_defective_exception($type.'_'.$plug, 'Invalid plugin directory name.');
529         }
531         if (!is_readable($fullplug.'/version.php')) {
532             continue;
533         }
535         $plugin = new stdClass();
536         $plugin->version = null;
537         $module = $plugin; // Prevent some notices when plugin placed in wrong directory.
538         require($fullplug.'/version.php');  // defines $plugin with version etc
539         unset($module);
541         if (empty($plugin->version)) {
542             throw new plugin_defective_exception($component, 'Missing $plugin->version number in version.php.');
543         }
545         if (empty($plugin->component)) {
546             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
547         }
549         if ($plugin->component !== $component) {
550             throw new plugin_misplaced_exception($plugin->component, null, $fullplug);
551         }
553         $plugin->name     = $plug;
554         $plugin->fullname = $component;
556         if (!empty($plugin->requires)) {
557             if ($plugin->requires > $CFG->version) {
558                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
559             } else if ($plugin->requires < 2010000000) {
560                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
561             }
562         }
564         // try to recover from interrupted install.php if needed
565         if (file_exists($fullplug.'/db/install.php')) {
566             if (get_config($plugin->fullname, 'installrunning')) {
567                 require_once($fullplug.'/db/install.php');
568                 $recover_install_function = 'xmldb_'.$plugin->fullname.'_install_recovery';
569                 if (function_exists($recover_install_function)) {
570                     $startcallback($component, true, $verbose);
571                     $recover_install_function();
572                     unset_config('installrunning', $plugin->fullname);
573                     update_capabilities($component);
574                     log_update_descriptions($component);
575                     external_update_descriptions($component);
576                     \core\task\manager::reset_scheduled_tasks_for_component($component);
577                     message_update_providers($component);
578                     \core\message\inbound\manager::update_handlers_for_component($component);
579                     if ($type === 'message') {
580                         message_update_processors($plug);
581                     }
582                     upgrade_plugin_mnet_functions($component);
583                     core_tag_area::reset_definitions_for_component($component);
584                     $endcallback($component, true, $verbose);
585                 }
586             }
587         }
589         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
590         if (empty($installedversion)) { // new installation
591             $startcallback($component, true, $verbose);
593         /// Install tables if defined
594             if (file_exists($fullplug.'/db/install.xml')) {
595                 $DB->get_manager()->install_from_xmldb_file($fullplug.'/db/install.xml');
596             }
598         /// store version
599             upgrade_plugin_savepoint(true, $plugin->version, $type, $plug, false);
601         /// execute post install file
602             if (file_exists($fullplug.'/db/install.php')) {
603                 require_once($fullplug.'/db/install.php');
604                 set_config('installrunning', 1, $plugin->fullname);
605                 $post_install_function = 'xmldb_'.$plugin->fullname.'_install';
606                 $post_install_function();
607                 unset_config('installrunning', $plugin->fullname);
608             }
610         /// Install various components
611             update_capabilities($component);
612             log_update_descriptions($component);
613             external_update_descriptions($component);
614             \core\task\manager::reset_scheduled_tasks_for_component($component);
615             message_update_providers($component);
616             \core\message\inbound\manager::update_handlers_for_component($component);
617             if ($type === 'message') {
618                 message_update_processors($plug);
619             }
620             upgrade_plugin_mnet_functions($component);
621             core_tag_area::reset_definitions_for_component($component);
622             $endcallback($component, true, $verbose);
624         } else if ($installedversion < $plugin->version) { // upgrade
625         /// Run the upgrade function for the plugin.
626             $startcallback($component, false, $verbose);
628             if (is_readable($fullplug.'/db/upgrade.php')) {
629                 require_once($fullplug.'/db/upgrade.php');  // defines upgrading function
631                 $newupgrade_function = 'xmldb_'.$plugin->fullname.'_upgrade';
632                 $result = $newupgrade_function($installedversion);
633             } else {
634                 $result = true;
635             }
637             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
638             if ($installedversion < $plugin->version) {
639                 // store version if not already there
640                 upgrade_plugin_savepoint($result, $plugin->version, $type, $plug, false);
641             }
643         /// Upgrade various components
644             update_capabilities($component);
645             log_update_descriptions($component);
646             external_update_descriptions($component);
647             \core\task\manager::reset_scheduled_tasks_for_component($component);
648             message_update_providers($component);
649             \core\message\inbound\manager::update_handlers_for_component($component);
650             if ($type === 'message') {
651                 // Ugly hack!
652                 message_update_processors($plug);
653             }
654             upgrade_plugin_mnet_functions($component);
655             core_tag_area::reset_definitions_for_component($component);
656             $endcallback($component, false, $verbose);
658         } else if ($installedversion > $plugin->version) {
659             throw new downgrade_exception($component, $installedversion, $plugin->version);
660         }
661     }
664 /**
665  * Find and check all modules and load them up or upgrade them if necessary
666  *
667  * @global object
668  * @global object
669  */
670 function upgrade_plugins_modules($startcallback, $endcallback, $verbose) {
671     global $CFG, $DB;
673     $mods = core_component::get_plugin_list('mod');
675     foreach ($mods as $mod=>$fullmod) {
677         if ($mod === 'NEWMODULE') {   // Someone has unzipped the template, ignore it
678             continue;
679         }
681         $component = clean_param('mod_'.$mod, PARAM_COMPONENT);
683         // check module dir is valid name
684         if (empty($component)) {
685             throw new plugin_defective_exception('mod_'.$mod, 'Invalid plugin directory name.');
686         }
688         if (!is_readable($fullmod.'/version.php')) {
689             throw new plugin_defective_exception($component, 'Missing version.php');
690         }
692         $module = new stdClass();
693         $plugin = new stdClass();
694         $plugin->version = null;
695         require($fullmod .'/version.php');  // Defines $plugin with version etc.
697         // Check if the legacy $module syntax is still used.
698         if (!is_object($module) or (count((array)$module) > 0)) {
699             throw new plugin_defective_exception($component, 'Unsupported $module syntax detected in version.php');
700         }
702         // Prepare the record for the {modules} table.
703         $module = clone($plugin);
704         unset($module->version);
705         unset($module->component);
706         unset($module->dependencies);
707         unset($module->release);
709         if (empty($plugin->version)) {
710             throw new plugin_defective_exception($component, 'Missing $plugin->version number in version.php.');
711         }
713         if (empty($plugin->component)) {
714             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
715         }
717         if ($plugin->component !== $component) {
718             throw new plugin_misplaced_exception($plugin->component, null, $fullmod);
719         }
721         if (!empty($plugin->requires)) {
722             if ($plugin->requires > $CFG->version) {
723                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
724             } else if ($plugin->requires < 2010000000) {
725                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
726             }
727         }
729         if (empty($module->cron)) {
730             $module->cron = 0;
731         }
733         // all modules must have en lang pack
734         if (!is_readable("$fullmod/lang/en/$mod.php")) {
735             throw new plugin_defective_exception($component, 'Missing mandatory en language pack.');
736         }
738         $module->name = $mod;   // The name MUST match the directory
740         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
742         if (file_exists($fullmod.'/db/install.php')) {
743             if (get_config($module->name, 'installrunning')) {
744                 require_once($fullmod.'/db/install.php');
745                 $recover_install_function = 'xmldb_'.$module->name.'_install_recovery';
746                 if (function_exists($recover_install_function)) {
747                     $startcallback($component, true, $verbose);
748                     $recover_install_function();
749                     unset_config('installrunning', $module->name);
750                     // Install various components too
751                     update_capabilities($component);
752                     log_update_descriptions($component);
753                     external_update_descriptions($component);
754                     \core\task\manager::reset_scheduled_tasks_for_component($component);
755                     message_update_providers($component);
756                     \core\message\inbound\manager::update_handlers_for_component($component);
757                     upgrade_plugin_mnet_functions($component);
758                     core_tag_area::reset_definitions_for_component($component);
759                     $endcallback($component, true, $verbose);
760                 }
761             }
762         }
764         if (empty($installedversion)) {
765             $startcallback($component, true, $verbose);
767         /// Execute install.xml (XMLDB) - must be present in all modules
768             $DB->get_manager()->install_from_xmldb_file($fullmod.'/db/install.xml');
770         /// Add record into modules table - may be needed in install.php already
771             $module->id = $DB->insert_record('modules', $module);
772             upgrade_mod_savepoint(true, $plugin->version, $module->name, false);
774         /// Post installation hook - optional
775             if (file_exists("$fullmod/db/install.php")) {
776                 require_once("$fullmod/db/install.php");
777                 // Set installation running flag, we need to recover after exception or error
778                 set_config('installrunning', 1, $module->name);
779                 $post_install_function = 'xmldb_'.$module->name.'_install';
780                 $post_install_function();
781                 unset_config('installrunning', $module->name);
782             }
784         /// Install various components
785             update_capabilities($component);
786             log_update_descriptions($component);
787             external_update_descriptions($component);
788             \core\task\manager::reset_scheduled_tasks_for_component($component);
789             message_update_providers($component);
790             \core\message\inbound\manager::update_handlers_for_component($component);
791             upgrade_plugin_mnet_functions($component);
792             core_tag_area::reset_definitions_for_component($component);
794             $endcallback($component, true, $verbose);
796         } else if ($installedversion < $plugin->version) {
797         /// If versions say that we need to upgrade but no upgrade files are available, notify and continue
798             $startcallback($component, false, $verbose);
800             if (is_readable($fullmod.'/db/upgrade.php')) {
801                 require_once($fullmod.'/db/upgrade.php');  // defines new upgrading function
802                 $newupgrade_function = 'xmldb_'.$module->name.'_upgrade';
803                 $result = $newupgrade_function($installedversion, $module);
804             } else {
805                 $result = true;
806             }
808             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
809             $currmodule = $DB->get_record('modules', array('name'=>$module->name));
810             if ($installedversion < $plugin->version) {
811                 // store version if not already there
812                 upgrade_mod_savepoint($result, $plugin->version, $mod, false);
813             }
815             // update cron flag if needed
816             if ($currmodule->cron != $module->cron) {
817                 $DB->set_field('modules', 'cron', $module->cron, array('name' => $module->name));
818             }
820             // Upgrade various components
821             update_capabilities($component);
822             log_update_descriptions($component);
823             external_update_descriptions($component);
824             \core\task\manager::reset_scheduled_tasks_for_component($component);
825             message_update_providers($component);
826             \core\message\inbound\manager::update_handlers_for_component($component);
827             upgrade_plugin_mnet_functions($component);
828             core_tag_area::reset_definitions_for_component($component);
830             $endcallback($component, false, $verbose);
832         } else if ($installedversion > $plugin->version) {
833             throw new downgrade_exception($component, $installedversion, $plugin->version);
834         }
835     }
839 /**
840  * This function finds all available blocks and install them
841  * into blocks table or do all the upgrade process if newer.
842  *
843  * @global object
844  * @global object
845  */
846 function upgrade_plugins_blocks($startcallback, $endcallback, $verbose) {
847     global $CFG, $DB;
849     require_once($CFG->dirroot.'/blocks/moodleblock.class.php');
851     $blocktitles   = array(); // we do not want duplicate titles
853     //Is this a first install
854     $first_install = null;
856     $blocks = core_component::get_plugin_list('block');
858     foreach ($blocks as $blockname=>$fullblock) {
860         if (is_null($first_install)) {
861             $first_install = ($DB->count_records('block_instances') == 0);
862         }
864         if ($blockname === 'NEWBLOCK') {   // Someone has unzipped the template, ignore it
865             continue;
866         }
868         $component = clean_param('block_'.$blockname, PARAM_COMPONENT);
870         // check block dir is valid name
871         if (empty($component)) {
872             throw new plugin_defective_exception('block_'.$blockname, 'Invalid plugin directory name.');
873         }
875         if (!is_readable($fullblock.'/version.php')) {
876             throw new plugin_defective_exception('block/'.$blockname, 'Missing version.php file.');
877         }
878         $plugin = new stdClass();
879         $plugin->version = null;
880         $plugin->cron    = 0;
881         $module = $plugin; // Prevent some notices when module placed in wrong directory.
882         include($fullblock.'/version.php');
883         unset($module);
884         $block = clone($plugin);
885         unset($block->version);
886         unset($block->component);
887         unset($block->dependencies);
888         unset($block->release);
890         if (empty($plugin->version)) {
891             throw new plugin_defective_exception($component, 'Missing block version number in version.php.');
892         }
894         if (empty($plugin->component)) {
895             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
896         }
898         if ($plugin->component !== $component) {
899             throw new plugin_misplaced_exception($plugin->component, null, $fullblock);
900         }
902         if (!empty($plugin->requires)) {
903             if ($plugin->requires > $CFG->version) {
904                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
905             } else if ($plugin->requires < 2010000000) {
906                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
907             }
908         }
910         if (!is_readable($fullblock.'/block_'.$blockname.'.php')) {
911             throw new plugin_defective_exception('block/'.$blockname, 'Missing main block class file.');
912         }
913         include_once($fullblock.'/block_'.$blockname.'.php');
915         $classname = 'block_'.$blockname;
917         if (!class_exists($classname)) {
918             throw new plugin_defective_exception($component, 'Can not load main class.');
919         }
921         $blockobj    = new $classname;   // This is what we'll be testing
922         $blocktitle  = $blockobj->get_title();
924         // OK, it's as we all hoped. For further tests, the object will do them itself.
925         if (!$blockobj->_self_test()) {
926             throw new plugin_defective_exception($component, 'Self test failed.');
927         }
929         $block->name     = $blockname;   // The name MUST match the directory
931         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
933         if (file_exists($fullblock.'/db/install.php')) {
934             if (get_config('block_'.$blockname, 'installrunning')) {
935                 require_once($fullblock.'/db/install.php');
936                 $recover_install_function = 'xmldb_block_'.$blockname.'_install_recovery';
937                 if (function_exists($recover_install_function)) {
938                     $startcallback($component, true, $verbose);
939                     $recover_install_function();
940                     unset_config('installrunning', 'block_'.$blockname);
941                     // Install various components
942                     update_capabilities($component);
943                     log_update_descriptions($component);
944                     external_update_descriptions($component);
945                     \core\task\manager::reset_scheduled_tasks_for_component($component);
946                     message_update_providers($component);
947                     \core\message\inbound\manager::update_handlers_for_component($component);
948                     upgrade_plugin_mnet_functions($component);
949                     core_tag_area::reset_definitions_for_component($component);
950                     $endcallback($component, true, $verbose);
951                 }
952             }
953         }
955         if (empty($installedversion)) { // block not installed yet, so install it
956             $conflictblock = array_search($blocktitle, $blocktitles);
957             if ($conflictblock !== false) {
958                 // Duplicate block titles are not allowed, they confuse people
959                 // AND PHP's associative arrays ;)
960                 throw new plugin_defective_exception($component, get_string('blocknameconflict', 'error', (object)array('name'=>$block->name, 'conflict'=>$conflictblock)));
961             }
962             $startcallback($component, true, $verbose);
964             if (file_exists($fullblock.'/db/install.xml')) {
965                 $DB->get_manager()->install_from_xmldb_file($fullblock.'/db/install.xml');
966             }
967             $block->id = $DB->insert_record('block', $block);
968             upgrade_block_savepoint(true, $plugin->version, $block->name, false);
970             if (file_exists($fullblock.'/db/install.php')) {
971                 require_once($fullblock.'/db/install.php');
972                 // Set installation running flag, we need to recover after exception or error
973                 set_config('installrunning', 1, 'block_'.$blockname);
974                 $post_install_function = 'xmldb_block_'.$blockname.'_install';
975                 $post_install_function();
976                 unset_config('installrunning', 'block_'.$blockname);
977             }
979             $blocktitles[$block->name] = $blocktitle;
981             // Install various components
982             update_capabilities($component);
983             log_update_descriptions($component);
984             external_update_descriptions($component);
985             \core\task\manager::reset_scheduled_tasks_for_component($component);
986             message_update_providers($component);
987             \core\message\inbound\manager::update_handlers_for_component($component);
988             core_tag_area::reset_definitions_for_component($component);
989             upgrade_plugin_mnet_functions($component);
991             $endcallback($component, true, $verbose);
993         } else if ($installedversion < $plugin->version) {
994             $startcallback($component, false, $verbose);
996             if (is_readable($fullblock.'/db/upgrade.php')) {
997                 require_once($fullblock.'/db/upgrade.php');  // defines new upgrading function
998                 $newupgrade_function = 'xmldb_block_'.$blockname.'_upgrade';
999                 $result = $newupgrade_function($installedversion, $block);
1000             } else {
1001                 $result = true;
1002             }
1004             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
1005             $currblock = $DB->get_record('block', array('name'=>$block->name));
1006             if ($installedversion < $plugin->version) {
1007                 // store version if not already there
1008                 upgrade_block_savepoint($result, $plugin->version, $block->name, false);
1009             }
1011             if ($currblock->cron != $block->cron) {
1012                 // update cron flag if needed
1013                 $DB->set_field('block', 'cron', $block->cron, array('id' => $currblock->id));
1014             }
1016             // Upgrade various components
1017             update_capabilities($component);
1018             log_update_descriptions($component);
1019             external_update_descriptions($component);
1020             \core\task\manager::reset_scheduled_tasks_for_component($component);
1021             message_update_providers($component);
1022             \core\message\inbound\manager::update_handlers_for_component($component);
1023             upgrade_plugin_mnet_functions($component);
1024             core_tag_area::reset_definitions_for_component($component);
1026             $endcallback($component, false, $verbose);
1028         } else if ($installedversion > $plugin->version) {
1029             throw new downgrade_exception($component, $installedversion, $plugin->version);
1030         }
1031     }
1034     // Finally, if we are in the first_install of BLOCKS setup frontpage and admin page blocks
1035     if ($first_install) {
1036         //Iterate over each course - there should be only site course here now
1037         if ($courses = $DB->get_records('course')) {
1038             foreach ($courses as $course) {
1039                 blocks_add_default_course_blocks($course);
1040             }
1041         }
1043         blocks_add_default_system_blocks();
1044     }
1048 /**
1049  * Log_display description function used during install and upgrade.
1050  *
1051  * @param string $component name of component (moodle, mod_assignment, etc.)
1052  * @return void
1053  */
1054 function log_update_descriptions($component) {
1055     global $DB;
1057     $defpath = core_component::get_component_directory($component).'/db/log.php';
1059     if (!file_exists($defpath)) {
1060         $DB->delete_records('log_display', array('component'=>$component));
1061         return;
1062     }
1064     // load new info
1065     $logs = array();
1066     include($defpath);
1067     $newlogs = array();
1068     foreach ($logs as $log) {
1069         $newlogs[$log['module'].'-'.$log['action']] = $log; // kind of unique name
1070     }
1071     unset($logs);
1072     $logs = $newlogs;
1074     $fields = array('module', 'action', 'mtable', 'field');
1075     // update all log fist
1076     $dblogs = $DB->get_records('log_display', array('component'=>$component));
1077     foreach ($dblogs as $dblog) {
1078         $name = $dblog->module.'-'.$dblog->action;
1080         if (empty($logs[$name])) {
1081             $DB->delete_records('log_display', array('id'=>$dblog->id));
1082             continue;
1083         }
1085         $log = $logs[$name];
1086         unset($logs[$name]);
1088         $update = false;
1089         foreach ($fields as $field) {
1090             if ($dblog->$field != $log[$field]) {
1091                 $dblog->$field = $log[$field];
1092                 $update = true;
1093             }
1094         }
1095         if ($update) {
1096             $DB->update_record('log_display', $dblog);
1097         }
1098     }
1099     foreach ($logs as $log) {
1100         $dblog = (object)$log;
1101         $dblog->component = $component;
1102         $DB->insert_record('log_display', $dblog);
1103     }
1106 /**
1107  * Web service discovery function used during install and upgrade.
1108  * @param string $component name of component (moodle, mod_assignment, etc.)
1109  * @return void
1110  */
1111 function external_update_descriptions($component) {
1112     global $DB, $CFG;
1114     $defpath = core_component::get_component_directory($component).'/db/services.php';
1116     if (!file_exists($defpath)) {
1117         require_once($CFG->dirroot.'/lib/externallib.php');
1118         external_delete_descriptions($component);
1119         return;
1120     }
1122     // load new info
1123     $functions = array();
1124     $services = array();
1125     include($defpath);
1127     // update all function fist
1128     $dbfunctions = $DB->get_records('external_functions', array('component'=>$component));
1129     foreach ($dbfunctions as $dbfunction) {
1130         if (empty($functions[$dbfunction->name])) {
1131             $DB->delete_records('external_functions', array('id'=>$dbfunction->id));
1132             // do not delete functions from external_services_functions, beacuse
1133             // we want to notify admins when functions used in custom services disappear
1135             //TODO: this looks wrong, we have to delete it eventually (skodak)
1136             continue;
1137         }
1139         $function = $functions[$dbfunction->name];
1140         unset($functions[$dbfunction->name]);
1141         $function['classpath'] = empty($function['classpath']) ? null : $function['classpath'];
1143         $update = false;
1144         if ($dbfunction->classname != $function['classname']) {
1145             $dbfunction->classname = $function['classname'];
1146             $update = true;
1147         }
1148         if ($dbfunction->methodname != $function['methodname']) {
1149             $dbfunction->methodname = $function['methodname'];
1150             $update = true;
1151         }
1152         if ($dbfunction->classpath != $function['classpath']) {
1153             $dbfunction->classpath = $function['classpath'];
1154             $update = true;
1155         }
1156         $functioncapabilities = array_key_exists('capabilities', $function)?$function['capabilities']:'';
1157         if ($dbfunction->capabilities != $functioncapabilities) {
1158             $dbfunction->capabilities = $functioncapabilities;
1159             $update = true;
1160         }
1162         if (isset($function['services']) and is_array($function['services'])) {
1163             sort($function['services']);
1164             $functionservices = implode(',', $function['services']);
1165         } else {
1166             // Force null values in the DB.
1167             $functionservices = null;
1168         }
1170         if ($dbfunction->services != $functionservices) {
1171             // Now, we need to check if services were removed, in that case we need to remove the function from them.
1172             $servicesremoved = array_diff(explode(",", $dbfunction->services), explode(",", $functionservices));
1173             foreach ($servicesremoved as $removedshortname) {
1174                 if ($externalserviceid = $DB->get_field('external_services', 'id', array("shortname" => $removedshortname))) {
1175                     $DB->delete_records('external_services_functions', array('functionname' => $dbfunction->name,
1176                                                                                 'externalserviceid' => $externalserviceid));
1177                 }
1178             }
1180             $dbfunction->services = $functionservices;
1181             $update = true;
1182         }
1183         if ($update) {
1184             $DB->update_record('external_functions', $dbfunction);
1185         }
1186     }
1187     foreach ($functions as $fname => $function) {
1188         $dbfunction = new stdClass();
1189         $dbfunction->name       = $fname;
1190         $dbfunction->classname  = $function['classname'];
1191         $dbfunction->methodname = $function['methodname'];
1192         $dbfunction->classpath  = empty($function['classpath']) ? null : $function['classpath'];
1193         $dbfunction->component  = $component;
1194         $dbfunction->capabilities = array_key_exists('capabilities', $function)?$function['capabilities']:'';
1196         if (isset($function['services']) and is_array($function['services'])) {
1197             sort($function['services']);
1198             $dbfunction->services = implode(',', $function['services']);
1199         } else {
1200             // Force null values in the DB.
1201             $dbfunction->services = null;
1202         }
1204         $dbfunction->id = $DB->insert_record('external_functions', $dbfunction);
1205     }
1206     unset($functions);
1208     // now deal with services
1209     $dbservices = $DB->get_records('external_services', array('component'=>$component));
1210     foreach ($dbservices as $dbservice) {
1211         if (empty($services[$dbservice->name])) {
1212             $DB->delete_records('external_tokens', array('externalserviceid'=>$dbservice->id));
1213             $DB->delete_records('external_services_functions', array('externalserviceid'=>$dbservice->id));
1214             $DB->delete_records('external_services_users', array('externalserviceid'=>$dbservice->id));
1215             $DB->delete_records('external_services', array('id'=>$dbservice->id));
1216             continue;
1217         }
1218         $service = $services[$dbservice->name];
1219         unset($services[$dbservice->name]);
1220         $service['enabled'] = empty($service['enabled']) ? 0 : $service['enabled'];
1221         $service['requiredcapability'] = empty($service['requiredcapability']) ? null : $service['requiredcapability'];
1222         $service['restrictedusers'] = !isset($service['restrictedusers']) ? 1 : $service['restrictedusers'];
1223         $service['downloadfiles'] = !isset($service['downloadfiles']) ? 0 : $service['downloadfiles'];
1224         $service['uploadfiles'] = !isset($service['uploadfiles']) ? 0 : $service['uploadfiles'];
1225         $service['shortname'] = !isset($service['shortname']) ? null : $service['shortname'];
1227         $update = false;
1228         if ($dbservice->requiredcapability != $service['requiredcapability']) {
1229             $dbservice->requiredcapability = $service['requiredcapability'];
1230             $update = true;
1231         }
1232         if ($dbservice->restrictedusers != $service['restrictedusers']) {
1233             $dbservice->restrictedusers = $service['restrictedusers'];
1234             $update = true;
1235         }
1236         if ($dbservice->downloadfiles != $service['downloadfiles']) {
1237             $dbservice->downloadfiles = $service['downloadfiles'];
1238             $update = true;
1239         }
1240         if ($dbservice->uploadfiles != $service['uploadfiles']) {
1241             $dbservice->uploadfiles = $service['uploadfiles'];
1242             $update = true;
1243         }
1244         //if shortname is not a PARAM_ALPHANUMEXT, fail (tested here for service update and creation)
1245         if (isset($service['shortname']) and
1246                 (clean_param($service['shortname'], PARAM_ALPHANUMEXT) != $service['shortname'])) {
1247             throw new moodle_exception('installserviceshortnameerror', 'webservice', '', $service['shortname']);
1248         }
1249         if ($dbservice->shortname != $service['shortname']) {
1250             //check that shortname is unique
1251             if (isset($service['shortname'])) { //we currently accepts multiple shortname == null
1252                 $existingservice = $DB->get_record('external_services',
1253                         array('shortname' => $service['shortname']));
1254                 if (!empty($existingservice)) {
1255                     throw new moodle_exception('installexistingserviceshortnameerror', 'webservice', '', $service['shortname']);
1256                 }
1257             }
1258             $dbservice->shortname = $service['shortname'];
1259             $update = true;
1260         }
1261         if ($update) {
1262             $DB->update_record('external_services', $dbservice);
1263         }
1265         $functions = $DB->get_records('external_services_functions', array('externalserviceid'=>$dbservice->id));
1266         foreach ($functions as $function) {
1267             $key = array_search($function->functionname, $service['functions']);
1268             if ($key === false) {
1269                 $DB->delete_records('external_services_functions', array('id'=>$function->id));
1270             } else {
1271                 unset($service['functions'][$key]);
1272             }
1273         }
1274         foreach ($service['functions'] as $fname) {
1275             $newf = new stdClass();
1276             $newf->externalserviceid = $dbservice->id;
1277             $newf->functionname      = $fname;
1278             $DB->insert_record('external_services_functions', $newf);
1279         }
1280         unset($functions);
1281     }
1282     foreach ($services as $name => $service) {
1283         //check that shortname is unique
1284         if (isset($service['shortname'])) { //we currently accepts multiple shortname == null
1285             $existingservice = $DB->get_record('external_services',
1286                     array('shortname' => $service['shortname']));
1287             if (!empty($existingservice)) {
1288                 throw new moodle_exception('installserviceshortnameerror', 'webservice');
1289             }
1290         }
1292         $dbservice = new stdClass();
1293         $dbservice->name               = $name;
1294         $dbservice->enabled            = empty($service['enabled']) ? 0 : $service['enabled'];
1295         $dbservice->requiredcapability = empty($service['requiredcapability']) ? null : $service['requiredcapability'];
1296         $dbservice->restrictedusers    = !isset($service['restrictedusers']) ? 1 : $service['restrictedusers'];
1297         $dbservice->downloadfiles      = !isset($service['downloadfiles']) ? 0 : $service['downloadfiles'];
1298         $dbservice->uploadfiles        = !isset($service['uploadfiles']) ? 0 : $service['uploadfiles'];
1299         $dbservice->shortname          = !isset($service['shortname']) ? null : $service['shortname'];
1300         $dbservice->component          = $component;
1301         $dbservice->timecreated        = time();
1302         $dbservice->id = $DB->insert_record('external_services', $dbservice);
1303         foreach ($service['functions'] as $fname) {
1304             $newf = new stdClass();
1305             $newf->externalserviceid = $dbservice->id;
1306             $newf->functionname      = $fname;
1307             $DB->insert_record('external_services_functions', $newf);
1308         }
1309     }
1312 /**
1313  * Allow plugins and subsystems to add external functions to other plugins or built-in services.
1314  * This function is executed just after all the plugins have been updated.
1315  */
1316 function external_update_services() {
1317     global $DB;
1319     // Look for external functions that want to be added in existing services.
1320     $functions = $DB->get_records_select('external_functions', 'services IS NOT NULL');
1322     $servicescache = array();
1323     foreach ($functions as $function) {
1324         // Prevent edge cases.
1325         if (empty($function->services)) {
1326             continue;
1327         }
1328         $services = explode(',', $function->services);
1330         foreach ($services as $serviceshortname) {
1331             // Get the service id by shortname.
1332             if (!empty($servicescache[$serviceshortname])) {
1333                 $serviceid = $servicescache[$serviceshortname];
1334             } else if ($service = $DB->get_record('external_services', array('shortname' => $serviceshortname))) {
1335                 // If the component is empty, it means that is not a built-in service.
1336                 // We don't allow functions to inject themselves in services created by an user in Moodle.
1337                 if (empty($service->component)) {
1338                     continue;
1339                 }
1340                 $serviceid = $service->id;
1341                 $servicescache[$serviceshortname] = $serviceid;
1342             } else {
1343                 // Service not found.
1344                 continue;
1345             }
1346             // Finally add the function to the service.
1347             $newf = new stdClass();
1348             $newf->externalserviceid = $serviceid;
1349             $newf->functionname      = $function->name;
1351             if (!$DB->record_exists('external_services_functions', (array)$newf)) {
1352                 $DB->insert_record('external_services_functions', $newf);
1353             }
1354         }
1355     }
1358 /**
1359  * upgrade logging functions
1360  */
1361 function upgrade_handle_exception($ex, $plugin = null) {
1362     global $CFG;
1364     // rollback everything, we need to log all upgrade problems
1365     abort_all_db_transactions();
1367     $info = get_exception_info($ex);
1369     // First log upgrade error
1370     upgrade_log(UPGRADE_LOG_ERROR, $plugin, 'Exception: ' . get_class($ex), $info->message, $info->backtrace);
1372     // Always turn on debugging - admins need to know what is going on
1373     set_debugging(DEBUG_DEVELOPER, true);
1375     default_exception_handler($ex, true, $plugin);
1378 /**
1379  * Adds log entry into upgrade_log table
1380  *
1381  * @param int $type UPGRADE_LOG_NORMAL, UPGRADE_LOG_NOTICE or UPGRADE_LOG_ERROR
1382  * @param string $plugin frankenstyle component name
1383  * @param string $info short description text of log entry
1384  * @param string $details long problem description
1385  * @param string $backtrace string used for errors only
1386  * @return void
1387  */
1388 function upgrade_log($type, $plugin, $info, $details=null, $backtrace=null) {
1389     global $DB, $USER, $CFG;
1391     if (empty($plugin)) {
1392         $plugin = 'core';
1393     }
1395     list($plugintype, $pluginname) = core_component::normalize_component($plugin);
1396     $component = is_null($pluginname) ? $plugintype : $plugintype . '_' . $pluginname;
1398     $backtrace = format_backtrace($backtrace, true);
1400     $currentversion = null;
1401     $targetversion  = null;
1403     //first try to find out current version number
1404     if ($plugintype === 'core') {
1405         //main
1406         $currentversion = $CFG->version;
1408         $version = null;
1409         include("$CFG->dirroot/version.php");
1410         $targetversion = $version;
1412     } else {
1413         $pluginversion = get_config($component, 'version');
1414         if (!empty($pluginversion)) {
1415             $currentversion = $pluginversion;
1416         }
1417         $cd = core_component::get_component_directory($component);
1418         if (file_exists("$cd/version.php")) {
1419             $plugin = new stdClass();
1420             $plugin->version = null;
1421             $module = $plugin;
1422             include("$cd/version.php");
1423             $targetversion = $plugin->version;
1424         }
1425     }
1427     $log = new stdClass();
1428     $log->type          = $type;
1429     $log->plugin        = $component;
1430     $log->version       = $currentversion;
1431     $log->targetversion = $targetversion;
1432     $log->info          = $info;
1433     $log->details       = $details;
1434     $log->backtrace     = $backtrace;
1435     $log->userid        = $USER->id;
1436     $log->timemodified  = time();
1437     try {
1438         $DB->insert_record('upgrade_log', $log);
1439     } catch (Exception $ignored) {
1440         // possible during install or 2.0 upgrade
1441     }
1444 /**
1445  * Marks start of upgrade, blocks any other access to site.
1446  * The upgrade is finished at the end of script or after timeout.
1447  *
1448  * @global object
1449  * @global object
1450  * @global object
1451  */
1452 function upgrade_started($preinstall=false) {
1453     global $CFG, $DB, $PAGE, $OUTPUT;
1455     static $started = false;
1457     if ($preinstall) {
1458         ignore_user_abort(true);
1459         upgrade_setup_debug(true);
1461     } else if ($started) {
1462         upgrade_set_timeout(120);
1464     } else {
1465         if (!CLI_SCRIPT and !$PAGE->headerprinted) {
1466             $strupgrade  = get_string('upgradingversion', 'admin');
1467             $PAGE->set_pagelayout('maintenance');
1468             upgrade_init_javascript();
1469             $PAGE->set_title($strupgrade.' - Moodle '.$CFG->target_release);
1470             $PAGE->set_heading($strupgrade);
1471             $PAGE->navbar->add($strupgrade);
1472             $PAGE->set_cacheable(false);
1473             echo $OUTPUT->header();
1474         }
1476         ignore_user_abort(true);
1477         core_shutdown_manager::register_function('upgrade_finished_handler');
1478         upgrade_setup_debug(true);
1479         set_config('upgraderunning', time()+300);
1480         $started = true;
1481     }
1484 /**
1485  * Internal function - executed if upgrade interrupted.
1486  */
1487 function upgrade_finished_handler() {
1488     upgrade_finished();
1491 /**
1492  * Indicates upgrade is finished.
1493  *
1494  * This function may be called repeatedly.
1495  *
1496  * @global object
1497  * @global object
1498  */
1499 function upgrade_finished($continueurl=null) {
1500     global $CFG, $DB, $OUTPUT;
1502     if (!empty($CFG->upgraderunning)) {
1503         unset_config('upgraderunning');
1504         // We have to forcefully purge the caches using the writer here.
1505         // This has to be done after we unset the config var. If someone hits the site while this is set they will
1506         // cause the config values to propogate to the caches.
1507         // Caches are purged after the last step in an upgrade but there is several code routines that exceute between
1508         // then and now that leaving a window for things to fall out of sync.
1509         cache_helper::purge_all(true);
1510         upgrade_setup_debug(false);
1511         ignore_user_abort(false);
1512         if ($continueurl) {
1513             echo $OUTPUT->continue_button($continueurl);
1514             echo $OUTPUT->footer();
1515             die;
1516         }
1517     }
1520 /**
1521  * @global object
1522  * @global object
1523  */
1524 function upgrade_setup_debug($starting) {
1525     global $CFG, $DB;
1527     static $originaldebug = null;
1529     if ($starting) {
1530         if ($originaldebug === null) {
1531             $originaldebug = $DB->get_debug();
1532         }
1533         if (!empty($CFG->upgradeshowsql)) {
1534             $DB->set_debug(true);
1535         }
1536     } else {
1537         $DB->set_debug($originaldebug);
1538     }
1541 function print_upgrade_separator() {
1542     if (!CLI_SCRIPT) {
1543         echo '<hr />';
1544     }
1547 /**
1548  * Default start upgrade callback
1549  * @param string $plugin
1550  * @param bool $installation true if installation, false means upgrade
1551  */
1552 function print_upgrade_part_start($plugin, $installation, $verbose) {
1553     global $OUTPUT;
1554     if (empty($plugin) or $plugin == 'moodle') {
1555         upgrade_started($installation); // does not store upgrade running flag yet
1556         if ($verbose) {
1557             echo $OUTPUT->heading(get_string('coresystem'));
1558         }
1559     } else {
1560         upgrade_started();
1561         if ($verbose) {
1562             echo $OUTPUT->heading($plugin);
1563         }
1564     }
1565     if ($installation) {
1566         if (empty($plugin) or $plugin == 'moodle') {
1567             // no need to log - log table not yet there ;-)
1568         } else {
1569             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting plugin installation');
1570         }
1571     } else {
1572         core_upgrade_time::record_start();
1573         if (empty($plugin) or $plugin == 'moodle') {
1574             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting core upgrade');
1575         } else {
1576             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting plugin upgrade');
1577         }
1578     }
1581 /**
1582  * Default end upgrade callback
1583  * @param string $plugin
1584  * @param bool $installation true if installation, false means upgrade
1585  */
1586 function print_upgrade_part_end($plugin, $installation, $verbose) {
1587     global $OUTPUT;
1588     upgrade_started();
1589     if ($installation) {
1590         if (empty($plugin) or $plugin == 'moodle') {
1591             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Core installed');
1592         } else {
1593             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Plugin installed');
1594         }
1595     } else {
1596         if (empty($plugin) or $plugin == 'moodle') {
1597             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Core upgraded');
1598         } else {
1599             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Plugin upgraded');
1600         }
1601     }
1602     if ($verbose) {
1603         if ($installation) {
1604             $message = get_string('success');
1605         } else {
1606             $duration = core_upgrade_time::get_elapsed();
1607             $message = get_string('successduration', '', format_float($duration, 2));
1608         }
1609         $notification = new \core\output\notification($message, \core\output\notification::NOTIFY_SUCCESS);
1610         $notification->set_show_closebutton(false);
1611         echo $OUTPUT->render($notification);
1612         print_upgrade_separator();
1613     }
1616 /**
1617  * Sets up JS code required for all upgrade scripts.
1618  * @global object
1619  */
1620 function upgrade_init_javascript() {
1621     global $PAGE;
1622     // scroll to the end of each upgrade page so that ppl see either error or continue button,
1623     // no need to scroll continuously any more, it is enough to jump to end once the footer is printed ;-)
1624     $js = "window.scrollTo(0, 5000000);";
1625     $PAGE->requires->js_init_code($js);
1628 /**
1629  * Try to upgrade the given language pack (or current language)
1630  *
1631  * @param string $lang the code of the language to update, defaults to the current language
1632  */
1633 function upgrade_language_pack($lang = null) {
1634     global $CFG;
1636     if (!empty($CFG->skiplangupgrade)) {
1637         return;
1638     }
1640     if (!file_exists("$CFG->dirroot/$CFG->admin/tool/langimport/lib.php")) {
1641         // weird, somebody uninstalled the import utility
1642         return;
1643     }
1645     if (!$lang) {
1646         $lang = current_language();
1647     }
1649     if (!get_string_manager()->translation_exists($lang)) {
1650         return;
1651     }
1653     get_string_manager()->reset_caches();
1655     if ($lang === 'en') {
1656         return;  // Nothing to do
1657     }
1659     upgrade_started(false);
1661     require_once("$CFG->dirroot/$CFG->admin/tool/langimport/lib.php");
1662     tool_langimport_preupgrade_update($lang);
1664     get_string_manager()->reset_caches();
1666     print_upgrade_separator();
1669 /**
1670  * Build the current theme so that the user doesn't have to wait for it
1671  * to build on the first page load after the install / upgrade.
1672  */
1673 function upgrade_themes() {
1674     global $CFG;
1676     require_once("{$CFG->libdir}/outputlib.php");
1678     // Build the current theme so that the user can immediately
1679     // browse the site without having to wait for the theme to build.
1680     $themeconfig = theme_config::load($CFG->theme);
1681     $direction = right_to_left() ? 'rtl' : 'ltr';
1682     theme_build_css_for_themes([$themeconfig], [$direction]);
1684     // Only queue the task if there isn't already one queued.
1685     if (empty(\core\task\manager::get_adhoc_tasks('\\core\\task\\build_installed_themes_task'))) {
1686         // Queue a task to build all of the site themes at some point
1687         // later. These can happen offline because it doesn't block the
1688         // user unless they quickly change theme.
1689         $adhoctask = new \core\task\build_installed_themes_task();
1690         \core\task\manager::queue_adhoc_task($adhoctask);
1691     }
1694 /**
1695  * Install core moodle tables and initialize
1696  * @param float $version target version
1697  * @param bool $verbose
1698  * @return void, may throw exception
1699  */
1700 function install_core($version, $verbose) {
1701     global $CFG, $DB;
1703     // We can not call purge_all_caches() yet, make sure the temp and cache dirs exist and are empty.
1704     remove_dir($CFG->cachedir.'', true);
1705     make_cache_directory('', true);
1707     remove_dir($CFG->localcachedir.'', true);
1708     make_localcache_directory('', true);
1710     remove_dir($CFG->tempdir.'', true);
1711     make_temp_directory('', true);
1713     remove_dir($CFG->backuptempdir.'', true);
1714     make_backup_temp_directory('', true);
1716     remove_dir($CFG->dataroot.'/muc', true);
1717     make_writable_directory($CFG->dataroot.'/muc', true);
1719     try {
1720         core_php_time_limit::raise(600);
1721         print_upgrade_part_start('moodle', true, $verbose); // does not store upgrade running flag
1723         $DB->get_manager()->install_from_xmldb_file("$CFG->libdir/db/install.xml");
1724         upgrade_started();     // we want the flag to be stored in config table ;-)
1726         // set all core default records and default settings
1727         require_once("$CFG->libdir/db/install.php");
1728         xmldb_main_install(); // installs the capabilities too
1730         // store version
1731         upgrade_main_savepoint(true, $version, false);
1733         // Continue with the installation
1734         log_update_descriptions('moodle');
1735         external_update_descriptions('moodle');
1736         \core\task\manager::reset_scheduled_tasks_for_component('moodle');
1737         message_update_providers('moodle');
1738         \core\message\inbound\manager::update_handlers_for_component('moodle');
1739         core_tag_area::reset_definitions_for_component('moodle');
1741         // Write default settings unconditionally
1742         admin_apply_default_settings(NULL, true);
1744         print_upgrade_part_end(null, true, $verbose);
1746         // Purge all caches. They're disabled but this ensures that we don't have any persistent data just in case something
1747         // during installation didn't use APIs.
1748         cache_helper::purge_all();
1749     } catch (exception $ex) {
1750         upgrade_handle_exception($ex);
1751     } catch (Throwable $ex) {
1752         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1753         upgrade_handle_exception($ex);
1754     }
1757 /**
1758  * Upgrade moodle core
1759  * @param float $version target version
1760  * @param bool $verbose
1761  * @return void, may throw exception
1762  */
1763 function upgrade_core($version, $verbose) {
1764     global $CFG, $SITE, $DB, $COURSE;
1766     raise_memory_limit(MEMORY_EXTRA);
1768     require_once($CFG->libdir.'/db/upgrade.php');    // Defines upgrades
1770     try {
1771         // Reset caches before any output.
1772         cache_helper::purge_all(true);
1773         purge_all_caches();
1775         // Upgrade current language pack if we can
1776         upgrade_language_pack();
1778         print_upgrade_part_start('moodle', false, $verbose);
1780         // Pre-upgrade scripts for local hack workarounds.
1781         $preupgradefile = "$CFG->dirroot/local/preupgrade.php";
1782         if (file_exists($preupgradefile)) {
1783             core_php_time_limit::raise();
1784             require($preupgradefile);
1785             // Reset upgrade timeout to default.
1786             upgrade_set_timeout();
1787         }
1789         $result = xmldb_main_upgrade($CFG->version);
1790         if ($version > $CFG->version) {
1791             // store version if not already there
1792             upgrade_main_savepoint($result, $version, false);
1793         }
1795         // In case structure of 'course' table has been changed and we forgot to update $SITE, re-read it from db.
1796         $SITE = $DB->get_record('course', array('id' => $SITE->id));
1797         $COURSE = clone($SITE);
1799         // perform all other component upgrade routines
1800         update_capabilities('moodle');
1801         log_update_descriptions('moodle');
1802         external_update_descriptions('moodle');
1803         \core\task\manager::reset_scheduled_tasks_for_component('moodle');
1804         message_update_providers('moodle');
1805         \core\message\inbound\manager::update_handlers_for_component('moodle');
1806         core_tag_area::reset_definitions_for_component('moodle');
1807         // Update core definitions.
1808         cache_helper::update_definitions(true);
1810         // Purge caches again, just to be sure we arn't holding onto old stuff now.
1811         cache_helper::purge_all(true);
1812         purge_all_caches();
1814         // Clean up contexts - more and more stuff depends on existence of paths and contexts
1815         context_helper::cleanup_instances();
1816         context_helper::create_instances(null, false);
1817         context_helper::build_all_paths(false);
1818         $syscontext = context_system::instance();
1819         $syscontext->mark_dirty();
1821         print_upgrade_part_end('moodle', false, $verbose);
1822     } catch (Exception $ex) {
1823         upgrade_handle_exception($ex);
1824     } catch (Throwable $ex) {
1825         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1826         upgrade_handle_exception($ex);
1827     }
1830 /**
1831  * Upgrade/install other parts of moodle
1832  * @param bool $verbose
1833  * @return void, may throw exception
1834  */
1835 function upgrade_noncore($verbose) {
1836     global $CFG;
1838     raise_memory_limit(MEMORY_EXTRA);
1840     // upgrade all plugins types
1841     try {
1842         // Reset caches before any output.
1843         cache_helper::purge_all(true);
1844         purge_all_caches();
1846         $plugintypes = core_component::get_plugin_types();
1847         foreach ($plugintypes as $type=>$location) {
1848             upgrade_plugins($type, 'print_upgrade_part_start', 'print_upgrade_part_end', $verbose);
1849         }
1850         // Upgrade services.
1851         // This function gives plugins and subsystems a chance to add functions to existing built-in services.
1852         external_update_services();
1854         // Update cache definitions. Involves scanning each plugin for any changes.
1855         cache_helper::update_definitions();
1856         // Mark the site as upgraded.
1857         set_config('allversionshash', core_component::get_all_versions_hash());
1859         // Purge caches again, just to be sure we arn't holding onto old stuff now.
1860         cache_helper::purge_all(true);
1861         purge_all_caches();
1863     } catch (Exception $ex) {
1864         upgrade_handle_exception($ex);
1865     } catch (Throwable $ex) {
1866         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1867         upgrade_handle_exception($ex);
1868     }
1871 /**
1872  * Checks if the main tables have been installed yet or not.
1873  *
1874  * Note: we can not use caches here because they might be stale,
1875  *       use with care!
1876  *
1877  * @return bool
1878  */
1879 function core_tables_exist() {
1880     global $DB;
1882     if (!$tables = $DB->get_tables(false) ) {    // No tables yet at all.
1883         return false;
1885     } else {                                 // Check for missing main tables
1886         $mtables = array('config', 'course', 'groupings'); // some tables used in 1.9 and 2.0, preferable something from the start and end of install.xml
1887         foreach ($mtables as $mtable) {
1888             if (!in_array($mtable, $tables)) {
1889                 return false;
1890             }
1891         }
1892         return true;
1893     }
1896 /**
1897  * upgrades the mnet rpc definitions for the given component.
1898  * this method doesn't return status, an exception will be thrown in the case of an error
1899  *
1900  * @param string $component the plugin to upgrade, eg auth_mnet
1901  */
1902 function upgrade_plugin_mnet_functions($component) {
1903     global $DB, $CFG;
1905     list($type, $plugin) = core_component::normalize_component($component);
1906     $path = core_component::get_plugin_directory($type, $plugin);
1908     $publishes = array();
1909     $subscribes = array();
1910     if (file_exists($path . '/db/mnet.php')) {
1911         require_once($path . '/db/mnet.php'); // $publishes comes from this file
1912     }
1913     if (empty($publishes)) {
1914         $publishes = array(); // still need this to be able to disable stuff later
1915     }
1916     if (empty($subscribes)) {
1917         $subscribes = array(); // still need this to be able to disable stuff later
1918     }
1920     static $servicecache = array();
1922     // rekey an array based on the rpc method for easy lookups later
1923     $publishmethodservices = array();
1924     $subscribemethodservices = array();
1925     foreach($publishes as $servicename => $service) {
1926         if (is_array($service['methods'])) {
1927             foreach($service['methods'] as $methodname) {
1928                 $service['servicename'] = $servicename;
1929                 $publishmethodservices[$methodname][] = $service;
1930             }
1931         }
1932     }
1934     // Disable functions that don't exist (any more) in the source
1935     // Should these be deleted? What about their permissions records?
1936     foreach ($DB->get_records('mnet_rpc', array('pluginname'=>$plugin, 'plugintype'=>$type), 'functionname ASC ') as $rpc) {
1937         if (!array_key_exists($rpc->functionname, $publishmethodservices) && $rpc->enabled) {
1938             $DB->set_field('mnet_rpc', 'enabled', 0, array('id' => $rpc->id));
1939         } else if (array_key_exists($rpc->functionname, $publishmethodservices) && !$rpc->enabled) {
1940             $DB->set_field('mnet_rpc', 'enabled', 1, array('id' => $rpc->id));
1941         }
1942     }
1944     // reflect all the services we're publishing and save them
1945     static $cachedclasses = array(); // to store reflection information in
1946     foreach ($publishes as $service => $data) {
1947         $f = $data['filename'];
1948         $c = $data['classname'];
1949         foreach ($data['methods'] as $method) {
1950             $dataobject = new stdClass();
1951             $dataobject->plugintype  = $type;
1952             $dataobject->pluginname  = $plugin;
1953             $dataobject->enabled     = 1;
1954             $dataobject->classname   = $c;
1955             $dataobject->filename    = $f;
1957             if (is_string($method)) {
1958                 $dataobject->functionname = $method;
1960             } else if (is_array($method)) { // wants to override file or class
1961                 $dataobject->functionname = $method['method'];
1962                 $dataobject->classname     = $method['classname'];
1963                 $dataobject->filename      = $method['filename'];
1964             }
1965             $dataobject->xmlrpcpath = $type.'/'.$plugin.'/'.$dataobject->filename.'/'.$method;
1966             $dataobject->static = false;
1968             require_once($path . '/' . $dataobject->filename);
1969             $functionreflect = null; // slightly different ways to get this depending on whether it's a class method or a function
1970             if (!empty($dataobject->classname)) {
1971                 if (!class_exists($dataobject->classname)) {
1972                     throw new moodle_exception('installnosuchmethod', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname));
1973                 }
1974                 $key = $dataobject->filename . '|' . $dataobject->classname;
1975                 if (!array_key_exists($key, $cachedclasses)) { // look to see if we've already got a reflection object
1976                     try {
1977                         $cachedclasses[$key] = new ReflectionClass($dataobject->classname);
1978                     } catch (ReflectionException $e) { // catch these and rethrow them to something more helpful
1979                         throw new moodle_exception('installreflectionclasserror', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname, 'error' => $e->getMessage()));
1980                     }
1981                 }
1982                 $r =& $cachedclasses[$key];
1983                 if (!$r->hasMethod($dataobject->functionname)) {
1984                     throw new moodle_exception('installnosuchmethod', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname));
1985                 }
1986                 $functionreflect = $r->getMethod($dataobject->functionname);
1987                 $dataobject->static = (int)$functionreflect->isStatic();
1988             } else {
1989                 if (!function_exists($dataobject->functionname)) {
1990                     throw new moodle_exception('installnosuchfunction', 'mnet', '', (object)array('method' => $dataobject->functionname, 'file' => $dataobject->filename));
1991                 }
1992                 try {
1993                     $functionreflect = new ReflectionFunction($dataobject->functionname);
1994                 } catch (ReflectionException $e) { // catch these and rethrow them to something more helpful
1995                     throw new moodle_exception('installreflectionfunctionerror', 'mnet', '', (object)array('method' => $dataobject->functionname, '' => $dataobject->filename, 'error' => $e->getMessage()));
1996                 }
1997             }
1998             $dataobject->profile =  serialize(admin_mnet_method_profile($functionreflect));
1999             $dataobject->help = admin_mnet_method_get_help($functionreflect);
2001             if ($record_exists = $DB->get_record('mnet_rpc', array('xmlrpcpath'=>$dataobject->xmlrpcpath))) {
2002                 $dataobject->id      = $record_exists->id;
2003                 $dataobject->enabled = $record_exists->enabled;
2004                 $DB->update_record('mnet_rpc', $dataobject);
2005             } else {
2006                 $dataobject->id = $DB->insert_record('mnet_rpc', $dataobject, true);
2007             }
2009             // TODO this API versioning must be reworked, here the recently processed method
2010             // sets the service API which may not be correct
2011             foreach ($publishmethodservices[$dataobject->functionname] as $service) {
2012                 if ($serviceobj = $DB->get_record('mnet_service', array('name'=>$service['servicename']))) {
2013                     $serviceobj->apiversion = $service['apiversion'];
2014                     $DB->update_record('mnet_service', $serviceobj);
2015                 } else {
2016                     $serviceobj = new stdClass();
2017                     $serviceobj->name        = $service['servicename'];
2018                     $serviceobj->description = empty($service['description']) ? '' : $service['description'];
2019                     $serviceobj->apiversion  = $service['apiversion'];
2020                     $serviceobj->offer       = 1;
2021                     $serviceobj->id          = $DB->insert_record('mnet_service', $serviceobj);
2022                 }
2023                 $servicecache[$service['servicename']] = $serviceobj;
2024                 if (!$DB->record_exists('mnet_service2rpc', array('rpcid'=>$dataobject->id, 'serviceid'=>$serviceobj->id))) {
2025                     $obj = new stdClass();
2026                     $obj->rpcid = $dataobject->id;
2027                     $obj->serviceid = $serviceobj->id;
2028                     $DB->insert_record('mnet_service2rpc', $obj, true);
2029                 }
2030             }
2031         }
2032     }
2033     // finished with methods we publish, now do subscribable methods
2034     foreach($subscribes as $service => $methods) {
2035         if (!array_key_exists($service, $servicecache)) {
2036             if (!$serviceobj = $DB->get_record('mnet_service', array('name' =>  $service))) {
2037                 debugging("TODO: skipping unknown service $service - somebody needs to fix MDL-21993");
2038                 continue;
2039             }
2040             $servicecache[$service] = $serviceobj;
2041         } else {
2042             $serviceobj = $servicecache[$service];
2043         }
2044         foreach ($methods as $method => $xmlrpcpath) {
2045             if (!$rpcid = $DB->get_field('mnet_remote_rpc', 'id', array('xmlrpcpath'=>$xmlrpcpath))) {
2046                 $remoterpc = (object)array(
2047                     'functionname' => $method,
2048                     'xmlrpcpath' => $xmlrpcpath,
2049                     'plugintype' => $type,
2050                     'pluginname' => $plugin,
2051                     'enabled'    => 1,
2052                 );
2053                 $rpcid = $remoterpc->id = $DB->insert_record('mnet_remote_rpc', $remoterpc, true);
2054             }
2055             if (!$DB->record_exists('mnet_remote_service2rpc', array('rpcid'=>$rpcid, 'serviceid'=>$serviceobj->id))) {
2056                 $obj = new stdClass();
2057                 $obj->rpcid = $rpcid;
2058                 $obj->serviceid = $serviceobj->id;
2059                 $DB->insert_record('mnet_remote_service2rpc', $obj, true);
2060             }
2061             $subscribemethodservices[$method][] = $service;
2062         }
2063     }
2065     foreach ($DB->get_records('mnet_remote_rpc', array('pluginname'=>$plugin, 'plugintype'=>$type), 'functionname ASC ') as $rpc) {
2066         if (!array_key_exists($rpc->functionname, $subscribemethodservices) && $rpc->enabled) {
2067             $DB->set_field('mnet_remote_rpc', 'enabled', 0, array('id' => $rpc->id));
2068         } else if (array_key_exists($rpc->functionname, $subscribemethodservices) && !$rpc->enabled) {
2069             $DB->set_field('mnet_remote_rpc', 'enabled', 1, array('id' => $rpc->id));
2070         }
2071     }
2073     return true;
2076 /**
2077  * Given some sort of reflection function/method object, return a profile array, ready to be serialized and stored
2078  *
2079  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2080  *
2081  * @return array associative array with function/method information
2082  */
2083 function admin_mnet_method_profile(ReflectionFunctionAbstract $function) {
2084     $commentlines = admin_mnet_method_get_docblock($function);
2085     $getkey = function($key) use ($commentlines) {
2086         return array_values(array_filter($commentlines, function($line) use ($key) {
2087             return $line[0] == $key;
2088         }));
2089     };
2090     $returnline = $getkey('@return');
2091     return array (
2092         'parameters' => array_map(function($line) {
2093             return array(
2094                 'name' => trim($line[2], " \t\n\r\0\x0B$"),
2095                 'type' => $line[1],
2096                 'description' => $line[3]
2097             );
2098         }, $getkey('@param')),
2100         'return' => array(
2101             'type' => !empty($returnline[0][1]) ? $returnline[0][1] : 'void',
2102             'description' => !empty($returnline[0][2]) ? $returnline[0][2] : ''
2103         )
2104     );
2107 /**
2108  * Given some sort of reflection function/method object, return an array of docblock lines, where each line is an array of
2109  * keywords/descriptions
2110  *
2111  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2112  *
2113  * @return array docblock converted in to an array
2114  */
2115 function admin_mnet_method_get_docblock(ReflectionFunctionAbstract $function) {
2116     return array_map(function($line) {
2117         $text = trim($line, " \t\n\r\0\x0B*/");
2118         if (strpos($text, '@param') === 0) {
2119             return preg_split('/\s+/', $text, 4);
2120         }
2122         if (strpos($text, '@return') === 0) {
2123             return preg_split('/\s+/', $text, 3);
2124         }
2126         return array($text);
2127     }, explode("\n", $function->getDocComment()));
2130 /**
2131  * Given some sort of reflection function/method object, return just the help text
2132  *
2133  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2134  *
2135  * @return string docblock help text
2136  */
2137 function admin_mnet_method_get_help(ReflectionFunctionAbstract $function) {
2138     $helplines = array_map(function($line) {
2139         return implode(' ', $line);
2140     }, array_values(array_filter(admin_mnet_method_get_docblock($function), function($line) {
2141         return strpos($line[0], '@') !== 0 && !empty($line[0]);
2142     })));
2144     return implode("\n", $helplines);
2147 /**
2148  * This function verifies that the database is not using an unsupported storage engine.
2149  *
2150  * @param environment_results $result object to update, if relevant
2151  * @return environment_results|null updated results object, or null if the storage engine is supported
2152  */
2153 function check_database_storage_engine(environment_results $result) {
2154     global $DB;
2156     // Check if MySQL is the DB family (this will also be the same for MariaDB).
2157     if ($DB->get_dbfamily() == 'mysql') {
2158         // Get the database engine we will either be using to install the tables, or what we are currently using.
2159         $engine = $DB->get_dbengine();
2160         // Check if MyISAM is the storage engine that will be used, if so, do not proceed and display an error.
2161         if ($engine == 'MyISAM') {
2162             $result->setInfo('unsupported_db_storage_engine');
2163             $result->setStatus(false);
2164             return $result;
2165         }
2166     }
2168     return null;
2171 /**
2172  * Method used to check the usage of slasharguments config and display a warning message.
2173  *
2174  * @param environment_results $result object to update, if relevant.
2175  * @return environment_results|null updated results or null if slasharguments is disabled.
2176  */
2177 function check_slasharguments(environment_results $result){
2178     global $CFG;
2180     if (!during_initial_install() && empty($CFG->slasharguments)) {
2181         $result->setInfo('slasharguments');
2182         $result->setStatus(false);
2183         return $result;
2184     }
2186     return null;
2189 /**
2190  * This function verifies if the database has tables using innoDB Antelope row format.
2191  *
2192  * @param environment_results $result
2193  * @return environment_results|null updated results object, or null if no Antelope table has been found.
2194  */
2195 function check_database_tables_row_format(environment_results $result) {
2196     global $DB;
2198     if ($DB->get_dbfamily() == 'mysql') {
2199         $generator = $DB->get_manager()->generator;
2201         foreach ($DB->get_tables(false) as $table) {
2202             $columns = $DB->get_columns($table, false);
2203             $size = $generator->guess_antelope_row_size($columns);
2204             $format = $DB->get_row_format($table);
2206             if ($size <= $generator::ANTELOPE_MAX_ROW_SIZE) {
2207                 continue;
2208             }
2210             if ($format === 'Compact' or $format === 'Redundant') {
2211                 $result->setInfo('unsupported_db_table_row_format');
2212                 $result->setStatus(false);
2213                 return $result;
2214             }
2215         }
2216     }
2218     return null;
2221 /**
2222  * This function verfies that the database has tables using InnoDB Antelope row format.
2223  *
2224  * @param environment_results $result
2225  * @return environment_results|null updated results object, or null if no Antelope table has been found.
2226  */
2227 function check_mysql_file_format(environment_results $result) {
2228     global $DB;
2230     if ($DB->get_dbfamily() == 'mysql') {
2231         $collation = $DB->get_dbcollation();
2232         $collationinfo = explode('_', $collation);
2233         $charset = reset($collationinfo);
2235         if ($charset == 'utf8mb4') {
2236             if ($DB->get_row_format() !== "Barracuda") {
2237                 $result->setInfo('mysql_full_unicode_support#File_format');
2238                 $result->setStatus(false);
2239                 return $result;
2240             }
2241         }
2242     }
2243     return null;
2246 /**
2247  * This function verfies that the database has a setting of one file per table. This is required for 'utf8mb4'.
2248  *
2249  * @param environment_results $result
2250  * @return environment_results|null updated results object, or null if innodb_file_per_table = 1.
2251  */
2252 function check_mysql_file_per_table(environment_results $result) {
2253     global $DB;
2255     if ($DB->get_dbfamily() == 'mysql') {
2256         $collation = $DB->get_dbcollation();
2257         $collationinfo = explode('_', $collation);
2258         $charset = reset($collationinfo);
2260         if ($charset == 'utf8mb4') {
2261             if (!$DB->is_file_per_table_enabled()) {
2262                 $result->setInfo('mysql_full_unicode_support#File_per_table');
2263                 $result->setStatus(false);
2264                 return $result;
2265             }
2266         }
2267     }
2268     return null;
2271 /**
2272  * This function verfies that the database has the setting of large prefix enabled. This is required for 'utf8mb4'.
2273  *
2274  * @param environment_results $result
2275  * @return environment_results|null updated results object, or null if innodb_large_prefix = 1.
2276  */
2277 function check_mysql_large_prefix(environment_results $result) {
2278     global $DB;
2280     if ($DB->get_dbfamily() == 'mysql') {
2281         $collation = $DB->get_dbcollation();
2282         $collationinfo = explode('_', $collation);
2283         $charset = reset($collationinfo);
2285         if ($charset == 'utf8mb4') {
2286             if (!$DB->is_large_prefix_enabled()) {
2287                 $result->setInfo('mysql_full_unicode_support#Large_prefix');
2288                 $result->setStatus(false);
2289                 return $result;
2290             }
2291         }
2292     }
2293     return null;
2296 /**
2297  * This function checks the database to see if it is using incomplete unicode support.
2298  *
2299  * @param  environment_results $result $result
2300  * @return environment_results|null updated results object, or null if unicode is fully supported.
2301  */
2302 function check_mysql_incomplete_unicode_support(environment_results $result) {
2303     global $DB;
2305     if ($DB->get_dbfamily() == 'mysql') {
2306         $collation = $DB->get_dbcollation();
2307         $collationinfo = explode('_', $collation);
2308         $charset = reset($collationinfo);
2310         if ($charset == 'utf8') {
2311             $result->setInfo('mysql_full_unicode_support');
2312             $result->setStatus(false);
2313             return $result;
2314         }
2315     }
2316     return null;
2319 /**
2320  * Check if the site is being served using an ssl url.
2321  *
2322  * Note this does not really perform any request neither looks for proxies or
2323  * other situations. Just looks to wwwroot and warn if it's not using https.
2324  *
2325  * @param  environment_results $result $result
2326  * @return environment_results|null updated results object, or null if the site is https.
2327  */
2328 function check_is_https(environment_results $result) {
2329     global $CFG;
2331     // Only if is defined, non-empty and whatever core tell us.
2332     if (!empty($CFG->wwwroot) && !is_https()) {
2333         $result->setInfo('site not https');
2334         $result->setStatus(false);
2335         return $result;
2336     }
2337     return null;
2340 /**
2341  * Assert the upgrade key is provided, if it is defined.
2342  *
2343  * The upgrade key can be defined in the main config.php as $CFG->upgradekey. If
2344  * it is defined there, then its value must be provided every time the site is
2345  * being upgraded, regardless the administrator is logged in or not.
2346  *
2347  * This is supposed to be used at certain places in /admin/index.php only.
2348  *
2349  * @param string|null $upgradekeyhash the SHA-1 of the value provided by the user
2350  */
2351 function check_upgrade_key($upgradekeyhash) {
2352     global $CFG, $PAGE;
2354     if (isset($CFG->config_php_settings['upgradekey'])) {
2355         if ($upgradekeyhash === null or $upgradekeyhash !== sha1($CFG->config_php_settings['upgradekey'])) {
2356             if (!$PAGE->headerprinted) {
2357                 $output = $PAGE->get_renderer('core', 'admin');
2358                 echo $output->upgradekey_form_page(new moodle_url('/admin/index.php', array('cache' => 0)));
2359                 die();
2360             } else {
2361                 // This should not happen.
2362                 die('Upgrade locked');
2363             }
2364         }
2365     }
2368 /**
2369  * Helper procedure/macro for installing remote plugins at admin/index.php
2370  *
2371  * Does not return, always redirects or exits.
2372  *
2373  * @param array $installable list of \core\update\remote_info
2374  * @param bool $confirmed false: display the validation screen, true: proceed installation
2375  * @param string $heading validation screen heading
2376  * @param moodle_url|string|null $continue URL to proceed with installation at the validation screen
2377  * @param moodle_url|string|null $return URL to go back on cancelling at the validation screen
2378  */
2379 function upgrade_install_plugins(array $installable, $confirmed, $heading='', $continue=null, $return=null) {
2380     global $CFG, $PAGE;
2382     if (empty($return)) {
2383         $return = $PAGE->url;
2384     }
2386     if (!empty($CFG->disableupdateautodeploy)) {
2387         redirect($return);
2388     }
2390     if (empty($installable)) {
2391         redirect($return);
2392     }
2394     $pluginman = core_plugin_manager::instance();
2396     if ($confirmed) {
2397         // Installation confirmed at the validation results page.
2398         if (!$pluginman->install_plugins($installable, true, true)) {
2399             throw new moodle_exception('install_plugins_failed', 'core_plugin', $return);
2400         }
2402         // Always redirect to admin/index.php to perform the database upgrade.
2403         // Do not throw away the existing $PAGE->url parameters such as
2404         // confirmupgrade or confirmrelease if $PAGE->url is a superset of the
2405         // URL we must go to.
2406         $mustgoto = new moodle_url('/admin/index.php', array('cache' => 0, 'confirmplugincheck' => 0));
2407         if ($mustgoto->compare($PAGE->url, URL_MATCH_PARAMS)) {
2408             redirect($PAGE->url);
2409         } else {
2410             redirect($mustgoto);
2411         }
2413     } else {
2414         $output = $PAGE->get_renderer('core', 'admin');
2415         echo $output->header();
2416         if ($heading) {
2417             echo $output->heading($heading, 3);
2418         }
2419         echo html_writer::start_tag('pre', array('class' => 'plugin-install-console'));
2420         $validated = $pluginman->install_plugins($installable, false, false);
2421         echo html_writer::end_tag('pre');
2422         if ($validated) {
2423             echo $output->plugins_management_confirm_buttons($continue, $return);
2424         } else {
2425             echo $output->plugins_management_confirm_buttons(null, $return);
2426         }
2427         echo $output->footer();
2428         die();
2429     }
2431 /**
2432  * Method used to check the installed unoconv version.
2433  *
2434  * @param environment_results $result object to update, if relevant.
2435  * @return environment_results|null updated results or null if unoconv path is not executable.
2436  */
2437 function check_unoconv_version(environment_results $result) {
2438     global $CFG;
2440     if (!during_initial_install() && !empty($CFG->pathtounoconv) && file_is_executable(trim($CFG->pathtounoconv))) {
2441         $currentversion = 0;
2442         $supportedversion = 0.7;
2443         $unoconvbin = \escapeshellarg($CFG->pathtounoconv);
2444         $command = "$unoconvbin --version";
2445         exec($command, $output);
2447         // If the command execution returned some output, then get the unoconv version.
2448         if ($output) {
2449             foreach ($output as $response) {
2450                 if (preg_match('/unoconv (\\d+\\.\\d+)/', $response, $matches)) {
2451                     $currentversion = (float)$matches[1];
2452                 }
2453             }
2454         }
2456         if ($currentversion < $supportedversion) {
2457             $result->setInfo('unoconv version not supported');
2458             $result->setStatus(false);
2459             return $result;
2460         }
2461     }
2462     return null;
2465 /**
2466  * Checks for up-to-date TLS libraries. NOTE: this is not currently used, see MDL-57262.
2467  *
2468  * @param environment_results $result object to update, if relevant.
2469  * @return environment_results|null updated results or null if unoconv path is not executable.
2470  */
2471 function check_tls_libraries(environment_results $result) {
2472     global $CFG;
2474     if (!function_exists('curl_version')) {
2475         $result->setInfo('cURL PHP extension is not installed');
2476         $result->setStatus(false);
2477         return $result;
2478     }
2480     if (!\core\upgrade\util::validate_php_curl_tls(curl_version(), PHP_ZTS)) {
2481         $result->setInfo('invalid ssl/tls configuration');
2482         $result->setStatus(false);
2483         return $result;
2484     }
2486     if (!\core\upgrade\util::can_use_tls12(curl_version(), php_uname('r'))) {
2487         $result->setInfo('ssl/tls configuration not supported');
2488         $result->setStatus(false);
2489         return $result;
2490     }
2492     return null;
2495 /**
2496  * Check if recommended version of libcurl is installed or not.
2497  *
2498  * @param environment_results $result object to update, if relevant.
2499  * @return environment_results|null updated results or null.
2500  */
2501 function check_libcurl_version(environment_results $result) {
2503     if (!function_exists('curl_version')) {
2504         $result->setInfo('cURL PHP extension is not installed');
2505         $result->setStatus(false);
2506         return $result;
2507     }
2509     // Supported version and version number.
2510     $supportedversion = 0x071304;
2511     $supportedversionstring = "7.19.4";
2513     // Installed version.
2514     $curlinfo = curl_version();
2515     $currentversion = $curlinfo['version_number'];
2517     if ($currentversion < $supportedversion) {
2518         // Test fail.
2519         // Set info, we want to let user know how to resolve the problem.
2520         $result->setInfo('Libcurl version check');
2521         $result->setNeededVersion($supportedversionstring);
2522         $result->setCurrentVersion($curlinfo['version']);
2523         $result->setStatus(false);
2524         return $result;
2525     }
2527     return null;
2530 /**
2531  * Fix how auth plugins are called in the 'config_plugins' table.
2532  *
2533  * For legacy reasons, the auth plugins did not always use their frankenstyle
2534  * component name in the 'plugin' column of the 'config_plugins' table. This is
2535  * a helper function to correctly migrate the legacy settings into the expected
2536  * and consistent way.
2537  *
2538  * @param string $plugin the auth plugin name such as 'cas', 'manual' or 'mnet'
2539  */
2540 function upgrade_fix_config_auth_plugin_names($plugin) {
2541     global $CFG, $DB, $OUTPUT;
2543     $legacy = (array) get_config('auth/'.$plugin);
2544     $current = (array) get_config('auth_'.$plugin);
2546     // I don't want to rely on array_merge() and friends here just in case
2547     // there was some crazy setting with a numerical name.
2549     if ($legacy) {
2550         $new = $legacy;
2551     } else {
2552         $new = [];
2553     }
2555     if ($current) {
2556         foreach ($current as $name => $value) {
2557             if (isset($legacy[$name]) && ($legacy[$name] !== $value)) {
2558                 // No need to pollute the output during unit tests.
2559                 if (!empty($CFG->upgraderunning)) {
2560                     $message = get_string('settingmigrationmismatch', 'core_auth', [
2561                         'plugin' => 'auth_'.$plugin,
2562                         'setting' => s($name),
2563                         'legacy' => s($legacy[$name]),
2564                         'current' => s($value),
2565                     ]);
2566                     echo $OUTPUT->notification($message, \core\output\notification::NOTIFY_ERROR);
2568                     upgrade_log(UPGRADE_LOG_NOTICE, 'auth_'.$plugin, 'Setting values mismatch detected',
2569                         'SETTING: '.$name. ' LEGACY: '.$legacy[$name].' CURRENT: '.$value);
2570                 }
2571             }
2573             $new[$name] = $value;
2574         }
2575     }
2577     foreach ($new as $name => $value) {
2578         set_config($name, $value, 'auth_'.$plugin);
2579         unset_config($name, 'auth/'.$plugin);
2580     }
2583 /**
2584  * Populate the auth plugin settings with defaults if needed.
2585  *
2586  * As a result of fixing the auth plugins config storage, many settings would
2587  * be falsely reported as new ones by admin/upgradesettings.php. We do not want
2588  * to confuse admins so we try to reduce the bewilderment by pre-populating the
2589  * config_plugins table with default values. This should be done only for
2590  * disabled auth methods. The enabled methods have their settings already
2591  * stored, so reporting actual new settings for them is valid.
2592  *
2593  * @param string $plugin the auth plugin name such as 'cas', 'manual' or 'mnet'
2594  */
2595 function upgrade_fix_config_auth_plugin_defaults($plugin) {
2596     global $CFG;
2598     $pluginman = core_plugin_manager::instance();
2599     $enabled = $pluginman->get_enabled_plugins('auth');
2601     if (isset($enabled[$plugin])) {
2602         // Do not touch settings of enabled auth methods.
2603         return;
2604     }
2606     // We can't directly use {@link core\plugininfo\auth::load_settings()} here
2607     // because the plugins are not fully upgraded yet. Instead, we emulate what
2608     // that method does. We fetch a temporary instance of the plugin's settings
2609     // page to get access to the settings and their defaults. Note we are not
2610     // adding that temporary instance into the admin tree. Yes, this is a hack.
2612     $plugininfo = $pluginman->get_plugin_info('auth_'.$plugin);
2613     $adminroot = admin_get_root();
2614     $ADMIN = $adminroot;
2615     $auth = $plugininfo;
2617     $section = $plugininfo->get_settings_section_name();
2618     $settingspath = $plugininfo->full_path('settings.php');
2620     if (file_exists($settingspath)) {
2621         $settings = new admin_settingpage($section, 'Emulated settings page for auth_'.$plugin, 'moodle/site:config');
2622         include($settingspath);
2624         if ($settings) {
2625             // Consistently with what admin/cli/upgrade.php does, apply the default settings twice.
2626             // I assume this is done for theoretical cases when a default value depends on an other.
2627             admin_apply_default_settings($settings, false);
2628             admin_apply_default_settings($settings, false);
2629         }
2630     }
2633 /**
2634  * Search for a given theme in any of the parent themes of a given theme.
2635  *
2636  * @param string $needle The name of the theme you want to search for
2637  * @param string $themename The name of the theme you want to search for
2638  * @param string $checkedthemeforparents The name of all the themes already checked
2639  * @return bool True if found, false if not.
2640  */
2641 function upgrade_theme_is_from_family($needle, $themename, $checkedthemeforparents = []) {
2642     global $CFG;
2644     // Once we've started checking a theme, don't start checking it again. Prevent recursion.
2645     if (!empty($checkedthemeforparents[$themename])) {
2646         return false;
2647     }
2648     $checkedthemeforparents[$themename] = true;
2650     if ($themename == $needle) {
2651         return true;
2652     }
2654     if ($themedir = upgrade_find_theme_location($themename)) {
2655         $THEME = new stdClass();
2656         require($themedir . '/config.php');
2657         $theme = $THEME;
2658     } else {
2659         return false;
2660     }
2662     if (empty($theme->parents)) {
2663         return false;
2664     }
2666     // Recursively search through each parent theme.
2667     foreach ($theme->parents as $parent) {
2668         if (upgrade_theme_is_from_family($needle, $parent, $checkedthemeforparents)) {
2669             return true;
2670         }
2671     }
2672     return false;
2675 /**
2676  * Finds the theme location and verifies the theme has all needed files.
2677  *
2678  * @param string $themename The name of the theme you want to search for
2679  * @return string full dir path or null if not found
2680  * @see \theme_config::find_theme_location()
2681  */
2682 function upgrade_find_theme_location($themename) {
2683     global $CFG;
2685     if (file_exists("$CFG->dirroot/theme/$themename/config.php")) {
2686         $dir = "$CFG->dirroot/theme/$themename";
2687     } else if (!empty($CFG->themedir) and file_exists("$CFG->themedir/$themename/config.php")) {
2688         $dir = "$CFG->themedir/$themename";
2689     } else {
2690         return null;
2691     }
2693     return $dir;