7272751034fbd665c4c3bdd3412938fece695dd8
[moodle.git] / lib / upgradelib.php
1 <?php
3 // This file is part of Moodle - http://moodle.org/
4 //
5 // Moodle is free software: you can redistribute it and/or modify
6 // it under the terms of the GNU General Public License as published by
7 // the Free Software Foundation, either version 3 of the License, or
8 // (at your option) any later version.
9 //
10 // Moodle is distributed in the hope that it will be useful,
11 // but WITHOUT ANY WARRANTY; without even the implied warranty of
12 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 // GNU General Public License for more details.
14 //
15 // You should have received a copy of the GNU General Public License
16 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
18 /**
19  * Various upgrade/install related functions and classes.
20  *
21  * @package    core
22  * @subpackage upgrade
23  * @copyright  1999 onwards Martin Dougiamas (http://dougiamas.com)
24  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
25  */
27 defined('MOODLE_INTERNAL') || die();
29 /** UPGRADE_LOG_NORMAL = 0 */
30 define('UPGRADE_LOG_NORMAL', 0);
31 /** UPGRADE_LOG_NOTICE = 1 */
32 define('UPGRADE_LOG_NOTICE', 1);
33 /** UPGRADE_LOG_ERROR = 2 */
34 define('UPGRADE_LOG_ERROR',  2);
36 /**
37  * Exception indicating unknown error during upgrade.
38  *
39  * @package    core
40  * @subpackage upgrade
41  * @copyright  2009 Petr Skoda {@link http://skodak.org}
42  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
43  */
44 class upgrade_exception extends moodle_exception {
45     function __construct($plugin, $version, $debuginfo=NULL) {
46         global $CFG;
47         $a = (object)array('plugin'=>$plugin, 'version'=>$version);
48         parent::__construct('upgradeerror', 'admin', "$CFG->wwwroot/$CFG->admin/index.php", $a, $debuginfo);
49     }
50 }
52 /**
53  * Exception indicating downgrade error during upgrade.
54  *
55  * @package    core
56  * @subpackage upgrade
57  * @copyright  2009 Petr Skoda {@link http://skodak.org}
58  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
59  */
60 class downgrade_exception extends moodle_exception {
61     function __construct($plugin, $oldversion, $newversion) {
62         global $CFG;
63         $plugin = is_null($plugin) ? 'moodle' : $plugin;
64         $a = (object)array('plugin'=>$plugin, 'oldversion'=>$oldversion, 'newversion'=>$newversion);
65         parent::__construct('cannotdowngrade', 'debug', "$CFG->wwwroot/$CFG->admin/index.php", $a);
66     }
67 }
69 /**
70  * @package    core
71  * @subpackage upgrade
72  * @copyright  2009 Petr Skoda {@link http://skodak.org}
73  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
74  */
75 class upgrade_requires_exception extends moodle_exception {
76     function __construct($plugin, $pluginversion, $currentmoodle, $requiremoodle) {
77         global $CFG;
78         $a = new stdClass();
79         $a->pluginname     = $plugin;
80         $a->pluginversion  = $pluginversion;
81         $a->currentmoodle  = $currentmoodle;
82         $a->requiremoodle  = $requiremoodle;
83         parent::__construct('pluginrequirementsnotmet', 'error', "$CFG->wwwroot/$CFG->admin/index.php", $a);
84     }
85 }
87 /**
88  * @package    core
89  * @subpackage upgrade
90  * @copyright  2009 Petr Skoda {@link http://skodak.org}
91  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
92  */
93 class plugin_defective_exception extends moodle_exception {
94     function __construct($plugin, $details) {
95         global $CFG;
96         parent::__construct('detectedbrokenplugin', 'error', "$CFG->wwwroot/$CFG->admin/index.php", $plugin, $details);
97     }
98 }
100 /**
101  * Misplaced plugin exception.
102  *
103  * Note: this should be used only from the upgrade/admin code.
104  *
105  * @package    core
106  * @subpackage upgrade
107  * @copyright  2009 Petr Skoda {@link http://skodak.org}
108  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
109  */
110 class plugin_misplaced_exception extends moodle_exception {
111     /**
112      * Constructor.
113      * @param string $component the component from version.php
114      * @param string $expected expected directory, null means calculate
115      * @param string $current plugin directory path
116      */
117     public function __construct($component, $expected, $current) {
118         global $CFG;
119         if (empty($expected)) {
120             list($type, $plugin) = core_component::normalize_component($component);
121             $plugintypes = core_component::get_plugin_types();
122             if (isset($plugintypes[$type])) {
123                 $expected = $plugintypes[$type] . '/' . $plugin;
124             }
125         }
126         if (strpos($expected, '$CFG->dirroot') !== 0) {
127             $expected = str_replace($CFG->dirroot, '$CFG->dirroot', $expected);
128         }
129         if (strpos($current, '$CFG->dirroot') !== 0) {
130             $current = str_replace($CFG->dirroot, '$CFG->dirroot', $current);
131         }
132         $a = new stdClass();
133         $a->component = $component;
134         $a->expected  = $expected;
135         $a->current   = $current;
136         parent::__construct('detectedmisplacedplugin', 'core_plugin', "$CFG->wwwroot/$CFG->admin/index.php", $a);
137     }
140 /**
141  * Static class monitors performance of upgrade steps.
142  */
143 class core_upgrade_time {
144     /** @var float Time at start of current upgrade (plugin/system) */
145     protected static $before;
146     /** @var float Time at end of last savepoint */
147     protected static $lastsavepoint;
148     /** @var bool Flag to indicate whether we are recording timestamps or not. */
149     protected static $isrecording = false;
151     /**
152      * Records current time at the start of the current upgrade item, e.g. plugin.
153      */
154     public static function record_start() {
155         self::$before = microtime(true);
156         self::$lastsavepoint = self::$before;
157         self::$isrecording = true;
158     }
160     /**
161      * Records current time at the end of a given numbered step.
162      *
163      * @param float $version Version number (may have decimals, or not)
164      */
165     public static function record_savepoint($version) {
166         global $CFG, $OUTPUT;
168         // In developer debug mode we show a notification after each individual save point.
169         if ($CFG->debugdeveloper && self::$isrecording) {
170             $time = microtime(true);
172             $notification = new \core\output\notification($version . ': ' .
173                     get_string('successduration', '', format_float($time - self::$lastsavepoint, 2)),
174                     \core\output\notification::NOTIFY_SUCCESS);
175             $notification->set_show_closebutton(false);
176             echo $OUTPUT->render($notification);
177             self::$lastsavepoint = $time;
178         }
179     }
181     /**
182      * Gets the time since the record_start function was called, rounded to 2 digits.
183      *
184      * @return float Elapsed time
185      */
186     public static function get_elapsed() {
187         return microtime(true) - self::$before;
188     }
191 /**
192  * Sets maximum expected time needed for upgrade task.
193  * Please always make sure that upgrade will not run longer!
194  *
195  * The script may be automatically aborted if upgrade times out.
196  *
197  * @category upgrade
198  * @param int $max_execution_time in seconds (can not be less than 60 s)
199  */
200 function upgrade_set_timeout($max_execution_time=300) {
201     global $CFG;
203     if (!isset($CFG->upgraderunning) or $CFG->upgraderunning < time()) {
204         $upgraderunning = get_config(null, 'upgraderunning');
205     } else {
206         $upgraderunning = $CFG->upgraderunning;
207     }
209     if (!$upgraderunning) {
210         if (CLI_SCRIPT) {
211             // never stop CLI upgrades
212             $upgraderunning = 0;
213         } else {
214             // web upgrade not running or aborted
215             print_error('upgradetimedout', 'admin', "$CFG->wwwroot/$CFG->admin/");
216         }
217     }
219     if ($max_execution_time < 60) {
220         // protection against 0 here
221         $max_execution_time = 60;
222     }
224     $expected_end = time() + $max_execution_time;
226     if ($expected_end < $upgraderunning + 10 and $expected_end > $upgraderunning - 10) {
227         // no need to store new end, it is nearly the same ;-)
228         return;
229     }
231     if (CLI_SCRIPT) {
232         // there is no point in timing out of CLI scripts, admins can stop them if necessary
233         core_php_time_limit::raise();
234     } else {
235         core_php_time_limit::raise($max_execution_time);
236     }
237     set_config('upgraderunning', $expected_end); // keep upgrade locked until this time
240 /**
241  * Upgrade savepoint, marks end of each upgrade block.
242  * It stores new main version, resets upgrade timeout
243  * and abort upgrade if user cancels page loading.
244  *
245  * Please do not make large upgrade blocks with lots of operations,
246  * for example when adding tables keep only one table operation per block.
247  *
248  * @category upgrade
249  * @param bool $result false if upgrade step failed, true if completed
250  * @param string or float $version main version
251  * @param bool $allowabort allow user to abort script execution here
252  * @return void
253  */
254 function upgrade_main_savepoint($result, $version, $allowabort=true) {
255     global $CFG;
257     //sanity check to avoid confusion with upgrade_mod_savepoint usage.
258     if (!is_bool($allowabort)) {
259         $errormessage = 'Parameter type mismatch. Are you mixing up upgrade_main_savepoint() and upgrade_mod_savepoint()?';
260         throw new coding_exception($errormessage);
261     }
263     if (!$result) {
264         throw new upgrade_exception(null, $version);
265     }
267     if ($CFG->version >= $version) {
268         // something really wrong is going on in main upgrade script
269         throw new downgrade_exception(null, $CFG->version, $version);
270     }
272     set_config('version', $version);
273     upgrade_log(UPGRADE_LOG_NORMAL, null, 'Upgrade savepoint reached');
275     // reset upgrade timeout to default
276     upgrade_set_timeout();
278     core_upgrade_time::record_savepoint($version);
280     // this is a safe place to stop upgrades if user aborts page loading
281     if ($allowabort and connection_aborted()) {
282         die;
283     }
286 /**
287  * Module upgrade savepoint, marks end of module upgrade blocks
288  * It stores module version, resets upgrade timeout
289  * and abort upgrade if user cancels page loading.
290  *
291  * @category upgrade
292  * @param bool $result false if upgrade step failed, true if completed
293  * @param string or float $version main version
294  * @param string $modname name of module
295  * @param bool $allowabort allow user to abort script execution here
296  * @return void
297  */
298 function upgrade_mod_savepoint($result, $version, $modname, $allowabort=true) {
299     global $DB;
301     $component = 'mod_'.$modname;
303     if (!$result) {
304         throw new upgrade_exception($component, $version);
305     }
307     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
309     if (!$module = $DB->get_record('modules', array('name'=>$modname))) {
310         print_error('modulenotexist', 'debug', '', $modname);
311     }
313     if ($dbversion >= $version) {
314         // something really wrong is going on in upgrade script
315         throw new downgrade_exception($component, $dbversion, $version);
316     }
317     set_config('version', $version, $component);
319     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
321     // reset upgrade timeout to default
322     upgrade_set_timeout();
324     core_upgrade_time::record_savepoint($version);
326     // this is a safe place to stop upgrades if user aborts page loading
327     if ($allowabort and connection_aborted()) {
328         die;
329     }
332 /**
333  * Blocks upgrade savepoint, marks end of blocks upgrade blocks
334  * It stores block version, resets upgrade timeout
335  * and abort upgrade if user cancels page loading.
336  *
337  * @category upgrade
338  * @param bool $result false if upgrade step failed, true if completed
339  * @param string or float $version main version
340  * @param string $blockname name of block
341  * @param bool $allowabort allow user to abort script execution here
342  * @return void
343  */
344 function upgrade_block_savepoint($result, $version, $blockname, $allowabort=true) {
345     global $DB;
347     $component = 'block_'.$blockname;
349     if (!$result) {
350         throw new upgrade_exception($component, $version);
351     }
353     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
355     if (!$block = $DB->get_record('block', array('name'=>$blockname))) {
356         print_error('blocknotexist', 'debug', '', $blockname);
357     }
359     if ($dbversion >= $version) {
360         // something really wrong is going on in upgrade script
361         throw new downgrade_exception($component, $dbversion, $version);
362     }
363     set_config('version', $version, $component);
365     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
367     // reset upgrade timeout to default
368     upgrade_set_timeout();
370     core_upgrade_time::record_savepoint($version);
372     // this is a safe place to stop upgrades if user aborts page loading
373     if ($allowabort and connection_aborted()) {
374         die;
375     }
378 /**
379  * Plugins upgrade savepoint, marks end of blocks upgrade blocks
380  * It stores plugin version, resets upgrade timeout
381  * and abort upgrade if user cancels page loading.
382  *
383  * @category upgrade
384  * @param bool $result false if upgrade step failed, true if completed
385  * @param string or float $version main version
386  * @param string $type name of plugin
387  * @param string $dir location of plugin
388  * @param bool $allowabort allow user to abort script execution here
389  * @return void
390  */
391 function upgrade_plugin_savepoint($result, $version, $type, $plugin, $allowabort=true) {
392     global $DB;
394     $component = $type.'_'.$plugin;
396     if (!$result) {
397         throw new upgrade_exception($component, $version);
398     }
400     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
402     if ($dbversion >= $version) {
403         // Something really wrong is going on in the upgrade script
404         throw new downgrade_exception($component, $dbversion, $version);
405     }
406     set_config('version', $version, $component);
407     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
409     // Reset upgrade timeout to default
410     upgrade_set_timeout();
412     core_upgrade_time::record_savepoint($version);
414     // This is a safe place to stop upgrades if user aborts page loading
415     if ($allowabort and connection_aborted()) {
416         die;
417     }
420 /**
421  * Detect if there are leftovers in PHP source files.
422  *
423  * During main version upgrades administrators MUST move away
424  * old PHP source files and start from scratch (or better
425  * use git).
426  *
427  * @return bool true means borked upgrade, false means previous PHP files were properly removed
428  */
429 function upgrade_stale_php_files_present() {
430     global $CFG;
432     $someexamplesofremovedfiles = array(
433         // Removed in 3.4.
434         '/auth/README.txt',
435         '/calendar/set.php',
436         '/enrol/users.php',
437         '/enrol/yui/rolemanager/assets/skins/sam/rolemanager.css',
438         // Removed in 3.3.
439         '/badges/backpackconnect.php',
440         '/calendar/yui/src/info/assets/skins/sam/moodle-calendar-info.css',
441         '/competency/classes/external/exporter.php',
442         '/mod/forum/forum.js',
443         '/user/pixgroup.php',
444         // Removed in 3.2.
445         '/calendar/preferences.php',
446         '/lib/alfresco/',
447         '/lib/jquery/jquery-1.12.1.min.js',
448         '/lib/password_compat/tests/',
449         '/lib/phpunit/classes/unittestcase.php',
450         // Removed in 3.1.
451         '/lib/classes/log/sql_internal_reader.php',
452         '/lib/zend/',
453         '/mod/forum/pix/icon.gif',
454         '/tag/templates/tagname.mustache',
455         // Removed in 3.0.
456         '/mod/lti/grade.php',
457         '/tag/coursetagslib.php',
458         // Removed in 2.9.
459         '/lib/timezone.txt',
460         // Removed in 2.8.
461         '/course/delete_category_form.php',
462         // Removed in 2.7.
463         '/admin/tool/qeupgradehelper/version.php',
464         // Removed in 2.6.
465         '/admin/block.php',
466         '/admin/oacleanup.php',
467         // Removed in 2.5.
468         '/backup/lib.php',
469         '/backup/bb/README.txt',
470         '/lib/excel/test.php',
471         // Removed in 2.4.
472         '/admin/tool/unittest/simpletestlib.php',
473         // Removed in 2.3.
474         '/lib/minify/builder/',
475         // Removed in 2.2.
476         '/lib/yui/3.4.1pr1/',
477         // Removed in 2.2.
478         '/search/cron_php5.php',
479         '/course/report/log/indexlive.php',
480         '/admin/report/backups/index.php',
481         '/admin/generator.php',
482         // Removed in 2.1.
483         '/lib/yui/2.8.0r4/',
484         // Removed in 2.0.
485         '/blocks/admin/block_admin.php',
486         '/blocks/admin_tree/block_admin_tree.php',
487     );
489     foreach ($someexamplesofremovedfiles as $file) {
490         if (file_exists($CFG->dirroot.$file)) {
491             return true;
492         }
493     }
495     return false;
498 /**
499  * Upgrade plugins
500  * @param string $type The type of plugins that should be updated (e.g. 'enrol', 'qtype')
501  * return void
502  */
503 function upgrade_plugins($type, $startcallback, $endcallback, $verbose) {
504     global $CFG, $DB;
506 /// special cases
507     if ($type === 'mod') {
508         return upgrade_plugins_modules($startcallback, $endcallback, $verbose);
509     } else if ($type === 'block') {
510         return upgrade_plugins_blocks($startcallback, $endcallback, $verbose);
511     }
513     $plugs = core_component::get_plugin_list($type);
515     foreach ($plugs as $plug=>$fullplug) {
516         // Reset time so that it works when installing a large number of plugins
517         core_php_time_limit::raise(600);
518         $component = clean_param($type.'_'.$plug, PARAM_COMPONENT); // standardised plugin name
520         // check plugin dir is valid name
521         if (empty($component)) {
522             throw new plugin_defective_exception($type.'_'.$plug, 'Invalid plugin directory name.');
523         }
525         if (!is_readable($fullplug.'/version.php')) {
526             continue;
527         }
529         $plugin = new stdClass();
530         $plugin->version = null;
531         $module = $plugin; // Prevent some notices when plugin placed in wrong directory.
532         require($fullplug.'/version.php');  // defines $plugin with version etc
533         unset($module);
535         if (empty($plugin->version)) {
536             throw new plugin_defective_exception($component, 'Missing $plugin->version number in version.php.');
537         }
539         if (empty($plugin->component)) {
540             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
541         }
543         if ($plugin->component !== $component) {
544             throw new plugin_misplaced_exception($plugin->component, null, $fullplug);
545         }
547         $plugin->name     = $plug;
548         $plugin->fullname = $component;
550         if (!empty($plugin->requires)) {
551             if ($plugin->requires > $CFG->version) {
552                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
553             } else if ($plugin->requires < 2010000000) {
554                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
555             }
556         }
558         // try to recover from interrupted install.php if needed
559         if (file_exists($fullplug.'/db/install.php')) {
560             if (get_config($plugin->fullname, 'installrunning')) {
561                 require_once($fullplug.'/db/install.php');
562                 $recover_install_function = 'xmldb_'.$plugin->fullname.'_install_recovery';
563                 if (function_exists($recover_install_function)) {
564                     $startcallback($component, true, $verbose);
565                     $recover_install_function();
566                     unset_config('installrunning', $plugin->fullname);
567                     update_capabilities($component);
568                     log_update_descriptions($component);
569                     external_update_descriptions($component);
570                     events_update_definition($component);
571                     \core\task\manager::reset_scheduled_tasks_for_component($component);
572                     message_update_providers($component);
573                     \core\message\inbound\manager::update_handlers_for_component($component);
574                     if ($type === 'message') {
575                         message_update_processors($plug);
576                     }
577                     upgrade_plugin_mnet_functions($component);
578                     core_tag_area::reset_definitions_for_component($component);
579                     $endcallback($component, true, $verbose);
580                 }
581             }
582         }
584         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
585         if (empty($installedversion)) { // new installation
586             $startcallback($component, true, $verbose);
588         /// Install tables if defined
589             if (file_exists($fullplug.'/db/install.xml')) {
590                 $DB->get_manager()->install_from_xmldb_file($fullplug.'/db/install.xml');
591             }
593         /// store version
594             upgrade_plugin_savepoint(true, $plugin->version, $type, $plug, false);
596         /// execute post install file
597             if (file_exists($fullplug.'/db/install.php')) {
598                 require_once($fullplug.'/db/install.php');
599                 set_config('installrunning', 1, $plugin->fullname);
600                 $post_install_function = 'xmldb_'.$plugin->fullname.'_install';
601                 $post_install_function();
602                 unset_config('installrunning', $plugin->fullname);
603             }
605         /// Install various components
606             update_capabilities($component);
607             log_update_descriptions($component);
608             external_update_descriptions($component);
609             events_update_definition($component);
610             \core\task\manager::reset_scheduled_tasks_for_component($component);
611             message_update_providers($component);
612             \core\message\inbound\manager::update_handlers_for_component($component);
613             if ($type === 'message') {
614                 message_update_processors($plug);
615             }
616             upgrade_plugin_mnet_functions($component);
617             core_tag_area::reset_definitions_for_component($component);
618             $endcallback($component, true, $verbose);
620         } else if ($installedversion < $plugin->version) { // upgrade
621         /// Run the upgrade function for the plugin.
622             $startcallback($component, false, $verbose);
624             if (is_readable($fullplug.'/db/upgrade.php')) {
625                 require_once($fullplug.'/db/upgrade.php');  // defines upgrading function
627                 $newupgrade_function = 'xmldb_'.$plugin->fullname.'_upgrade';
628                 $result = $newupgrade_function($installedversion);
629             } else {
630                 $result = true;
631             }
633             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
634             if ($installedversion < $plugin->version) {
635                 // store version if not already there
636                 upgrade_plugin_savepoint($result, $plugin->version, $type, $plug, false);
637             }
639         /// Upgrade various components
640             update_capabilities($component);
641             log_update_descriptions($component);
642             external_update_descriptions($component);
643             events_update_definition($component);
644             \core\task\manager::reset_scheduled_tasks_for_component($component);
645             message_update_providers($component);
646             \core\message\inbound\manager::update_handlers_for_component($component);
647             if ($type === 'message') {
648                 // Ugly hack!
649                 message_update_processors($plug);
650             }
651             upgrade_plugin_mnet_functions($component);
652             core_tag_area::reset_definitions_for_component($component);
653             $endcallback($component, false, $verbose);
655         } else if ($installedversion > $plugin->version) {
656             throw new downgrade_exception($component, $installedversion, $plugin->version);
657         }
658     }
661 /**
662  * Find and check all modules and load them up or upgrade them if necessary
663  *
664  * @global object
665  * @global object
666  */
667 function upgrade_plugins_modules($startcallback, $endcallback, $verbose) {
668     global $CFG, $DB;
670     $mods = core_component::get_plugin_list('mod');
672     foreach ($mods as $mod=>$fullmod) {
674         if ($mod === 'NEWMODULE') {   // Someone has unzipped the template, ignore it
675             continue;
676         }
678         $component = clean_param('mod_'.$mod, PARAM_COMPONENT);
680         // check module dir is valid name
681         if (empty($component)) {
682             throw new plugin_defective_exception('mod_'.$mod, 'Invalid plugin directory name.');
683         }
685         if (!is_readable($fullmod.'/version.php')) {
686             throw new plugin_defective_exception($component, 'Missing version.php');
687         }
689         $module = new stdClass();
690         $plugin = new stdClass();
691         $plugin->version = null;
692         require($fullmod .'/version.php');  // Defines $plugin with version etc.
694         // Check if the legacy $module syntax is still used.
695         if (!is_object($module) or (count((array)$module) > 0)) {
696             throw new plugin_defective_exception($component, 'Unsupported $module syntax detected in version.php');
697         }
699         // Prepare the record for the {modules} table.
700         $module = clone($plugin);
701         unset($module->version);
702         unset($module->component);
703         unset($module->dependencies);
704         unset($module->release);
706         if (empty($plugin->version)) {
707             throw new plugin_defective_exception($component, 'Missing $plugin->version number in version.php.');
708         }
710         if (empty($plugin->component)) {
711             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
712         }
714         if ($plugin->component !== $component) {
715             throw new plugin_misplaced_exception($plugin->component, null, $fullmod);
716         }
718         if (!empty($plugin->requires)) {
719             if ($plugin->requires > $CFG->version) {
720                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
721             } else if ($plugin->requires < 2010000000) {
722                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
723             }
724         }
726         if (empty($module->cron)) {
727             $module->cron = 0;
728         }
730         // all modules must have en lang pack
731         if (!is_readable("$fullmod/lang/en/$mod.php")) {
732             throw new plugin_defective_exception($component, 'Missing mandatory en language pack.');
733         }
735         $module->name = $mod;   // The name MUST match the directory
737         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
739         if (file_exists($fullmod.'/db/install.php')) {
740             if (get_config($module->name, 'installrunning')) {
741                 require_once($fullmod.'/db/install.php');
742                 $recover_install_function = 'xmldb_'.$module->name.'_install_recovery';
743                 if (function_exists($recover_install_function)) {
744                     $startcallback($component, true, $verbose);
745                     $recover_install_function();
746                     unset_config('installrunning', $module->name);
747                     // Install various components too
748                     update_capabilities($component);
749                     log_update_descriptions($component);
750                     external_update_descriptions($component);
751                     events_update_definition($component);
752                     \core\task\manager::reset_scheduled_tasks_for_component($component);
753                     message_update_providers($component);
754                     \core\message\inbound\manager::update_handlers_for_component($component);
755                     upgrade_plugin_mnet_functions($component);
756                     core_tag_area::reset_definitions_for_component($component);
757                     $endcallback($component, true, $verbose);
758                 }
759             }
760         }
762         if (empty($installedversion)) {
763             $startcallback($component, true, $verbose);
765         /// Execute install.xml (XMLDB) - must be present in all modules
766             $DB->get_manager()->install_from_xmldb_file($fullmod.'/db/install.xml');
768         /// Add record into modules table - may be needed in install.php already
769             $module->id = $DB->insert_record('modules', $module);
770             upgrade_mod_savepoint(true, $plugin->version, $module->name, false);
772         /// Post installation hook - optional
773             if (file_exists("$fullmod/db/install.php")) {
774                 require_once("$fullmod/db/install.php");
775                 // Set installation running flag, we need to recover after exception or error
776                 set_config('installrunning', 1, $module->name);
777                 $post_install_function = 'xmldb_'.$module->name.'_install';
778                 $post_install_function();
779                 unset_config('installrunning', $module->name);
780             }
782         /// Install various components
783             update_capabilities($component);
784             log_update_descriptions($component);
785             external_update_descriptions($component);
786             events_update_definition($component);
787             \core\task\manager::reset_scheduled_tasks_for_component($component);
788             message_update_providers($component);
789             \core\message\inbound\manager::update_handlers_for_component($component);
790             upgrade_plugin_mnet_functions($component);
791             core_tag_area::reset_definitions_for_component($component);
793             $endcallback($component, true, $verbose);
795         } else if ($installedversion < $plugin->version) {
796         /// If versions say that we need to upgrade but no upgrade files are available, notify and continue
797             $startcallback($component, false, $verbose);
799             if (is_readable($fullmod.'/db/upgrade.php')) {
800                 require_once($fullmod.'/db/upgrade.php');  // defines new upgrading function
801                 $newupgrade_function = 'xmldb_'.$module->name.'_upgrade';
802                 $result = $newupgrade_function($installedversion, $module);
803             } else {
804                 $result = true;
805             }
807             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
808             $currmodule = $DB->get_record('modules', array('name'=>$module->name));
809             if ($installedversion < $plugin->version) {
810                 // store version if not already there
811                 upgrade_mod_savepoint($result, $plugin->version, $mod, false);
812             }
814             // update cron flag if needed
815             if ($currmodule->cron != $module->cron) {
816                 $DB->set_field('modules', 'cron', $module->cron, array('name' => $module->name));
817             }
819             // Upgrade various components
820             update_capabilities($component);
821             log_update_descriptions($component);
822             external_update_descriptions($component);
823             events_update_definition($component);
824             \core\task\manager::reset_scheduled_tasks_for_component($component);
825             message_update_providers($component);
826             \core\message\inbound\manager::update_handlers_for_component($component);
827             upgrade_plugin_mnet_functions($component);
828             core_tag_area::reset_definitions_for_component($component);
830             $endcallback($component, false, $verbose);
832         } else if ($installedversion > $plugin->version) {
833             throw new downgrade_exception($component, $installedversion, $plugin->version);
834         }
835     }
839 /**
840  * This function finds all available blocks and install them
841  * into blocks table or do all the upgrade process if newer.
842  *
843  * @global object
844  * @global object
845  */
846 function upgrade_plugins_blocks($startcallback, $endcallback, $verbose) {
847     global $CFG, $DB;
849     require_once($CFG->dirroot.'/blocks/moodleblock.class.php');
851     $blocktitles   = array(); // we do not want duplicate titles
853     //Is this a first install
854     $first_install = null;
856     $blocks = core_component::get_plugin_list('block');
858     foreach ($blocks as $blockname=>$fullblock) {
860         if (is_null($first_install)) {
861             $first_install = ($DB->count_records('block_instances') == 0);
862         }
864         if ($blockname === 'NEWBLOCK') {   // Someone has unzipped the template, ignore it
865             continue;
866         }
868         $component = clean_param('block_'.$blockname, PARAM_COMPONENT);
870         // check block dir is valid name
871         if (empty($component)) {
872             throw new plugin_defective_exception('block_'.$blockname, 'Invalid plugin directory name.');
873         }
875         if (!is_readable($fullblock.'/version.php')) {
876             throw new plugin_defective_exception('block/'.$blockname, 'Missing version.php file.');
877         }
878         $plugin = new stdClass();
879         $plugin->version = null;
880         $plugin->cron    = 0;
881         $module = $plugin; // Prevent some notices when module placed in wrong directory.
882         include($fullblock.'/version.php');
883         unset($module);
884         $block = clone($plugin);
885         unset($block->version);
886         unset($block->component);
887         unset($block->dependencies);
888         unset($block->release);
890         if (empty($plugin->version)) {
891             throw new plugin_defective_exception($component, 'Missing block version number in version.php.');
892         }
894         if (empty($plugin->component)) {
895             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
896         }
898         if ($plugin->component !== $component) {
899             throw new plugin_misplaced_exception($plugin->component, null, $fullblock);
900         }
902         if (!empty($plugin->requires)) {
903             if ($plugin->requires > $CFG->version) {
904                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
905             } else if ($plugin->requires < 2010000000) {
906                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
907             }
908         }
910         if (!is_readable($fullblock.'/block_'.$blockname.'.php')) {
911             throw new plugin_defective_exception('block/'.$blockname, 'Missing main block class file.');
912         }
913         include_once($fullblock.'/block_'.$blockname.'.php');
915         $classname = 'block_'.$blockname;
917         if (!class_exists($classname)) {
918             throw new plugin_defective_exception($component, 'Can not load main class.');
919         }
921         $blockobj    = new $classname;   // This is what we'll be testing
922         $blocktitle  = $blockobj->get_title();
924         // OK, it's as we all hoped. For further tests, the object will do them itself.
925         if (!$blockobj->_self_test()) {
926             throw new plugin_defective_exception($component, 'Self test failed.');
927         }
929         $block->name     = $blockname;   // The name MUST match the directory
931         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
933         if (file_exists($fullblock.'/db/install.php')) {
934             if (get_config('block_'.$blockname, 'installrunning')) {
935                 require_once($fullblock.'/db/install.php');
936                 $recover_install_function = 'xmldb_block_'.$blockname.'_install_recovery';
937                 if (function_exists($recover_install_function)) {
938                     $startcallback($component, true, $verbose);
939                     $recover_install_function();
940                     unset_config('installrunning', 'block_'.$blockname);
941                     // Install various components
942                     update_capabilities($component);
943                     log_update_descriptions($component);
944                     external_update_descriptions($component);
945                     events_update_definition($component);
946                     \core\task\manager::reset_scheduled_tasks_for_component($component);
947                     message_update_providers($component);
948                     \core\message\inbound\manager::update_handlers_for_component($component);
949                     upgrade_plugin_mnet_functions($component);
950                     core_tag_area::reset_definitions_for_component($component);
951                     $endcallback($component, true, $verbose);
952                 }
953             }
954         }
956         if (empty($installedversion)) { // block not installed yet, so install it
957             $conflictblock = array_search($blocktitle, $blocktitles);
958             if ($conflictblock !== false) {
959                 // Duplicate block titles are not allowed, they confuse people
960                 // AND PHP's associative arrays ;)
961                 throw new plugin_defective_exception($component, get_string('blocknameconflict', 'error', (object)array('name'=>$block->name, 'conflict'=>$conflictblock)));
962             }
963             $startcallback($component, true, $verbose);
965             if (file_exists($fullblock.'/db/install.xml')) {
966                 $DB->get_manager()->install_from_xmldb_file($fullblock.'/db/install.xml');
967             }
968             $block->id = $DB->insert_record('block', $block);
969             upgrade_block_savepoint(true, $plugin->version, $block->name, false);
971             if (file_exists($fullblock.'/db/install.php')) {
972                 require_once($fullblock.'/db/install.php');
973                 // Set installation running flag, we need to recover after exception or error
974                 set_config('installrunning', 1, 'block_'.$blockname);
975                 $post_install_function = 'xmldb_block_'.$blockname.'_install';
976                 $post_install_function();
977                 unset_config('installrunning', 'block_'.$blockname);
978             }
980             $blocktitles[$block->name] = $blocktitle;
982             // Install various components
983             update_capabilities($component);
984             log_update_descriptions($component);
985             external_update_descriptions($component);
986             events_update_definition($component);
987             \core\task\manager::reset_scheduled_tasks_for_component($component);
988             message_update_providers($component);
989             \core\message\inbound\manager::update_handlers_for_component($component);
990             core_tag_area::reset_definitions_for_component($component);
991             upgrade_plugin_mnet_functions($component);
993             $endcallback($component, true, $verbose);
995         } else if ($installedversion < $plugin->version) {
996             $startcallback($component, false, $verbose);
998             if (is_readable($fullblock.'/db/upgrade.php')) {
999                 require_once($fullblock.'/db/upgrade.php');  // defines new upgrading function
1000                 $newupgrade_function = 'xmldb_block_'.$blockname.'_upgrade';
1001                 $result = $newupgrade_function($installedversion, $block);
1002             } else {
1003                 $result = true;
1004             }
1006             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
1007             $currblock = $DB->get_record('block', array('name'=>$block->name));
1008             if ($installedversion < $plugin->version) {
1009                 // store version if not already there
1010                 upgrade_block_savepoint($result, $plugin->version, $block->name, false);
1011             }
1013             if ($currblock->cron != $block->cron) {
1014                 // update cron flag if needed
1015                 $DB->set_field('block', 'cron', $block->cron, array('id' => $currblock->id));
1016             }
1018             // Upgrade various components
1019             update_capabilities($component);
1020             log_update_descriptions($component);
1021             external_update_descriptions($component);
1022             events_update_definition($component);
1023             \core\task\manager::reset_scheduled_tasks_for_component($component);
1024             message_update_providers($component);
1025             \core\message\inbound\manager::update_handlers_for_component($component);
1026             upgrade_plugin_mnet_functions($component);
1027             core_tag_area::reset_definitions_for_component($component);
1029             $endcallback($component, false, $verbose);
1031         } else if ($installedversion > $plugin->version) {
1032             throw new downgrade_exception($component, $installedversion, $plugin->version);
1033         }
1034     }
1037     // Finally, if we are in the first_install of BLOCKS setup frontpage and admin page blocks
1038     if ($first_install) {
1039         //Iterate over each course - there should be only site course here now
1040         if ($courses = $DB->get_records('course')) {
1041             foreach ($courses as $course) {
1042                 blocks_add_default_course_blocks($course);
1043             }
1044         }
1046         blocks_add_default_system_blocks();
1047     }
1051 /**
1052  * Log_display description function used during install and upgrade.
1053  *
1054  * @param string $component name of component (moodle, mod_assignment, etc.)
1055  * @return void
1056  */
1057 function log_update_descriptions($component) {
1058     global $DB;
1060     $defpath = core_component::get_component_directory($component).'/db/log.php';
1062     if (!file_exists($defpath)) {
1063         $DB->delete_records('log_display', array('component'=>$component));
1064         return;
1065     }
1067     // load new info
1068     $logs = array();
1069     include($defpath);
1070     $newlogs = array();
1071     foreach ($logs as $log) {
1072         $newlogs[$log['module'].'-'.$log['action']] = $log; // kind of unique name
1073     }
1074     unset($logs);
1075     $logs = $newlogs;
1077     $fields = array('module', 'action', 'mtable', 'field');
1078     // update all log fist
1079     $dblogs = $DB->get_records('log_display', array('component'=>$component));
1080     foreach ($dblogs as $dblog) {
1081         $name = $dblog->module.'-'.$dblog->action;
1083         if (empty($logs[$name])) {
1084             $DB->delete_records('log_display', array('id'=>$dblog->id));
1085             continue;
1086         }
1088         $log = $logs[$name];
1089         unset($logs[$name]);
1091         $update = false;
1092         foreach ($fields as $field) {
1093             if ($dblog->$field != $log[$field]) {
1094                 $dblog->$field = $log[$field];
1095                 $update = true;
1096             }
1097         }
1098         if ($update) {
1099             $DB->update_record('log_display', $dblog);
1100         }
1101     }
1102     foreach ($logs as $log) {
1103         $dblog = (object)$log;
1104         $dblog->component = $component;
1105         $DB->insert_record('log_display', $dblog);
1106     }
1109 /**
1110  * Web service discovery function used during install and upgrade.
1111  * @param string $component name of component (moodle, mod_assignment, etc.)
1112  * @return void
1113  */
1114 function external_update_descriptions($component) {
1115     global $DB, $CFG;
1117     $defpath = core_component::get_component_directory($component).'/db/services.php';
1119     if (!file_exists($defpath)) {
1120         require_once($CFG->dirroot.'/lib/externallib.php');
1121         external_delete_descriptions($component);
1122         return;
1123     }
1125     // load new info
1126     $functions = array();
1127     $services = array();
1128     include($defpath);
1130     // update all function fist
1131     $dbfunctions = $DB->get_records('external_functions', array('component'=>$component));
1132     foreach ($dbfunctions as $dbfunction) {
1133         if (empty($functions[$dbfunction->name])) {
1134             $DB->delete_records('external_functions', array('id'=>$dbfunction->id));
1135             // do not delete functions from external_services_functions, beacuse
1136             // we want to notify admins when functions used in custom services disappear
1138             //TODO: this looks wrong, we have to delete it eventually (skodak)
1139             continue;
1140         }
1142         $function = $functions[$dbfunction->name];
1143         unset($functions[$dbfunction->name]);
1144         $function['classpath'] = empty($function['classpath']) ? null : $function['classpath'];
1146         $update = false;
1147         if ($dbfunction->classname != $function['classname']) {
1148             $dbfunction->classname = $function['classname'];
1149             $update = true;
1150         }
1151         if ($dbfunction->methodname != $function['methodname']) {
1152             $dbfunction->methodname = $function['methodname'];
1153             $update = true;
1154         }
1155         if ($dbfunction->classpath != $function['classpath']) {
1156             $dbfunction->classpath = $function['classpath'];
1157             $update = true;
1158         }
1159         $functioncapabilities = array_key_exists('capabilities', $function)?$function['capabilities']:'';
1160         if ($dbfunction->capabilities != $functioncapabilities) {
1161             $dbfunction->capabilities = $functioncapabilities;
1162             $update = true;
1163         }
1165         if (isset($function['services']) and is_array($function['services'])) {
1166             sort($function['services']);
1167             $functionservices = implode(',', $function['services']);
1168         } else {
1169             // Force null values in the DB.
1170             $functionservices = null;
1171         }
1173         if ($dbfunction->services != $functionservices) {
1174             // Now, we need to check if services were removed, in that case we need to remove the function from them.
1175             $servicesremoved = array_diff(explode(",", $dbfunction->services), explode(",", $functionservices));
1176             foreach ($servicesremoved as $removedshortname) {
1177                 if ($externalserviceid = $DB->get_field('external_services', 'id', array("shortname" => $removedshortname))) {
1178                     $DB->delete_records('external_services_functions', array('functionname' => $dbfunction->name,
1179                                                                                 'externalserviceid' => $externalserviceid));
1180                 }
1181             }
1183             $dbfunction->services = $functionservices;
1184             $update = true;
1185         }
1186         if ($update) {
1187             $DB->update_record('external_functions', $dbfunction);
1188         }
1189     }
1190     foreach ($functions as $fname => $function) {
1191         $dbfunction = new stdClass();
1192         $dbfunction->name       = $fname;
1193         $dbfunction->classname  = $function['classname'];
1194         $dbfunction->methodname = $function['methodname'];
1195         $dbfunction->classpath  = empty($function['classpath']) ? null : $function['classpath'];
1196         $dbfunction->component  = $component;
1197         $dbfunction->capabilities = array_key_exists('capabilities', $function)?$function['capabilities']:'';
1199         if (isset($function['services']) and is_array($function['services'])) {
1200             sort($function['services']);
1201             $dbfunction->services = implode(',', $function['services']);
1202         } else {
1203             // Force null values in the DB.
1204             $dbfunction->services = null;
1205         }
1207         $dbfunction->id = $DB->insert_record('external_functions', $dbfunction);
1208     }
1209     unset($functions);
1211     // now deal with services
1212     $dbservices = $DB->get_records('external_services', array('component'=>$component));
1213     foreach ($dbservices as $dbservice) {
1214         if (empty($services[$dbservice->name])) {
1215             $DB->delete_records('external_tokens', array('externalserviceid'=>$dbservice->id));
1216             $DB->delete_records('external_services_functions', array('externalserviceid'=>$dbservice->id));
1217             $DB->delete_records('external_services_users', array('externalserviceid'=>$dbservice->id));
1218             $DB->delete_records('external_services', array('id'=>$dbservice->id));
1219             continue;
1220         }
1221         $service = $services[$dbservice->name];
1222         unset($services[$dbservice->name]);
1223         $service['enabled'] = empty($service['enabled']) ? 0 : $service['enabled'];
1224         $service['requiredcapability'] = empty($service['requiredcapability']) ? null : $service['requiredcapability'];
1225         $service['restrictedusers'] = !isset($service['restrictedusers']) ? 1 : $service['restrictedusers'];
1226         $service['downloadfiles'] = !isset($service['downloadfiles']) ? 0 : $service['downloadfiles'];
1227         $service['uploadfiles'] = !isset($service['uploadfiles']) ? 0 : $service['uploadfiles'];
1228         $service['shortname'] = !isset($service['shortname']) ? null : $service['shortname'];
1230         $update = false;
1231         if ($dbservice->requiredcapability != $service['requiredcapability']) {
1232             $dbservice->requiredcapability = $service['requiredcapability'];
1233             $update = true;
1234         }
1235         if ($dbservice->restrictedusers != $service['restrictedusers']) {
1236             $dbservice->restrictedusers = $service['restrictedusers'];
1237             $update = true;
1238         }
1239         if ($dbservice->downloadfiles != $service['downloadfiles']) {
1240             $dbservice->downloadfiles = $service['downloadfiles'];
1241             $update = true;
1242         }
1243         if ($dbservice->uploadfiles != $service['uploadfiles']) {
1244             $dbservice->uploadfiles = $service['uploadfiles'];
1245             $update = true;
1246         }
1247         //if shortname is not a PARAM_ALPHANUMEXT, fail (tested here for service update and creation)
1248         if (isset($service['shortname']) and
1249                 (clean_param($service['shortname'], PARAM_ALPHANUMEXT) != $service['shortname'])) {
1250             throw new moodle_exception('installserviceshortnameerror', 'webservice', '', $service['shortname']);
1251         }
1252         if ($dbservice->shortname != $service['shortname']) {
1253             //check that shortname is unique
1254             if (isset($service['shortname'])) { //we currently accepts multiple shortname == null
1255                 $existingservice = $DB->get_record('external_services',
1256                         array('shortname' => $service['shortname']));
1257                 if (!empty($existingservice)) {
1258                     throw new moodle_exception('installexistingserviceshortnameerror', 'webservice', '', $service['shortname']);
1259                 }
1260             }
1261             $dbservice->shortname = $service['shortname'];
1262             $update = true;
1263         }
1264         if ($update) {
1265             $DB->update_record('external_services', $dbservice);
1266         }
1268         $functions = $DB->get_records('external_services_functions', array('externalserviceid'=>$dbservice->id));
1269         foreach ($functions as $function) {
1270             $key = array_search($function->functionname, $service['functions']);
1271             if ($key === false) {
1272                 $DB->delete_records('external_services_functions', array('id'=>$function->id));
1273             } else {
1274                 unset($service['functions'][$key]);
1275             }
1276         }
1277         foreach ($service['functions'] as $fname) {
1278             $newf = new stdClass();
1279             $newf->externalserviceid = $dbservice->id;
1280             $newf->functionname      = $fname;
1281             $DB->insert_record('external_services_functions', $newf);
1282         }
1283         unset($functions);
1284     }
1285     foreach ($services as $name => $service) {
1286         //check that shortname is unique
1287         if (isset($service['shortname'])) { //we currently accepts multiple shortname == null
1288             $existingservice = $DB->get_record('external_services',
1289                     array('shortname' => $service['shortname']));
1290             if (!empty($existingservice)) {
1291                 throw new moodle_exception('installserviceshortnameerror', 'webservice');
1292             }
1293         }
1295         $dbservice = new stdClass();
1296         $dbservice->name               = $name;
1297         $dbservice->enabled            = empty($service['enabled']) ? 0 : $service['enabled'];
1298         $dbservice->requiredcapability = empty($service['requiredcapability']) ? null : $service['requiredcapability'];
1299         $dbservice->restrictedusers    = !isset($service['restrictedusers']) ? 1 : $service['restrictedusers'];
1300         $dbservice->downloadfiles      = !isset($service['downloadfiles']) ? 0 : $service['downloadfiles'];
1301         $dbservice->uploadfiles        = !isset($service['uploadfiles']) ? 0 : $service['uploadfiles'];
1302         $dbservice->shortname          = !isset($service['shortname']) ? null : $service['shortname'];
1303         $dbservice->component          = $component;
1304         $dbservice->timecreated        = time();
1305         $dbservice->id = $DB->insert_record('external_services', $dbservice);
1306         foreach ($service['functions'] as $fname) {
1307             $newf = new stdClass();
1308             $newf->externalserviceid = $dbservice->id;
1309             $newf->functionname      = $fname;
1310             $DB->insert_record('external_services_functions', $newf);
1311         }
1312     }
1315 /**
1316  * Allow plugins and subsystems to add external functions to other plugins or built-in services.
1317  * This function is executed just after all the plugins have been updated.
1318  */
1319 function external_update_services() {
1320     global $DB;
1322     // Look for external functions that want to be added in existing services.
1323     $functions = $DB->get_records_select('external_functions', 'services IS NOT NULL');
1325     $servicescache = array();
1326     foreach ($functions as $function) {
1327         // Prevent edge cases.
1328         if (empty($function->services)) {
1329             continue;
1330         }
1331         $services = explode(',', $function->services);
1333         foreach ($services as $serviceshortname) {
1334             // Get the service id by shortname.
1335             if (!empty($servicescache[$serviceshortname])) {
1336                 $serviceid = $servicescache[$serviceshortname];
1337             } else if ($service = $DB->get_record('external_services', array('shortname' => $serviceshortname))) {
1338                 // If the component is empty, it means that is not a built-in service.
1339                 // We don't allow functions to inject themselves in services created by an user in Moodle.
1340                 if (empty($service->component)) {
1341                     continue;
1342                 }
1343                 $serviceid = $service->id;
1344                 $servicescache[$serviceshortname] = $serviceid;
1345             } else {
1346                 // Service not found.
1347                 continue;
1348             }
1349             // Finally add the function to the service.
1350             $newf = new stdClass();
1351             $newf->externalserviceid = $serviceid;
1352             $newf->functionname      = $function->name;
1354             if (!$DB->record_exists('external_services_functions', (array)$newf)) {
1355                 $DB->insert_record('external_services_functions', $newf);
1356             }
1357         }
1358     }
1361 /**
1362  * upgrade logging functions
1363  */
1364 function upgrade_handle_exception($ex, $plugin = null) {
1365     global $CFG;
1367     // rollback everything, we need to log all upgrade problems
1368     abort_all_db_transactions();
1370     $info = get_exception_info($ex);
1372     // First log upgrade error
1373     upgrade_log(UPGRADE_LOG_ERROR, $plugin, 'Exception: ' . get_class($ex), $info->message, $info->backtrace);
1375     // Always turn on debugging - admins need to know what is going on
1376     set_debugging(DEBUG_DEVELOPER, true);
1378     default_exception_handler($ex, true, $plugin);
1381 /**
1382  * Adds log entry into upgrade_log table
1383  *
1384  * @param int $type UPGRADE_LOG_NORMAL, UPGRADE_LOG_NOTICE or UPGRADE_LOG_ERROR
1385  * @param string $plugin frankenstyle component name
1386  * @param string $info short description text of log entry
1387  * @param string $details long problem description
1388  * @param string $backtrace string used for errors only
1389  * @return void
1390  */
1391 function upgrade_log($type, $plugin, $info, $details=null, $backtrace=null) {
1392     global $DB, $USER, $CFG;
1394     if (empty($plugin)) {
1395         $plugin = 'core';
1396     }
1398     list($plugintype, $pluginname) = core_component::normalize_component($plugin);
1399     $component = is_null($pluginname) ? $plugintype : $plugintype . '_' . $pluginname;
1401     $backtrace = format_backtrace($backtrace, true);
1403     $currentversion = null;
1404     $targetversion  = null;
1406     //first try to find out current version number
1407     if ($plugintype === 'core') {
1408         //main
1409         $currentversion = $CFG->version;
1411         $version = null;
1412         include("$CFG->dirroot/version.php");
1413         $targetversion = $version;
1415     } else {
1416         $pluginversion = get_config($component, 'version');
1417         if (!empty($pluginversion)) {
1418             $currentversion = $pluginversion;
1419         }
1420         $cd = core_component::get_component_directory($component);
1421         if (file_exists("$cd/version.php")) {
1422             $plugin = new stdClass();
1423             $plugin->version = null;
1424             $module = $plugin;
1425             include("$cd/version.php");
1426             $targetversion = $plugin->version;
1427         }
1428     }
1430     $log = new stdClass();
1431     $log->type          = $type;
1432     $log->plugin        = $component;
1433     $log->version       = $currentversion;
1434     $log->targetversion = $targetversion;
1435     $log->info          = $info;
1436     $log->details       = $details;
1437     $log->backtrace     = $backtrace;
1438     $log->userid        = $USER->id;
1439     $log->timemodified  = time();
1440     try {
1441         $DB->insert_record('upgrade_log', $log);
1442     } catch (Exception $ignored) {
1443         // possible during install or 2.0 upgrade
1444     }
1447 /**
1448  * Marks start of upgrade, blocks any other access to site.
1449  * The upgrade is finished at the end of script or after timeout.
1450  *
1451  * @global object
1452  * @global object
1453  * @global object
1454  */
1455 function upgrade_started($preinstall=false) {
1456     global $CFG, $DB, $PAGE, $OUTPUT;
1458     static $started = false;
1460     if ($preinstall) {
1461         ignore_user_abort(true);
1462         upgrade_setup_debug(true);
1464     } else if ($started) {
1465         upgrade_set_timeout(120);
1467     } else {
1468         if (!CLI_SCRIPT and !$PAGE->headerprinted) {
1469             $strupgrade  = get_string('upgradingversion', 'admin');
1470             $PAGE->set_pagelayout('maintenance');
1471             upgrade_init_javascript();
1472             $PAGE->set_title($strupgrade.' - Moodle '.$CFG->target_release);
1473             $PAGE->set_heading($strupgrade);
1474             $PAGE->navbar->add($strupgrade);
1475             $PAGE->set_cacheable(false);
1476             echo $OUTPUT->header();
1477         }
1479         ignore_user_abort(true);
1480         core_shutdown_manager::register_function('upgrade_finished_handler');
1481         upgrade_setup_debug(true);
1482         set_config('upgraderunning', time()+300);
1483         $started = true;
1484     }
1487 /**
1488  * Internal function - executed if upgrade interrupted.
1489  */
1490 function upgrade_finished_handler() {
1491     upgrade_finished();
1494 /**
1495  * Indicates upgrade is finished.
1496  *
1497  * This function may be called repeatedly.
1498  *
1499  * @global object
1500  * @global object
1501  */
1502 function upgrade_finished($continueurl=null) {
1503     global $CFG, $DB, $OUTPUT;
1505     if (!empty($CFG->upgraderunning)) {
1506         unset_config('upgraderunning');
1507         // We have to forcefully purge the caches using the writer here.
1508         // This has to be done after we unset the config var. If someone hits the site while this is set they will
1509         // cause the config values to propogate to the caches.
1510         // Caches are purged after the last step in an upgrade but there is several code routines that exceute between
1511         // then and now that leaving a window for things to fall out of sync.
1512         cache_helper::purge_all(true);
1513         upgrade_setup_debug(false);
1514         ignore_user_abort(false);
1515         if ($continueurl) {
1516             echo $OUTPUT->continue_button($continueurl);
1517             echo $OUTPUT->footer();
1518             die;
1519         }
1520     }
1523 /**
1524  * @global object
1525  * @global object
1526  */
1527 function upgrade_setup_debug($starting) {
1528     global $CFG, $DB;
1530     static $originaldebug = null;
1532     if ($starting) {
1533         if ($originaldebug === null) {
1534             $originaldebug = $DB->get_debug();
1535         }
1536         if (!empty($CFG->upgradeshowsql)) {
1537             $DB->set_debug(true);
1538         }
1539     } else {
1540         $DB->set_debug($originaldebug);
1541     }
1544 function print_upgrade_separator() {
1545     if (!CLI_SCRIPT) {
1546         echo '<hr />';
1547     }
1550 /**
1551  * Default start upgrade callback
1552  * @param string $plugin
1553  * @param bool $installation true if installation, false means upgrade
1554  */
1555 function print_upgrade_part_start($plugin, $installation, $verbose) {
1556     global $OUTPUT;
1557     if (empty($plugin) or $plugin == 'moodle') {
1558         upgrade_started($installation); // does not store upgrade running flag yet
1559         if ($verbose) {
1560             echo $OUTPUT->heading(get_string('coresystem'));
1561         }
1562     } else {
1563         upgrade_started();
1564         if ($verbose) {
1565             echo $OUTPUT->heading($plugin);
1566         }
1567     }
1568     if ($installation) {
1569         if (empty($plugin) or $plugin == 'moodle') {
1570             // no need to log - log table not yet there ;-)
1571         } else {
1572             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting plugin installation');
1573         }
1574     } else {
1575         core_upgrade_time::record_start();
1576         if (empty($plugin) or $plugin == 'moodle') {
1577             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting core upgrade');
1578         } else {
1579             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting plugin upgrade');
1580         }
1581     }
1584 /**
1585  * Default end upgrade callback
1586  * @param string $plugin
1587  * @param bool $installation true if installation, false means upgrade
1588  */
1589 function print_upgrade_part_end($plugin, $installation, $verbose) {
1590     global $OUTPUT;
1591     upgrade_started();
1592     if ($installation) {
1593         if (empty($plugin) or $plugin == 'moodle') {
1594             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Core installed');
1595         } else {
1596             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Plugin installed');
1597         }
1598     } else {
1599         if (empty($plugin) or $plugin == 'moodle') {
1600             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Core upgraded');
1601         } else {
1602             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Plugin upgraded');
1603         }
1604     }
1605     if ($verbose) {
1606         if ($installation) {
1607             $message = get_string('success');
1608         } else {
1609             $duration = core_upgrade_time::get_elapsed();
1610             $message = get_string('successduration', '', format_float($duration, 2));
1611         }
1612         $notification = new \core\output\notification($message, \core\output\notification::NOTIFY_SUCCESS);
1613         $notification->set_show_closebutton(false);
1614         echo $OUTPUT->render($notification);
1615         print_upgrade_separator();
1616     }
1619 /**
1620  * Sets up JS code required for all upgrade scripts.
1621  * @global object
1622  */
1623 function upgrade_init_javascript() {
1624     global $PAGE;
1625     // scroll to the end of each upgrade page so that ppl see either error or continue button,
1626     // no need to scroll continuously any more, it is enough to jump to end once the footer is printed ;-)
1627     $js = "window.scrollTo(0, 5000000);";
1628     $PAGE->requires->js_init_code($js);
1631 /**
1632  * Try to upgrade the given language pack (or current language)
1633  *
1634  * @param string $lang the code of the language to update, defaults to the current language
1635  */
1636 function upgrade_language_pack($lang = null) {
1637     global $CFG;
1639     if (!empty($CFG->skiplangupgrade)) {
1640         return;
1641     }
1643     if (!file_exists("$CFG->dirroot/$CFG->admin/tool/langimport/lib.php")) {
1644         // weird, somebody uninstalled the import utility
1645         return;
1646     }
1648     if (!$lang) {
1649         $lang = current_language();
1650     }
1652     if (!get_string_manager()->translation_exists($lang)) {
1653         return;
1654     }
1656     get_string_manager()->reset_caches();
1658     if ($lang === 'en') {
1659         return;  // Nothing to do
1660     }
1662     upgrade_started(false);
1664     require_once("$CFG->dirroot/$CFG->admin/tool/langimport/lib.php");
1665     tool_langimport_preupgrade_update($lang);
1667     get_string_manager()->reset_caches();
1669     print_upgrade_separator();
1672 /**
1673  * Build the current theme so that the user doesn't have to wait for it
1674  * to build on the first page load after the install / upgrade.
1675  */
1676 function upgrade_themes() {
1677     global $CFG;
1679     require_once("{$CFG->libdir}/outputlib.php");
1681     // Build the current theme so that the user can immediately
1682     // browse the site without having to wait for the theme to build.
1683     $themeconfig = theme_config::load($CFG->theme);
1684     $direction = right_to_left() ? 'rtl' : 'ltr';
1685     theme_build_css_for_themes([$themeconfig], [$direction]);
1687     // Only queue the task if there isn't already one queued.
1688     if (empty(\core\task\manager::get_adhoc_tasks('\\core\\task\\build_installed_themes_task'))) {
1689         // Queue a task to build all of the site themes at some point
1690         // later. These can happen offline because it doesn't block the
1691         // user unless they quickly change theme.
1692         $adhoctask = new \core\task\build_installed_themes_task();
1693         \core\task\manager::queue_adhoc_task($adhoctask);
1694     }
1697 /**
1698  * Install core moodle tables and initialize
1699  * @param float $version target version
1700  * @param bool $verbose
1701  * @return void, may throw exception
1702  */
1703 function install_core($version, $verbose) {
1704     global $CFG, $DB;
1706     // We can not call purge_all_caches() yet, make sure the temp and cache dirs exist and are empty.
1707     remove_dir($CFG->cachedir.'', true);
1708     make_cache_directory('', true);
1710     remove_dir($CFG->localcachedir.'', true);
1711     make_localcache_directory('', true);
1713     remove_dir($CFG->tempdir.'', true);
1714     make_temp_directory('', true);
1716     remove_dir($CFG->dataroot.'/muc', true);
1717     make_writable_directory($CFG->dataroot.'/muc', true);
1719     try {
1720         core_php_time_limit::raise(600);
1721         print_upgrade_part_start('moodle', true, $verbose); // does not store upgrade running flag
1723         $DB->get_manager()->install_from_xmldb_file("$CFG->libdir/db/install.xml");
1724         upgrade_started();     // we want the flag to be stored in config table ;-)
1726         // set all core default records and default settings
1727         require_once("$CFG->libdir/db/install.php");
1728         xmldb_main_install(); // installs the capabilities too
1730         // store version
1731         upgrade_main_savepoint(true, $version, false);
1733         // Continue with the installation
1734         log_update_descriptions('moodle');
1735         external_update_descriptions('moodle');
1736         events_update_definition('moodle');
1737         \core\task\manager::reset_scheduled_tasks_for_component('moodle');
1738         message_update_providers('moodle');
1739         \core\message\inbound\manager::update_handlers_for_component('moodle');
1740         core_tag_area::reset_definitions_for_component('moodle');
1742         // Write default settings unconditionally
1743         admin_apply_default_settings(NULL, true);
1745         print_upgrade_part_end(null, true, $verbose);
1747         // Purge all caches. They're disabled but this ensures that we don't have any persistent data just in case something
1748         // during installation didn't use APIs.
1749         cache_helper::purge_all();
1750     } catch (exception $ex) {
1751         upgrade_handle_exception($ex);
1752     } catch (Throwable $ex) {
1753         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1754         upgrade_handle_exception($ex);
1755     }
1758 /**
1759  * Upgrade moodle core
1760  * @param float $version target version
1761  * @param bool $verbose
1762  * @return void, may throw exception
1763  */
1764 function upgrade_core($version, $verbose) {
1765     global $CFG, $SITE, $DB, $COURSE;
1767     raise_memory_limit(MEMORY_EXTRA);
1769     require_once($CFG->libdir.'/db/upgrade.php');    // Defines upgrades
1771     try {
1772         // Reset caches before any output.
1773         cache_helper::purge_all(true);
1774         purge_all_caches();
1776         // Upgrade current language pack if we can
1777         upgrade_language_pack();
1779         print_upgrade_part_start('moodle', false, $verbose);
1781         // Pre-upgrade scripts for local hack workarounds.
1782         $preupgradefile = "$CFG->dirroot/local/preupgrade.php";
1783         if (file_exists($preupgradefile)) {
1784             core_php_time_limit::raise();
1785             require($preupgradefile);
1786             // Reset upgrade timeout to default.
1787             upgrade_set_timeout();
1788         }
1790         $result = xmldb_main_upgrade($CFG->version);
1791         if ($version > $CFG->version) {
1792             // store version if not already there
1793             upgrade_main_savepoint($result, $version, false);
1794         }
1796         // In case structure of 'course' table has been changed and we forgot to update $SITE, re-read it from db.
1797         $SITE = $DB->get_record('course', array('id' => $SITE->id));
1798         $COURSE = clone($SITE);
1800         // perform all other component upgrade routines
1801         update_capabilities('moodle');
1802         log_update_descriptions('moodle');
1803         external_update_descriptions('moodle');
1804         events_update_definition('moodle');
1805         \core\task\manager::reset_scheduled_tasks_for_component('moodle');
1806         message_update_providers('moodle');
1807         \core\message\inbound\manager::update_handlers_for_component('moodle');
1808         core_tag_area::reset_definitions_for_component('moodle');
1809         // Update core definitions.
1810         cache_helper::update_definitions(true);
1812         // Purge caches again, just to be sure we arn't holding onto old stuff now.
1813         cache_helper::purge_all(true);
1814         purge_all_caches();
1816         // Clean up contexts - more and more stuff depends on existence of paths and contexts
1817         context_helper::cleanup_instances();
1818         context_helper::create_instances(null, false);
1819         context_helper::build_all_paths(false);
1820         $syscontext = context_system::instance();
1821         $syscontext->mark_dirty();
1823         print_upgrade_part_end('moodle', false, $verbose);
1824     } catch (Exception $ex) {
1825         upgrade_handle_exception($ex);
1826     } catch (Throwable $ex) {
1827         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1828         upgrade_handle_exception($ex);
1829     }
1832 /**
1833  * Upgrade/install other parts of moodle
1834  * @param bool $verbose
1835  * @return void, may throw exception
1836  */
1837 function upgrade_noncore($verbose) {
1838     global $CFG;
1840     raise_memory_limit(MEMORY_EXTRA);
1842     // upgrade all plugins types
1843     try {
1844         // Reset caches before any output.
1845         cache_helper::purge_all(true);
1846         purge_all_caches();
1848         $plugintypes = core_component::get_plugin_types();
1849         foreach ($plugintypes as $type=>$location) {
1850             upgrade_plugins($type, 'print_upgrade_part_start', 'print_upgrade_part_end', $verbose);
1851         }
1852         // Upgrade services.
1853         // This function gives plugins and subsystems a chance to add functions to existing built-in services.
1854         external_update_services();
1856         // Update cache definitions. Involves scanning each plugin for any changes.
1857         cache_helper::update_definitions();
1858         // Mark the site as upgraded.
1859         set_config('allversionshash', core_component::get_all_versions_hash());
1861         // Purge caches again, just to be sure we arn't holding onto old stuff now.
1862         cache_helper::purge_all(true);
1863         purge_all_caches();
1865     } catch (Exception $ex) {
1866         upgrade_handle_exception($ex);
1867     } catch (Throwable $ex) {
1868         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1869         upgrade_handle_exception($ex);
1870     }
1873 /**
1874  * Checks if the main tables have been installed yet or not.
1875  *
1876  * Note: we can not use caches here because they might be stale,
1877  *       use with care!
1878  *
1879  * @return bool
1880  */
1881 function core_tables_exist() {
1882     global $DB;
1884     if (!$tables = $DB->get_tables(false) ) {    // No tables yet at all.
1885         return false;
1887     } else {                                 // Check for missing main tables
1888         $mtables = array('config', 'course', 'groupings'); // some tables used in 1.9 and 2.0, preferable something from the start and end of install.xml
1889         foreach ($mtables as $mtable) {
1890             if (!in_array($mtable, $tables)) {
1891                 return false;
1892             }
1893         }
1894         return true;
1895     }
1898 /**
1899  * upgrades the mnet rpc definitions for the given component.
1900  * this method doesn't return status, an exception will be thrown in the case of an error
1901  *
1902  * @param string $component the plugin to upgrade, eg auth_mnet
1903  */
1904 function upgrade_plugin_mnet_functions($component) {
1905     global $DB, $CFG;
1907     list($type, $plugin) = core_component::normalize_component($component);
1908     $path = core_component::get_plugin_directory($type, $plugin);
1910     $publishes = array();
1911     $subscribes = array();
1912     if (file_exists($path . '/db/mnet.php')) {
1913         require_once($path . '/db/mnet.php'); // $publishes comes from this file
1914     }
1915     if (empty($publishes)) {
1916         $publishes = array(); // still need this to be able to disable stuff later
1917     }
1918     if (empty($subscribes)) {
1919         $subscribes = array(); // still need this to be able to disable stuff later
1920     }
1922     static $servicecache = array();
1924     // rekey an array based on the rpc method for easy lookups later
1925     $publishmethodservices = array();
1926     $subscribemethodservices = array();
1927     foreach($publishes as $servicename => $service) {
1928         if (is_array($service['methods'])) {
1929             foreach($service['methods'] as $methodname) {
1930                 $service['servicename'] = $servicename;
1931                 $publishmethodservices[$methodname][] = $service;
1932             }
1933         }
1934     }
1936     // Disable functions that don't exist (any more) in the source
1937     // Should these be deleted? What about their permissions records?
1938     foreach ($DB->get_records('mnet_rpc', array('pluginname'=>$plugin, 'plugintype'=>$type), 'functionname ASC ') as $rpc) {
1939         if (!array_key_exists($rpc->functionname, $publishmethodservices) && $rpc->enabled) {
1940             $DB->set_field('mnet_rpc', 'enabled', 0, array('id' => $rpc->id));
1941         } else if (array_key_exists($rpc->functionname, $publishmethodservices) && !$rpc->enabled) {
1942             $DB->set_field('mnet_rpc', 'enabled', 1, array('id' => $rpc->id));
1943         }
1944     }
1946     // reflect all the services we're publishing and save them
1947     static $cachedclasses = array(); // to store reflection information in
1948     foreach ($publishes as $service => $data) {
1949         $f = $data['filename'];
1950         $c = $data['classname'];
1951         foreach ($data['methods'] as $method) {
1952             $dataobject = new stdClass();
1953             $dataobject->plugintype  = $type;
1954             $dataobject->pluginname  = $plugin;
1955             $dataobject->enabled     = 1;
1956             $dataobject->classname   = $c;
1957             $dataobject->filename    = $f;
1959             if (is_string($method)) {
1960                 $dataobject->functionname = $method;
1962             } else if (is_array($method)) { // wants to override file or class
1963                 $dataobject->functionname = $method['method'];
1964                 $dataobject->classname     = $method['classname'];
1965                 $dataobject->filename      = $method['filename'];
1966             }
1967             $dataobject->xmlrpcpath = $type.'/'.$plugin.'/'.$dataobject->filename.'/'.$method;
1968             $dataobject->static = false;
1970             require_once($path . '/' . $dataobject->filename);
1971             $functionreflect = null; // slightly different ways to get this depending on whether it's a class method or a function
1972             if (!empty($dataobject->classname)) {
1973                 if (!class_exists($dataobject->classname)) {
1974                     throw new moodle_exception('installnosuchmethod', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname));
1975                 }
1976                 $key = $dataobject->filename . '|' . $dataobject->classname;
1977                 if (!array_key_exists($key, $cachedclasses)) { // look to see if we've already got a reflection object
1978                     try {
1979                         $cachedclasses[$key] = new ReflectionClass($dataobject->classname);
1980                     } catch (ReflectionException $e) { // catch these and rethrow them to something more helpful
1981                         throw new moodle_exception('installreflectionclasserror', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname, 'error' => $e->getMessage()));
1982                     }
1983                 }
1984                 $r =& $cachedclasses[$key];
1985                 if (!$r->hasMethod($dataobject->functionname)) {
1986                     throw new moodle_exception('installnosuchmethod', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname));
1987                 }
1988                 $functionreflect = $r->getMethod($dataobject->functionname);
1989                 $dataobject->static = (int)$functionreflect->isStatic();
1990             } else {
1991                 if (!function_exists($dataobject->functionname)) {
1992                     throw new moodle_exception('installnosuchfunction', 'mnet', '', (object)array('method' => $dataobject->functionname, 'file' => $dataobject->filename));
1993                 }
1994                 try {
1995                     $functionreflect = new ReflectionFunction($dataobject->functionname);
1996                 } catch (ReflectionException $e) { // catch these and rethrow them to something more helpful
1997                     throw new moodle_exception('installreflectionfunctionerror', 'mnet', '', (object)array('method' => $dataobject->functionname, '' => $dataobject->filename, 'error' => $e->getMessage()));
1998                 }
1999             }
2000             $dataobject->profile =  serialize(admin_mnet_method_profile($functionreflect));
2001             $dataobject->help = admin_mnet_method_get_help($functionreflect);
2003             if ($record_exists = $DB->get_record('mnet_rpc', array('xmlrpcpath'=>$dataobject->xmlrpcpath))) {
2004                 $dataobject->id      = $record_exists->id;
2005                 $dataobject->enabled = $record_exists->enabled;
2006                 $DB->update_record('mnet_rpc', $dataobject);
2007             } else {
2008                 $dataobject->id = $DB->insert_record('mnet_rpc', $dataobject, true);
2009             }
2011             // TODO this API versioning must be reworked, here the recently processed method
2012             // sets the service API which may not be correct
2013             foreach ($publishmethodservices[$dataobject->functionname] as $service) {
2014                 if ($serviceobj = $DB->get_record('mnet_service', array('name'=>$service['servicename']))) {
2015                     $serviceobj->apiversion = $service['apiversion'];
2016                     $DB->update_record('mnet_service', $serviceobj);
2017                 } else {
2018                     $serviceobj = new stdClass();
2019                     $serviceobj->name        = $service['servicename'];
2020                     $serviceobj->description = empty($service['description']) ? '' : $service['description'];
2021                     $serviceobj->apiversion  = $service['apiversion'];
2022                     $serviceobj->offer       = 1;
2023                     $serviceobj->id          = $DB->insert_record('mnet_service', $serviceobj);
2024                 }
2025                 $servicecache[$service['servicename']] = $serviceobj;
2026                 if (!$DB->record_exists('mnet_service2rpc', array('rpcid'=>$dataobject->id, 'serviceid'=>$serviceobj->id))) {
2027                     $obj = new stdClass();
2028                     $obj->rpcid = $dataobject->id;
2029                     $obj->serviceid = $serviceobj->id;
2030                     $DB->insert_record('mnet_service2rpc', $obj, true);
2031                 }
2032             }
2033         }
2034     }
2035     // finished with methods we publish, now do subscribable methods
2036     foreach($subscribes as $service => $methods) {
2037         if (!array_key_exists($service, $servicecache)) {
2038             if (!$serviceobj = $DB->get_record('mnet_service', array('name' =>  $service))) {
2039                 debugging("TODO: skipping unknown service $service - somebody needs to fix MDL-21993");
2040                 continue;
2041             }
2042             $servicecache[$service] = $serviceobj;
2043         } else {
2044             $serviceobj = $servicecache[$service];
2045         }
2046         foreach ($methods as $method => $xmlrpcpath) {
2047             if (!$rpcid = $DB->get_field('mnet_remote_rpc', 'id', array('xmlrpcpath'=>$xmlrpcpath))) {
2048                 $remoterpc = (object)array(
2049                     'functionname' => $method,
2050                     'xmlrpcpath' => $xmlrpcpath,
2051                     'plugintype' => $type,
2052                     'pluginname' => $plugin,
2053                     'enabled'    => 1,
2054                 );
2055                 $rpcid = $remoterpc->id = $DB->insert_record('mnet_remote_rpc', $remoterpc, true);
2056             }
2057             if (!$DB->record_exists('mnet_remote_service2rpc', array('rpcid'=>$rpcid, 'serviceid'=>$serviceobj->id))) {
2058                 $obj = new stdClass();
2059                 $obj->rpcid = $rpcid;
2060                 $obj->serviceid = $serviceobj->id;
2061                 $DB->insert_record('mnet_remote_service2rpc', $obj, true);
2062             }
2063             $subscribemethodservices[$method][] = $service;
2064         }
2065     }
2067     foreach ($DB->get_records('mnet_remote_rpc', array('pluginname'=>$plugin, 'plugintype'=>$type), 'functionname ASC ') as $rpc) {
2068         if (!array_key_exists($rpc->functionname, $subscribemethodservices) && $rpc->enabled) {
2069             $DB->set_field('mnet_remote_rpc', 'enabled', 0, array('id' => $rpc->id));
2070         } else if (array_key_exists($rpc->functionname, $subscribemethodservices) && !$rpc->enabled) {
2071             $DB->set_field('mnet_remote_rpc', 'enabled', 1, array('id' => $rpc->id));
2072         }
2073     }
2075     return true;
2078 /**
2079  * Given some sort of reflection function/method object, return a profile array, ready to be serialized and stored
2080  *
2081  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2082  *
2083  * @return array associative array with function/method information
2084  */
2085 function admin_mnet_method_profile(ReflectionFunctionAbstract $function) {
2086     $commentlines = admin_mnet_method_get_docblock($function);
2087     $getkey = function($key) use ($commentlines) {
2088         return array_values(array_filter($commentlines, function($line) use ($key) {
2089             return $line[0] == $key;
2090         }));
2091     };
2092     $returnline = $getkey('@return');
2093     return array (
2094         'parameters' => array_map(function($line) {
2095             return array(
2096                 'name' => trim($line[2], " \t\n\r\0\x0B$"),
2097                 'type' => $line[1],
2098                 'description' => $line[3]
2099             );
2100         }, $getkey('@param')),
2102         'return' => array(
2103             'type' => !empty($returnline[0][1]) ? $returnline[0][1] : 'void',
2104             'description' => !empty($returnline[0][2]) ? $returnline[0][2] : ''
2105         )
2106     );
2109 /**
2110  * Given some sort of reflection function/method object, return an array of docblock lines, where each line is an array of
2111  * keywords/descriptions
2112  *
2113  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2114  *
2115  * @return array docblock converted in to an array
2116  */
2117 function admin_mnet_method_get_docblock(ReflectionFunctionAbstract $function) {
2118     return array_map(function($line) {
2119         $text = trim($line, " \t\n\r\0\x0B*/");
2120         if (strpos($text, '@param') === 0) {
2121             return preg_split('/\s+/', $text, 4);
2122         }
2124         if (strpos($text, '@return') === 0) {
2125             return preg_split('/\s+/', $text, 3);
2126         }
2128         return array($text);
2129     }, explode("\n", $function->getDocComment()));
2132 /**
2133  * Given some sort of reflection function/method object, return just the help text
2134  *
2135  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2136  *
2137  * @return string docblock help text
2138  */
2139 function admin_mnet_method_get_help(ReflectionFunctionAbstract $function) {
2140     $helplines = array_map(function($line) {
2141         return implode(' ', $line);
2142     }, array_values(array_filter(admin_mnet_method_get_docblock($function), function($line) {
2143         return strpos($line[0], '@') !== 0 && !empty($line[0]);
2144     })));
2146     return implode("\n", $helplines);
2149 /**
2150  * This function verifies that the database is not using an unsupported storage engine.
2151  *
2152  * @param environment_results $result object to update, if relevant
2153  * @return environment_results|null updated results object, or null if the storage engine is supported
2154  */
2155 function check_database_storage_engine(environment_results $result) {
2156     global $DB;
2158     // Check if MySQL is the DB family (this will also be the same for MariaDB).
2159     if ($DB->get_dbfamily() == 'mysql') {
2160         // Get the database engine we will either be using to install the tables, or what we are currently using.
2161         $engine = $DB->get_dbengine();
2162         // Check if MyISAM is the storage engine that will be used, if so, do not proceed and display an error.
2163         if ($engine == 'MyISAM') {
2164             $result->setInfo('unsupported_db_storage_engine');
2165             $result->setStatus(false);
2166             return $result;
2167         }
2168     }
2170     return null;
2173 /**
2174  * Method used to check the usage of slasharguments config and display a warning message.
2175  *
2176  * @param environment_results $result object to update, if relevant.
2177  * @return environment_results|null updated results or null if slasharguments is disabled.
2178  */
2179 function check_slasharguments(environment_results $result){
2180     global $CFG;
2182     if (!during_initial_install() && empty($CFG->slasharguments)) {
2183         $result->setInfo('slasharguments');
2184         $result->setStatus(false);
2185         return $result;
2186     }
2188     return null;
2191 /**
2192  * This function verifies if the database has tables using innoDB Antelope row format.
2193  *
2194  * @param environment_results $result
2195  * @return environment_results|null updated results object, or null if no Antelope table has been found.
2196  */
2197 function check_database_tables_row_format(environment_results $result) {
2198     global $DB;
2200     if ($DB->get_dbfamily() == 'mysql') {
2201         $generator = $DB->get_manager()->generator;
2203         foreach ($DB->get_tables(false) as $table) {
2204             $columns = $DB->get_columns($table, false);
2205             $size = $generator->guess_antelope_row_size($columns);
2206             $format = $DB->get_row_format($table);
2208             if ($size <= $generator::ANTELOPE_MAX_ROW_SIZE) {
2209                 continue;
2210             }
2212             if ($format === 'Compact' or $format === 'Redundant') {
2213                 $result->setInfo('unsupported_db_table_row_format');
2214                 $result->setStatus(false);
2215                 return $result;
2216             }
2217         }
2218     }
2220     return null;
2223 /**
2224  * This function verfies that the database has tables using InnoDB Antelope row format.
2225  *
2226  * @param environment_results $result
2227  * @return environment_results|null updated results object, or null if no Antelope table has been found.
2228  */
2229 function check_mysql_file_format(environment_results $result) {
2230     global $DB;
2232     if ($DB->get_dbfamily() == 'mysql') {
2233         $collation = $DB->get_dbcollation();
2234         $collationinfo = explode('_', $collation);
2235         $charset = reset($collationinfo);
2237         if ($charset == 'utf8mb4') {
2238             if ($DB->get_row_format() !== "Barracuda") {
2239                 $result->setInfo('mysql_full_unicode_support#File_format');
2240                 $result->setStatus(false);
2241                 return $result;
2242             }
2243         }
2244     }
2245     return null;
2248 /**
2249  * This function verfies that the database has a setting of one file per table. This is required for 'utf8mb4'.
2250  *
2251  * @param environment_results $result
2252  * @return environment_results|null updated results object, or null if innodb_file_per_table = 1.
2253  */
2254 function check_mysql_file_per_table(environment_results $result) {
2255     global $DB;
2257     if ($DB->get_dbfamily() == 'mysql') {
2258         $collation = $DB->get_dbcollation();
2259         $collationinfo = explode('_', $collation);
2260         $charset = reset($collationinfo);
2262         if ($charset == 'utf8mb4') {
2263             if (!$DB->is_file_per_table_enabled()) {
2264                 $result->setInfo('mysql_full_unicode_support#File_per_table');
2265                 $result->setStatus(false);
2266                 return $result;
2267             }
2268         }
2269     }
2270     return null;
2273 /**
2274  * This function verfies that the database has the setting of large prefix enabled. This is required for 'utf8mb4'.
2275  *
2276  * @param environment_results $result
2277  * @return environment_results|null updated results object, or null if innodb_large_prefix = 1.
2278  */
2279 function check_mysql_large_prefix(environment_results $result) {
2280     global $DB;
2282     if ($DB->get_dbfamily() == 'mysql') {
2283         $collation = $DB->get_dbcollation();
2284         $collationinfo = explode('_', $collation);
2285         $charset = reset($collationinfo);
2287         if ($charset == 'utf8mb4') {
2288             if (!$DB->is_large_prefix_enabled()) {
2289                 $result->setInfo('mysql_full_unicode_support#Large_prefix');
2290                 $result->setStatus(false);
2291                 return $result;
2292             }
2293         }
2294     }
2295     return null;
2298 /**
2299  * This function checks the database to see if it is using incomplete unicode support.
2300  *
2301  * @param  environment_results $result $result
2302  * @return environment_results|null updated results object, or null if unicode is fully supported.
2303  */
2304 function check_mysql_incomplete_unicode_support(environment_results $result) {
2305     global $DB;
2307     if ($DB->get_dbfamily() == 'mysql') {
2308         $collation = $DB->get_dbcollation();
2309         $collationinfo = explode('_', $collation);
2310         $charset = reset($collationinfo);
2312         if ($charset == 'utf8') {
2313             $result->setInfo('mysql_full_unicode_support');
2314             $result->setStatus(false);
2315             return $result;
2316         }
2317     }
2318     return null;
2321 /**
2322  * Check if the site is being served using an ssl url.
2323  *
2324  * Note this does not really perform any request neither looks for proxies or
2325  * other situations. Just looks to wwwroot and warn if it's not using https.
2326  *
2327  * @param  environment_results $result $result
2328  * @return environment_results|null updated results object, or null if the site is https.
2329  */
2330 function check_is_https(environment_results $result) {
2331     global $CFG;
2333     // Only if is defined, non-empty and whatever core tell us.
2334     if (!empty($CFG->wwwroot) && !is_https()) {
2335         $result->setInfo('site not https');
2336         $result->setStatus(false);
2337         return $result;
2338     }
2339     return null;
2342 /**
2343  * Assert the upgrade key is provided, if it is defined.
2344  *
2345  * The upgrade key can be defined in the main config.php as $CFG->upgradekey. If
2346  * it is defined there, then its value must be provided every time the site is
2347  * being upgraded, regardless the administrator is logged in or not.
2348  *
2349  * This is supposed to be used at certain places in /admin/index.php only.
2350  *
2351  * @param string|null $upgradekeyhash the SHA-1 of the value provided by the user
2352  */
2353 function check_upgrade_key($upgradekeyhash) {
2354     global $CFG, $PAGE;
2356     if (isset($CFG->config_php_settings['upgradekey'])) {
2357         if ($upgradekeyhash === null or $upgradekeyhash !== sha1($CFG->config_php_settings['upgradekey'])) {
2358             if (!$PAGE->headerprinted) {
2359                 $output = $PAGE->get_renderer('core', 'admin');
2360                 echo $output->upgradekey_form_page(new moodle_url('/admin/index.php', array('cache' => 0)));
2361                 die();
2362             } else {
2363                 // This should not happen.
2364                 die('Upgrade locked');
2365             }
2366         }
2367     }
2370 /**
2371  * Helper procedure/macro for installing remote plugins at admin/index.php
2372  *
2373  * Does not return, always redirects or exits.
2374  *
2375  * @param array $installable list of \core\update\remote_info
2376  * @param bool $confirmed false: display the validation screen, true: proceed installation
2377  * @param string $heading validation screen heading
2378  * @param moodle_url|string|null $continue URL to proceed with installation at the validation screen
2379  * @param moodle_url|string|null $return URL to go back on cancelling at the validation screen
2380  */
2381 function upgrade_install_plugins(array $installable, $confirmed, $heading='', $continue=null, $return=null) {
2382     global $CFG, $PAGE;
2384     if (empty($return)) {
2385         $return = $PAGE->url;
2386     }
2388     if (!empty($CFG->disableupdateautodeploy)) {
2389         redirect($return);
2390     }
2392     if (empty($installable)) {
2393         redirect($return);
2394     }
2396     $pluginman = core_plugin_manager::instance();
2398     if ($confirmed) {
2399         // Installation confirmed at the validation results page.
2400         if (!$pluginman->install_plugins($installable, true, true)) {
2401             throw new moodle_exception('install_plugins_failed', 'core_plugin', $return);
2402         }
2404         // Always redirect to admin/index.php to perform the database upgrade.
2405         // Do not throw away the existing $PAGE->url parameters such as
2406         // confirmupgrade or confirmrelease if $PAGE->url is a superset of the
2407         // URL we must go to.
2408         $mustgoto = new moodle_url('/admin/index.php', array('cache' => 0, 'confirmplugincheck' => 0));
2409         if ($mustgoto->compare($PAGE->url, URL_MATCH_PARAMS)) {
2410             redirect($PAGE->url);
2411         } else {
2412             redirect($mustgoto);
2413         }
2415     } else {
2416         $output = $PAGE->get_renderer('core', 'admin');
2417         echo $output->header();
2418         if ($heading) {
2419             echo $output->heading($heading, 3);
2420         }
2421         echo html_writer::start_tag('pre', array('class' => 'plugin-install-console'));
2422         $validated = $pluginman->install_plugins($installable, false, false);
2423         echo html_writer::end_tag('pre');
2424         if ($validated) {
2425             echo $output->plugins_management_confirm_buttons($continue, $return);
2426         } else {
2427             echo $output->plugins_management_confirm_buttons(null, $return);
2428         }
2429         echo $output->footer();
2430         die();
2431     }
2433 /**
2434  * Method used to check the installed unoconv version.
2435  *
2436  * @param environment_results $result object to update, if relevant.
2437  * @return environment_results|null updated results or null if unoconv path is not executable.
2438  */
2439 function check_unoconv_version(environment_results $result) {
2440     global $CFG;
2442     if (!during_initial_install() && !empty($CFG->pathtounoconv) && file_is_executable(trim($CFG->pathtounoconv))) {
2443         $currentversion = 0;
2444         $supportedversion = 0.7;
2445         $unoconvbin = \escapeshellarg($CFG->pathtounoconv);
2446         $command = "$unoconvbin --version";
2447         exec($command, $output);
2449         // If the command execution returned some output, then get the unoconv version.
2450         if ($output) {
2451             foreach ($output as $response) {
2452                 if (preg_match('/unoconv (\\d+\\.\\d+)/', $response, $matches)) {
2453                     $currentversion = (float)$matches[1];
2454                 }
2455             }
2456         }
2458         if ($currentversion < $supportedversion) {
2459             $result->setInfo('unoconv version not supported');
2460             $result->setStatus(false);
2461             return $result;
2462         }
2463     }
2464     return null;
2467 /**
2468  * Checks for up-to-date TLS libraries. NOTE: this is not currently used, see MDL-57262.
2469  *
2470  * @param environment_results $result object to update, if relevant.
2471  * @return environment_results|null updated results or null if unoconv path is not executable.
2472  */
2473 function check_tls_libraries(environment_results $result) {
2474     global $CFG;
2476     if (!function_exists('curl_version')) {
2477         $result->setInfo('cURL PHP extension is not installed');
2478         $result->setStatus(false);
2479         return $result;
2480     }
2482     if (!\core\upgrade\util::validate_php_curl_tls(curl_version(), PHP_ZTS)) {
2483         $result->setInfo('invalid ssl/tls configuration');
2484         $result->setStatus(false);
2485         return $result;
2486     }
2488     if (!\core\upgrade\util::can_use_tls12(curl_version(), php_uname('r'))) {
2489         $result->setInfo('ssl/tls configuration not supported');
2490         $result->setStatus(false);
2491         return $result;
2492     }
2494     return null;
2497 /**
2498  * Check if recommended version of libcurl is installed or not.
2499  *
2500  * @param environment_results $result object to update, if relevant.
2501  * @return environment_results|null updated results or null.
2502  */
2503 function check_libcurl_version(environment_results $result) {
2505     if (!function_exists('curl_version')) {
2506         $result->setInfo('cURL PHP extension is not installed');
2507         $result->setStatus(false);
2508         return $result;
2509     }
2511     // Supported version and version number.
2512     $supportedversion = 0x071304;
2513     $supportedversionstring = "7.19.4";
2515     // Installed version.
2516     $curlinfo = curl_version();
2517     $currentversion = $curlinfo['version_number'];
2519     if ($currentversion < $supportedversion) {
2520         // Test fail.
2521         // Set info, we want to let user know how to resolve the problem.
2522         $result->setInfo('Libcurl version check');
2523         $result->setNeededVersion($supportedversionstring);
2524         $result->setCurrentVersion($curlinfo['version']);
2525         $result->setStatus(false);
2526         return $result;
2527     }
2529     return null;
2532 /**
2533  * Fix how auth plugins are called in the 'config_plugins' table.
2534  *
2535  * For legacy reasons, the auth plugins did not always use their frankenstyle
2536  * component name in the 'plugin' column of the 'config_plugins' table. This is
2537  * a helper function to correctly migrate the legacy settings into the expected
2538  * and consistent way.
2539  *
2540  * @param string $plugin the auth plugin name such as 'cas', 'manual' or 'mnet'
2541  */
2542 function upgrade_fix_config_auth_plugin_names($plugin) {
2543     global $CFG, $DB, $OUTPUT;
2545     $legacy = (array) get_config('auth/'.$plugin);
2546     $current = (array) get_config('auth_'.$plugin);
2548     // I don't want to rely on array_merge() and friends here just in case
2549     // there was some crazy setting with a numerical name.
2551     if ($legacy) {
2552         $new = $legacy;
2553     } else {
2554         $new = [];
2555     }
2557     if ($current) {
2558         foreach ($current as $name => $value) {
2559             if (isset($legacy[$name]) && ($legacy[$name] !== $value)) {
2560                 // No need to pollute the output during unit tests.
2561                 if (!empty($CFG->upgraderunning)) {
2562                     $message = get_string('settingmigrationmismatch', 'core_auth', [
2563                         'plugin' => 'auth_'.$plugin,
2564                         'setting' => s($name),
2565                         'legacy' => s($legacy[$name]),
2566                         'current' => s($value),
2567                     ]);
2568                     echo $OUTPUT->notification($message, \core\output\notification::NOTIFY_ERROR);
2570                     upgrade_log(UPGRADE_LOG_NOTICE, 'auth_'.$plugin, 'Setting values mismatch detected',
2571                         'SETTING: '.$name. ' LEGACY: '.$legacy[$name].' CURRENT: '.$value);
2572                 }
2573             }
2575             $new[$name] = $value;
2576         }
2577     }
2579     foreach ($new as $name => $value) {
2580         set_config($name, $value, 'auth_'.$plugin);
2581         unset_config($name, 'auth/'.$plugin);
2582     }
2585 /**
2586  * Populate the auth plugin settings with defaults if needed.
2587  *
2588  * As a result of fixing the auth plugins config storage, many settings would
2589  * be falsely reported as new ones by admin/upgradesettings.php. We do not want
2590  * to confuse admins so we try to reduce the bewilderment by pre-populating the
2591  * config_plugins table with default values. This should be done only for
2592  * disabled auth methods. The enabled methods have their settings already
2593  * stored, so reporting actual new settings for them is valid.
2594  *
2595  * @param string $plugin the auth plugin name such as 'cas', 'manual' or 'mnet'
2596  */
2597 function upgrade_fix_config_auth_plugin_defaults($plugin) {
2598     global $CFG;
2600     $pluginman = core_plugin_manager::instance();
2601     $enabled = $pluginman->get_enabled_plugins('auth');
2603     if (isset($enabled[$plugin])) {
2604         // Do not touch settings of enabled auth methods.
2605         return;
2606     }
2608     // We can't directly use {@link core\plugininfo\auth::load_settings()} here
2609     // because the plugins are not fully upgraded yet. Instead, we emulate what
2610     // that method does. We fetch a temporary instance of the plugin's settings
2611     // page to get access to the settings and their defaults. Note we are not
2612     // adding that temporary instance into the admin tree. Yes, this is a hack.
2614     $plugininfo = $pluginman->get_plugin_info('auth_'.$plugin);
2615     $adminroot = admin_get_root();
2616     $ADMIN = $adminroot;
2617     $auth = $plugininfo;
2619     $section = $plugininfo->get_settings_section_name();
2620     $settingspath = $plugininfo->full_path('settings.php');
2622     if (file_exists($settingspath)) {
2623         $settings = new admin_settingpage($section, 'Emulated settings page for auth_'.$plugin, 'moodle/site:config');
2624         include($settingspath);
2626         if ($settings) {
2627             // Consistently with what admin/cli/upgrade.php does, apply the default settings twice.
2628             // I assume this is done for theoretical cases when a default value depends on an other.
2629             admin_apply_default_settings($settings, false);
2630             admin_apply_default_settings($settings, false);
2631         }
2632     }
2635 /**
2636  * Search for a given theme in any of the parent themes of a given theme.
2637  *
2638  * @param string $needle The name of the theme you want to search for
2639  * @param string $themename The name of the theme you want to search for
2640  * @param string $checkedthemeforparents The name of all the themes already checked
2641  * @return bool True if found, false if not.
2642  */
2643 function upgrade_theme_is_from_family($needle, $themename, $checkedthemeforparents = []) {
2644     global $CFG;
2646     // Once we've started checking a theme, don't start checking it again. Prevent recursion.
2647     if (!empty($checkedthemeforparents[$themename])) {
2648         return false;
2649     }
2650     $checkedthemeforparents[$themename] = true;
2652     if ($themename == $needle) {
2653         return true;
2654     }
2656     if ($themedir = upgrade_find_theme_location($themename)) {
2657         $THEME = new stdClass();
2658         require($themedir . '/config.php');
2659         $theme = $THEME;
2660     } else {
2661         return false;
2662     }
2664     if (empty($theme->parents)) {
2665         return false;
2666     }
2668     // Recursively search through each parent theme.
2669     foreach ($theme->parents as $parent) {
2670         if (upgrade_theme_is_from_family($needle, $parent, $checkedthemeforparents)) {
2671             return true;
2672         }
2673     }
2674     return false;
2677 /**
2678  * Finds the theme location and verifies the theme has all needed files.
2679  *
2680  * @param string $themename The name of the theme you want to search for
2681  * @return string full dir path or null if not found
2682  * @see \theme_config::find_theme_location()
2683  */
2684 function upgrade_find_theme_location($themename) {
2685     global $CFG;
2687     if (file_exists("$CFG->dirroot/theme/$themename/config.php")) {
2688         $dir = "$CFG->dirroot/theme/$themename";
2689     } else if (!empty($CFG->themedir) and file_exists("$CFG->themedir/$themename/config.php")) {
2690         $dir = "$CFG->themedir/$themename";
2691     } else {
2692         return null;
2693     }
2695     return $dir;