Merge branch 'MDL-53240-master-filetypewidgets' of git://github.com/mudrd8mz/moodle
[moodle.git] / lib / upgradelib.php
1 <?php
3 // This file is part of Moodle - http://moodle.org/
4 //
5 // Moodle is free software: you can redistribute it and/or modify
6 // it under the terms of the GNU General Public License as published by
7 // the Free Software Foundation, either version 3 of the License, or
8 // (at your option) any later version.
9 //
10 // Moodle is distributed in the hope that it will be useful,
11 // but WITHOUT ANY WARRANTY; without even the implied warranty of
12 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 // GNU General Public License for more details.
14 //
15 // You should have received a copy of the GNU General Public License
16 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
18 /**
19  * Various upgrade/install related functions and classes.
20  *
21  * @package    core
22  * @subpackage upgrade
23  * @copyright  1999 onwards Martin Dougiamas (http://dougiamas.com)
24  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
25  */
27 defined('MOODLE_INTERNAL') || die();
29 /** UPGRADE_LOG_NORMAL = 0 */
30 define('UPGRADE_LOG_NORMAL', 0);
31 /** UPGRADE_LOG_NOTICE = 1 */
32 define('UPGRADE_LOG_NOTICE', 1);
33 /** UPGRADE_LOG_ERROR = 2 */
34 define('UPGRADE_LOG_ERROR',  2);
36 /**
37  * Exception indicating unknown error during upgrade.
38  *
39  * @package    core
40  * @subpackage upgrade
41  * @copyright  2009 Petr Skoda {@link http://skodak.org}
42  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
43  */
44 class upgrade_exception extends moodle_exception {
45     function __construct($plugin, $version, $debuginfo=NULL) {
46         global $CFG;
47         $a = (object)array('plugin'=>$plugin, 'version'=>$version);
48         parent::__construct('upgradeerror', 'admin', "$CFG->wwwroot/$CFG->admin/index.php", $a, $debuginfo);
49     }
50 }
52 /**
53  * Exception indicating downgrade error during upgrade.
54  *
55  * @package    core
56  * @subpackage upgrade
57  * @copyright  2009 Petr Skoda {@link http://skodak.org}
58  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
59  */
60 class downgrade_exception extends moodle_exception {
61     function __construct($plugin, $oldversion, $newversion) {
62         global $CFG;
63         $plugin = is_null($plugin) ? 'moodle' : $plugin;
64         $a = (object)array('plugin'=>$plugin, 'oldversion'=>$oldversion, 'newversion'=>$newversion);
65         parent::__construct('cannotdowngrade', 'debug', "$CFG->wwwroot/$CFG->admin/index.php", $a);
66     }
67 }
69 /**
70  * @package    core
71  * @subpackage upgrade
72  * @copyright  2009 Petr Skoda {@link http://skodak.org}
73  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
74  */
75 class upgrade_requires_exception extends moodle_exception {
76     function __construct($plugin, $pluginversion, $currentmoodle, $requiremoodle) {
77         global $CFG;
78         $a = new stdClass();
79         $a->pluginname     = $plugin;
80         $a->pluginversion  = $pluginversion;
81         $a->currentmoodle  = $currentmoodle;
82         $a->requiremoodle  = $requiremoodle;
83         parent::__construct('pluginrequirementsnotmet', 'error', "$CFG->wwwroot/$CFG->admin/index.php", $a);
84     }
85 }
87 /**
88  * @package    core
89  * @subpackage upgrade
90  * @copyright  2009 Petr Skoda {@link http://skodak.org}
91  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
92  */
93 class plugin_defective_exception extends moodle_exception {
94     function __construct($plugin, $details) {
95         global $CFG;
96         parent::__construct('detectedbrokenplugin', 'error', "$CFG->wwwroot/$CFG->admin/index.php", $plugin, $details);
97     }
98 }
100 /**
101  * Misplaced plugin exception.
102  *
103  * Note: this should be used only from the upgrade/admin code.
104  *
105  * @package    core
106  * @subpackage upgrade
107  * @copyright  2009 Petr Skoda {@link http://skodak.org}
108  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
109  */
110 class plugin_misplaced_exception extends moodle_exception {
111     /**
112      * Constructor.
113      * @param string $component the component from version.php
114      * @param string $expected expected directory, null means calculate
115      * @param string $current plugin directory path
116      */
117     public function __construct($component, $expected, $current) {
118         global $CFG;
119         if (empty($expected)) {
120             list($type, $plugin) = core_component::normalize_component($component);
121             $plugintypes = core_component::get_plugin_types();
122             if (isset($plugintypes[$type])) {
123                 $expected = $plugintypes[$type] . '/' . $plugin;
124             }
125         }
126         if (strpos($expected, '$CFG->dirroot') !== 0) {
127             $expected = str_replace($CFG->dirroot, '$CFG->dirroot', $expected);
128         }
129         if (strpos($current, '$CFG->dirroot') !== 0) {
130             $current = str_replace($CFG->dirroot, '$CFG->dirroot', $current);
131         }
132         $a = new stdClass();
133         $a->component = $component;
134         $a->expected  = $expected;
135         $a->current   = $current;
136         parent::__construct('detectedmisplacedplugin', 'core_plugin', "$CFG->wwwroot/$CFG->admin/index.php", $a);
137     }
140 /**
141  * Static class monitors performance of upgrade steps.
142  */
143 class core_upgrade_time {
144     /** @var float Time at start of current upgrade (plugin/system) */
145     protected static $before;
146     /** @var float Time at end of last savepoint */
147     protected static $lastsavepoint;
149     /**
150      * Records current time at the start of the current upgrade item, e.g. plugin.
151      */
152     public static function record_start() {
153         self::$before = microtime(true);
154         self::$lastsavepoint = self::$before;
155     }
157     /**
158      * Records current time at the end of a given numbered step.
159      *
160      * @param float $version Version number (may have decimals, or not)
161      */
162     public static function record_savepoint($version) {
163         global $CFG, $OUTPUT;
165         // In developer debug mode we show a notification after each individual save point.
166         if ($CFG->debugdeveloper) {
167             $time = microtime(true);
169             $notification = new \core\output\notification($version . ': ' .
170                     get_string('successduration', '', format_float($time - self::$lastsavepoint, 2)),
171                     \core\output\notification::NOTIFY_SUCCESS);
172             $notification->set_show_closebutton(false);
173             echo $OUTPUT->render($notification);
174             self::$lastsavepoint = $time;
175         }
176     }
178     /**
179      * Gets the time since the record_start function was called, rounded to 2 digits.
180      *
181      * @return float Elapsed time
182      */
183     public static function get_elapsed() {
184         return microtime(true) - self::$before;
185     }
188 /**
189  * Sets maximum expected time needed for upgrade task.
190  * Please always make sure that upgrade will not run longer!
191  *
192  * The script may be automatically aborted if upgrade times out.
193  *
194  * @category upgrade
195  * @param int $max_execution_time in seconds (can not be less than 60 s)
196  */
197 function upgrade_set_timeout($max_execution_time=300) {
198     global $CFG;
200     if (!isset($CFG->upgraderunning) or $CFG->upgraderunning < time()) {
201         $upgraderunning = get_config(null, 'upgraderunning');
202     } else {
203         $upgraderunning = $CFG->upgraderunning;
204     }
206     if (!$upgraderunning) {
207         if (CLI_SCRIPT) {
208             // never stop CLI upgrades
209             $upgraderunning = 0;
210         } else {
211             // web upgrade not running or aborted
212             print_error('upgradetimedout', 'admin', "$CFG->wwwroot/$CFG->admin/");
213         }
214     }
216     if ($max_execution_time < 60) {
217         // protection against 0 here
218         $max_execution_time = 60;
219     }
221     $expected_end = time() + $max_execution_time;
223     if ($expected_end < $upgraderunning + 10 and $expected_end > $upgraderunning - 10) {
224         // no need to store new end, it is nearly the same ;-)
225         return;
226     }
228     if (CLI_SCRIPT) {
229         // there is no point in timing out of CLI scripts, admins can stop them if necessary
230         core_php_time_limit::raise();
231     } else {
232         core_php_time_limit::raise($max_execution_time);
233     }
234     set_config('upgraderunning', $expected_end); // keep upgrade locked until this time
237 /**
238  * Upgrade savepoint, marks end of each upgrade block.
239  * It stores new main version, resets upgrade timeout
240  * and abort upgrade if user cancels page loading.
241  *
242  * Please do not make large upgrade blocks with lots of operations,
243  * for example when adding tables keep only one table operation per block.
244  *
245  * @category upgrade
246  * @param bool $result false if upgrade step failed, true if completed
247  * @param string or float $version main version
248  * @param bool $allowabort allow user to abort script execution here
249  * @return void
250  */
251 function upgrade_main_savepoint($result, $version, $allowabort=true) {
252     global $CFG;
254     //sanity check to avoid confusion with upgrade_mod_savepoint usage.
255     if (!is_bool($allowabort)) {
256         $errormessage = 'Parameter type mismatch. Are you mixing up upgrade_main_savepoint() and upgrade_mod_savepoint()?';
257         throw new coding_exception($errormessage);
258     }
260     if (!$result) {
261         throw new upgrade_exception(null, $version);
262     }
264     if ($CFG->version >= $version) {
265         // something really wrong is going on in main upgrade script
266         throw new downgrade_exception(null, $CFG->version, $version);
267     }
269     set_config('version', $version);
270     upgrade_log(UPGRADE_LOG_NORMAL, null, 'Upgrade savepoint reached');
272     // reset upgrade timeout to default
273     upgrade_set_timeout();
275     core_upgrade_time::record_savepoint($version);
277     // this is a safe place to stop upgrades if user aborts page loading
278     if ($allowabort and connection_aborted()) {
279         die;
280     }
283 /**
284  * Module upgrade savepoint, marks end of module upgrade blocks
285  * It stores module version, resets upgrade timeout
286  * and abort upgrade if user cancels page loading.
287  *
288  * @category upgrade
289  * @param bool $result false if upgrade step failed, true if completed
290  * @param string or float $version main version
291  * @param string $modname name of module
292  * @param bool $allowabort allow user to abort script execution here
293  * @return void
294  */
295 function upgrade_mod_savepoint($result, $version, $modname, $allowabort=true) {
296     global $DB;
298     $component = 'mod_'.$modname;
300     if (!$result) {
301         throw new upgrade_exception($component, $version);
302     }
304     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
306     if (!$module = $DB->get_record('modules', array('name'=>$modname))) {
307         print_error('modulenotexist', 'debug', '', $modname);
308     }
310     if ($dbversion >= $version) {
311         // something really wrong is going on in upgrade script
312         throw new downgrade_exception($component, $dbversion, $version);
313     }
314     set_config('version', $version, $component);
316     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
318     // reset upgrade timeout to default
319     upgrade_set_timeout();
321     core_upgrade_time::record_savepoint($version);
323     // this is a safe place to stop upgrades if user aborts page loading
324     if ($allowabort and connection_aborted()) {
325         die;
326     }
329 /**
330  * Blocks upgrade savepoint, marks end of blocks upgrade blocks
331  * It stores block version, resets upgrade timeout
332  * and abort upgrade if user cancels page loading.
333  *
334  * @category upgrade
335  * @param bool $result false if upgrade step failed, true if completed
336  * @param string or float $version main version
337  * @param string $blockname name of block
338  * @param bool $allowabort allow user to abort script execution here
339  * @return void
340  */
341 function upgrade_block_savepoint($result, $version, $blockname, $allowabort=true) {
342     global $DB;
344     $component = 'block_'.$blockname;
346     if (!$result) {
347         throw new upgrade_exception($component, $version);
348     }
350     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
352     if (!$block = $DB->get_record('block', array('name'=>$blockname))) {
353         print_error('blocknotexist', 'debug', '', $blockname);
354     }
356     if ($dbversion >= $version) {
357         // something really wrong is going on in upgrade script
358         throw new downgrade_exception($component, $dbversion, $version);
359     }
360     set_config('version', $version, $component);
362     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
364     // reset upgrade timeout to default
365     upgrade_set_timeout();
367     core_upgrade_time::record_savepoint($version);
369     // this is a safe place to stop upgrades if user aborts page loading
370     if ($allowabort and connection_aborted()) {
371         die;
372     }
375 /**
376  * Plugins upgrade savepoint, marks end of blocks upgrade blocks
377  * It stores plugin version, resets upgrade timeout
378  * and abort upgrade if user cancels page loading.
379  *
380  * @category upgrade
381  * @param bool $result false if upgrade step failed, true if completed
382  * @param string or float $version main version
383  * @param string $type name of plugin
384  * @param string $dir location of plugin
385  * @param bool $allowabort allow user to abort script execution here
386  * @return void
387  */
388 function upgrade_plugin_savepoint($result, $version, $type, $plugin, $allowabort=true) {
389     global $DB;
391     $component = $type.'_'.$plugin;
393     if (!$result) {
394         throw new upgrade_exception($component, $version);
395     }
397     $dbversion = $DB->get_field('config_plugins', 'value', array('plugin'=>$component, 'name'=>'version'));
399     if ($dbversion >= $version) {
400         // Something really wrong is going on in the upgrade script
401         throw new downgrade_exception($component, $dbversion, $version);
402     }
403     set_config('version', $version, $component);
404     upgrade_log(UPGRADE_LOG_NORMAL, $component, 'Upgrade savepoint reached');
406     // Reset upgrade timeout to default
407     upgrade_set_timeout();
409     core_upgrade_time::record_savepoint($version);
411     // This is a safe place to stop upgrades if user aborts page loading
412     if ($allowabort and connection_aborted()) {
413         die;
414     }
417 /**
418  * Detect if there are leftovers in PHP source files.
419  *
420  * During main version upgrades administrators MUST move away
421  * old PHP source files and start from scratch (or better
422  * use git).
423  *
424  * @return bool true means borked upgrade, false means previous PHP files were properly removed
425  */
426 function upgrade_stale_php_files_present() {
427     global $CFG;
429     $someexamplesofremovedfiles = array(
430         // Removed in 3.3.
431         '/badges/backpackconnect.php',
432         '/calendar/yui/src/info/assets/skins/sam/moodle-calendar-info.css',
433         '/competency/classes/external/exporter.php',
434         '/mod/forum/forum.js',
435         '/user/pixgroup.php',
436         // Removed in 3.2.
437         '/calendar/preferences.php',
438         '/lib/alfresco/',
439         '/lib/jquery/jquery-1.12.1.min.js',
440         '/lib/password_compat/tests/',
441         '/lib/phpunit/classes/unittestcase.php',
442         // Removed in 3.1.
443         '/lib/classes/log/sql_internal_reader.php',
444         '/lib/zend/',
445         '/mod/forum/pix/icon.gif',
446         '/tag/templates/tagname.mustache',
447         // Removed in 3.0.
448         '/mod/lti/grade.php',
449         '/tag/coursetagslib.php',
450         // Removed in 2.9.
451         '/lib/timezone.txt',
452         // Removed in 2.8.
453         '/course/delete_category_form.php',
454         // Removed in 2.7.
455         '/admin/tool/qeupgradehelper/version.php',
456         // Removed in 2.6.
457         '/admin/block.php',
458         '/admin/oacleanup.php',
459         // Removed in 2.5.
460         '/backup/lib.php',
461         '/backup/bb/README.txt',
462         '/lib/excel/test.php',
463         // Removed in 2.4.
464         '/admin/tool/unittest/simpletestlib.php',
465         // Removed in 2.3.
466         '/lib/minify/builder/',
467         // Removed in 2.2.
468         '/lib/yui/3.4.1pr1/',
469         // Removed in 2.2.
470         '/search/cron_php5.php',
471         '/course/report/log/indexlive.php',
472         '/admin/report/backups/index.php',
473         '/admin/generator.php',
474         // Removed in 2.1.
475         '/lib/yui/2.8.0r4/',
476         // Removed in 2.0.
477         '/blocks/admin/block_admin.php',
478         '/blocks/admin_tree/block_admin_tree.php',
479     );
481     foreach ($someexamplesofremovedfiles as $file) {
482         if (file_exists($CFG->dirroot.$file)) {
483             return true;
484         }
485     }
487     return false;
490 /**
491  * Upgrade plugins
492  * @param string $type The type of plugins that should be updated (e.g. 'enrol', 'qtype')
493  * return void
494  */
495 function upgrade_plugins($type, $startcallback, $endcallback, $verbose) {
496     global $CFG, $DB;
498 /// special cases
499     if ($type === 'mod') {
500         return upgrade_plugins_modules($startcallback, $endcallback, $verbose);
501     } else if ($type === 'block') {
502         return upgrade_plugins_blocks($startcallback, $endcallback, $verbose);
503     }
505     $plugs = core_component::get_plugin_list($type);
507     foreach ($plugs as $plug=>$fullplug) {
508         // Reset time so that it works when installing a large number of plugins
509         core_php_time_limit::raise(600);
510         $component = clean_param($type.'_'.$plug, PARAM_COMPONENT); // standardised plugin name
512         // check plugin dir is valid name
513         if (empty($component)) {
514             throw new plugin_defective_exception($type.'_'.$plug, 'Invalid plugin directory name.');
515         }
517         if (!is_readable($fullplug.'/version.php')) {
518             continue;
519         }
521         $plugin = new stdClass();
522         $plugin->version = null;
523         $module = $plugin; // Prevent some notices when plugin placed in wrong directory.
524         require($fullplug.'/version.php');  // defines $plugin with version etc
525         unset($module);
527         if (empty($plugin->version)) {
528             throw new plugin_defective_exception($component, 'Missing $plugin->version number in version.php.');
529         }
531         if (empty($plugin->component)) {
532             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
533         }
535         if ($plugin->component !== $component) {
536             throw new plugin_misplaced_exception($plugin->component, null, $fullplug);
537         }
539         $plugin->name     = $plug;
540         $plugin->fullname = $component;
542         if (!empty($plugin->requires)) {
543             if ($plugin->requires > $CFG->version) {
544                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
545             } else if ($plugin->requires < 2010000000) {
546                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
547             }
548         }
550         // try to recover from interrupted install.php if needed
551         if (file_exists($fullplug.'/db/install.php')) {
552             if (get_config($plugin->fullname, 'installrunning')) {
553                 require_once($fullplug.'/db/install.php');
554                 $recover_install_function = 'xmldb_'.$plugin->fullname.'_install_recovery';
555                 if (function_exists($recover_install_function)) {
556                     $startcallback($component, true, $verbose);
557                     $recover_install_function();
558                     unset_config('installrunning', $plugin->fullname);
559                     update_capabilities($component);
560                     log_update_descriptions($component);
561                     external_update_descriptions($component);
562                     events_update_definition($component);
563                     \core\task\manager::reset_scheduled_tasks_for_component($component);
564                     message_update_providers($component);
565                     \core\message\inbound\manager::update_handlers_for_component($component);
566                     if ($type === 'message') {
567                         message_update_processors($plug);
568                     }
569                     upgrade_plugin_mnet_functions($component);
570                     core_tag_area::reset_definitions_for_component($component);
571                     $endcallback($component, true, $verbose);
572                 }
573             }
574         }
576         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
577         if (empty($installedversion)) { // new installation
578             $startcallback($component, true, $verbose);
580         /// Install tables if defined
581             if (file_exists($fullplug.'/db/install.xml')) {
582                 $DB->get_manager()->install_from_xmldb_file($fullplug.'/db/install.xml');
583             }
585         /// store version
586             upgrade_plugin_savepoint(true, $plugin->version, $type, $plug, false);
588         /// execute post install file
589             if (file_exists($fullplug.'/db/install.php')) {
590                 require_once($fullplug.'/db/install.php');
591                 set_config('installrunning', 1, $plugin->fullname);
592                 $post_install_function = 'xmldb_'.$plugin->fullname.'_install';
593                 $post_install_function();
594                 unset_config('installrunning', $plugin->fullname);
595             }
597         /// Install various components
598             update_capabilities($component);
599             log_update_descriptions($component);
600             external_update_descriptions($component);
601             events_update_definition($component);
602             \core\task\manager::reset_scheduled_tasks_for_component($component);
603             message_update_providers($component);
604             \core\message\inbound\manager::update_handlers_for_component($component);
605             if ($type === 'message') {
606                 message_update_processors($plug);
607             }
608             upgrade_plugin_mnet_functions($component);
609             core_tag_area::reset_definitions_for_component($component);
610             $endcallback($component, true, $verbose);
612         } else if ($installedversion < $plugin->version) { // upgrade
613         /// Run the upgrade function for the plugin.
614             $startcallback($component, false, $verbose);
616             if (is_readable($fullplug.'/db/upgrade.php')) {
617                 require_once($fullplug.'/db/upgrade.php');  // defines upgrading function
619                 $newupgrade_function = 'xmldb_'.$plugin->fullname.'_upgrade';
620                 $result = $newupgrade_function($installedversion);
621             } else {
622                 $result = true;
623             }
625             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
626             if ($installedversion < $plugin->version) {
627                 // store version if not already there
628                 upgrade_plugin_savepoint($result, $plugin->version, $type, $plug, false);
629             }
631         /// Upgrade various components
632             update_capabilities($component);
633             log_update_descriptions($component);
634             external_update_descriptions($component);
635             events_update_definition($component);
636             \core\task\manager::reset_scheduled_tasks_for_component($component);
637             message_update_providers($component);
638             \core\message\inbound\manager::update_handlers_for_component($component);
639             if ($type === 'message') {
640                 // Ugly hack!
641                 message_update_processors($plug);
642             }
643             upgrade_plugin_mnet_functions($component);
644             core_tag_area::reset_definitions_for_component($component);
645             $endcallback($component, false, $verbose);
647         } else if ($installedversion > $plugin->version) {
648             throw new downgrade_exception($component, $installedversion, $plugin->version);
649         }
650     }
653 /**
654  * Find and check all modules and load them up or upgrade them if necessary
655  *
656  * @global object
657  * @global object
658  */
659 function upgrade_plugins_modules($startcallback, $endcallback, $verbose) {
660     global $CFG, $DB;
662     $mods = core_component::get_plugin_list('mod');
664     foreach ($mods as $mod=>$fullmod) {
666         if ($mod === 'NEWMODULE') {   // Someone has unzipped the template, ignore it
667             continue;
668         }
670         $component = clean_param('mod_'.$mod, PARAM_COMPONENT);
672         // check module dir is valid name
673         if (empty($component)) {
674             throw new plugin_defective_exception('mod_'.$mod, 'Invalid plugin directory name.');
675         }
677         if (!is_readable($fullmod.'/version.php')) {
678             throw new plugin_defective_exception($component, 'Missing version.php');
679         }
681         $module = new stdClass();
682         $plugin = new stdClass();
683         $plugin->version = null;
684         require($fullmod .'/version.php');  // Defines $plugin with version etc.
686         // Check if the legacy $module syntax is still used.
687         if (!is_object($module) or (count((array)$module) > 0)) {
688             throw new plugin_defective_exception($component, 'Unsupported $module syntax detected in version.php');
689         }
691         // Prepare the record for the {modules} table.
692         $module = clone($plugin);
693         unset($module->version);
694         unset($module->component);
695         unset($module->dependencies);
696         unset($module->release);
698         if (empty($plugin->version)) {
699             throw new plugin_defective_exception($component, 'Missing $plugin->version number in version.php.');
700         }
702         if (empty($plugin->component)) {
703             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
704         }
706         if ($plugin->component !== $component) {
707             throw new plugin_misplaced_exception($plugin->component, null, $fullmod);
708         }
710         if (!empty($plugin->requires)) {
711             if ($plugin->requires > $CFG->version) {
712                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
713             } else if ($plugin->requires < 2010000000) {
714                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
715             }
716         }
718         if (empty($module->cron)) {
719             $module->cron = 0;
720         }
722         // all modules must have en lang pack
723         if (!is_readable("$fullmod/lang/en/$mod.php")) {
724             throw new plugin_defective_exception($component, 'Missing mandatory en language pack.');
725         }
727         $module->name = $mod;   // The name MUST match the directory
729         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
731         if (file_exists($fullmod.'/db/install.php')) {
732             if (get_config($module->name, 'installrunning')) {
733                 require_once($fullmod.'/db/install.php');
734                 $recover_install_function = 'xmldb_'.$module->name.'_install_recovery';
735                 if (function_exists($recover_install_function)) {
736                     $startcallback($component, true, $verbose);
737                     $recover_install_function();
738                     unset_config('installrunning', $module->name);
739                     // Install various components too
740                     update_capabilities($component);
741                     log_update_descriptions($component);
742                     external_update_descriptions($component);
743                     events_update_definition($component);
744                     \core\task\manager::reset_scheduled_tasks_for_component($component);
745                     message_update_providers($component);
746                     \core\message\inbound\manager::update_handlers_for_component($component);
747                     upgrade_plugin_mnet_functions($component);
748                     core_tag_area::reset_definitions_for_component($component);
749                     $endcallback($component, true, $verbose);
750                 }
751             }
752         }
754         if (empty($installedversion)) {
755             $startcallback($component, true, $verbose);
757         /// Execute install.xml (XMLDB) - must be present in all modules
758             $DB->get_manager()->install_from_xmldb_file($fullmod.'/db/install.xml');
760         /// Add record into modules table - may be needed in install.php already
761             $module->id = $DB->insert_record('modules', $module);
762             upgrade_mod_savepoint(true, $plugin->version, $module->name, false);
764         /// Post installation hook - optional
765             if (file_exists("$fullmod/db/install.php")) {
766                 require_once("$fullmod/db/install.php");
767                 // Set installation running flag, we need to recover after exception or error
768                 set_config('installrunning', 1, $module->name);
769                 $post_install_function = 'xmldb_'.$module->name.'_install';
770                 $post_install_function();
771                 unset_config('installrunning', $module->name);
772             }
774         /// Install various components
775             update_capabilities($component);
776             log_update_descriptions($component);
777             external_update_descriptions($component);
778             events_update_definition($component);
779             \core\task\manager::reset_scheduled_tasks_for_component($component);
780             message_update_providers($component);
781             \core\message\inbound\manager::update_handlers_for_component($component);
782             upgrade_plugin_mnet_functions($component);
783             core_tag_area::reset_definitions_for_component($component);
785             $endcallback($component, true, $verbose);
787         } else if ($installedversion < $plugin->version) {
788         /// If versions say that we need to upgrade but no upgrade files are available, notify and continue
789             $startcallback($component, false, $verbose);
791             if (is_readable($fullmod.'/db/upgrade.php')) {
792                 require_once($fullmod.'/db/upgrade.php');  // defines new upgrading function
793                 $newupgrade_function = 'xmldb_'.$module->name.'_upgrade';
794                 $result = $newupgrade_function($installedversion, $module);
795             } else {
796                 $result = true;
797             }
799             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
800             $currmodule = $DB->get_record('modules', array('name'=>$module->name));
801             if ($installedversion < $plugin->version) {
802                 // store version if not already there
803                 upgrade_mod_savepoint($result, $plugin->version, $mod, false);
804             }
806             // update cron flag if needed
807             if ($currmodule->cron != $module->cron) {
808                 $DB->set_field('modules', 'cron', $module->cron, array('name' => $module->name));
809             }
811             // Upgrade various components
812             update_capabilities($component);
813             log_update_descriptions($component);
814             external_update_descriptions($component);
815             events_update_definition($component);
816             \core\task\manager::reset_scheduled_tasks_for_component($component);
817             message_update_providers($component);
818             \core\message\inbound\manager::update_handlers_for_component($component);
819             upgrade_plugin_mnet_functions($component);
820             core_tag_area::reset_definitions_for_component($component);
822             $endcallback($component, false, $verbose);
824         } else if ($installedversion > $plugin->version) {
825             throw new downgrade_exception($component, $installedversion, $plugin->version);
826         }
827     }
831 /**
832  * This function finds all available blocks and install them
833  * into blocks table or do all the upgrade process if newer.
834  *
835  * @global object
836  * @global object
837  */
838 function upgrade_plugins_blocks($startcallback, $endcallback, $verbose) {
839     global $CFG, $DB;
841     require_once($CFG->dirroot.'/blocks/moodleblock.class.php');
843     $blocktitles   = array(); // we do not want duplicate titles
845     //Is this a first install
846     $first_install = null;
848     $blocks = core_component::get_plugin_list('block');
850     foreach ($blocks as $blockname=>$fullblock) {
852         if (is_null($first_install)) {
853             $first_install = ($DB->count_records('block_instances') == 0);
854         }
856         if ($blockname === 'NEWBLOCK') {   // Someone has unzipped the template, ignore it
857             continue;
858         }
860         $component = clean_param('block_'.$blockname, PARAM_COMPONENT);
862         // check block dir is valid name
863         if (empty($component)) {
864             throw new plugin_defective_exception('block_'.$blockname, 'Invalid plugin directory name.');
865         }
867         if (!is_readable($fullblock.'/version.php')) {
868             throw new plugin_defective_exception('block/'.$blockname, 'Missing version.php file.');
869         }
870         $plugin = new stdClass();
871         $plugin->version = null;
872         $plugin->cron    = 0;
873         $module = $plugin; // Prevent some notices when module placed in wrong directory.
874         include($fullblock.'/version.php');
875         unset($module);
876         $block = clone($plugin);
877         unset($block->version);
878         unset($block->component);
879         unset($block->dependencies);
880         unset($block->release);
882         if (empty($plugin->version)) {
883             throw new plugin_defective_exception($component, 'Missing block version number in version.php.');
884         }
886         if (empty($plugin->component)) {
887             throw new plugin_defective_exception($component, 'Missing $plugin->component declaration in version.php.');
888         }
890         if ($plugin->component !== $component) {
891             throw new plugin_misplaced_exception($plugin->component, null, $fullblock);
892         }
894         if (!empty($plugin->requires)) {
895             if ($plugin->requires > $CFG->version) {
896                 throw new upgrade_requires_exception($component, $plugin->version, $CFG->version, $plugin->requires);
897             } else if ($plugin->requires < 2010000000) {
898                 throw new plugin_defective_exception($component, 'Plugin is not compatible with Moodle 2.x or later.');
899             }
900         }
902         if (!is_readable($fullblock.'/block_'.$blockname.'.php')) {
903             throw new plugin_defective_exception('block/'.$blockname, 'Missing main block class file.');
904         }
905         include_once($fullblock.'/block_'.$blockname.'.php');
907         $classname = 'block_'.$blockname;
909         if (!class_exists($classname)) {
910             throw new plugin_defective_exception($component, 'Can not load main class.');
911         }
913         $blockobj    = new $classname;   // This is what we'll be testing
914         $blocktitle  = $blockobj->get_title();
916         // OK, it's as we all hoped. For further tests, the object will do them itself.
917         if (!$blockobj->_self_test()) {
918             throw new plugin_defective_exception($component, 'Self test failed.');
919         }
921         $block->name     = $blockname;   // The name MUST match the directory
923         $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
925         if (file_exists($fullblock.'/db/install.php')) {
926             if (get_config('block_'.$blockname, 'installrunning')) {
927                 require_once($fullblock.'/db/install.php');
928                 $recover_install_function = 'xmldb_block_'.$blockname.'_install_recovery';
929                 if (function_exists($recover_install_function)) {
930                     $startcallback($component, true, $verbose);
931                     $recover_install_function();
932                     unset_config('installrunning', 'block_'.$blockname);
933                     // Install various components
934                     update_capabilities($component);
935                     log_update_descriptions($component);
936                     external_update_descriptions($component);
937                     events_update_definition($component);
938                     \core\task\manager::reset_scheduled_tasks_for_component($component);
939                     message_update_providers($component);
940                     \core\message\inbound\manager::update_handlers_for_component($component);
941                     upgrade_plugin_mnet_functions($component);
942                     core_tag_area::reset_definitions_for_component($component);
943                     $endcallback($component, true, $verbose);
944                 }
945             }
946         }
948         if (empty($installedversion)) { // block not installed yet, so install it
949             $conflictblock = array_search($blocktitle, $blocktitles);
950             if ($conflictblock !== false) {
951                 // Duplicate block titles are not allowed, they confuse people
952                 // AND PHP's associative arrays ;)
953                 throw new plugin_defective_exception($component, get_string('blocknameconflict', 'error', (object)array('name'=>$block->name, 'conflict'=>$conflictblock)));
954             }
955             $startcallback($component, true, $verbose);
957             if (file_exists($fullblock.'/db/install.xml')) {
958                 $DB->get_manager()->install_from_xmldb_file($fullblock.'/db/install.xml');
959             }
960             $block->id = $DB->insert_record('block', $block);
961             upgrade_block_savepoint(true, $plugin->version, $block->name, false);
963             if (file_exists($fullblock.'/db/install.php')) {
964                 require_once($fullblock.'/db/install.php');
965                 // Set installation running flag, we need to recover after exception or error
966                 set_config('installrunning', 1, 'block_'.$blockname);
967                 $post_install_function = 'xmldb_block_'.$blockname.'_install';
968                 $post_install_function();
969                 unset_config('installrunning', 'block_'.$blockname);
970             }
972             $blocktitles[$block->name] = $blocktitle;
974             // Install various components
975             update_capabilities($component);
976             log_update_descriptions($component);
977             external_update_descriptions($component);
978             events_update_definition($component);
979             \core\task\manager::reset_scheduled_tasks_for_component($component);
980             message_update_providers($component);
981             \core\message\inbound\manager::update_handlers_for_component($component);
982             core_tag_area::reset_definitions_for_component($component);
983             upgrade_plugin_mnet_functions($component);
985             $endcallback($component, true, $verbose);
987         } else if ($installedversion < $plugin->version) {
988             $startcallback($component, false, $verbose);
990             if (is_readable($fullblock.'/db/upgrade.php')) {
991                 require_once($fullblock.'/db/upgrade.php');  // defines new upgrading function
992                 $newupgrade_function = 'xmldb_block_'.$blockname.'_upgrade';
993                 $result = $newupgrade_function($installedversion, $block);
994             } else {
995                 $result = true;
996             }
998             $installedversion = $DB->get_field('config_plugins', 'value', array('name'=>'version', 'plugin'=>$component)); // No caching!
999             $currblock = $DB->get_record('block', array('name'=>$block->name));
1000             if ($installedversion < $plugin->version) {
1001                 // store version if not already there
1002                 upgrade_block_savepoint($result, $plugin->version, $block->name, false);
1003             }
1005             if ($currblock->cron != $block->cron) {
1006                 // update cron flag if needed
1007                 $DB->set_field('block', 'cron', $block->cron, array('id' => $currblock->id));
1008             }
1010             // Upgrade various components
1011             update_capabilities($component);
1012             log_update_descriptions($component);
1013             external_update_descriptions($component);
1014             events_update_definition($component);
1015             \core\task\manager::reset_scheduled_tasks_for_component($component);
1016             message_update_providers($component);
1017             \core\message\inbound\manager::update_handlers_for_component($component);
1018             upgrade_plugin_mnet_functions($component);
1019             core_tag_area::reset_definitions_for_component($component);
1021             $endcallback($component, false, $verbose);
1023         } else if ($installedversion > $plugin->version) {
1024             throw new downgrade_exception($component, $installedversion, $plugin->version);
1025         }
1026     }
1029     // Finally, if we are in the first_install of BLOCKS setup frontpage and admin page blocks
1030     if ($first_install) {
1031         //Iterate over each course - there should be only site course here now
1032         if ($courses = $DB->get_records('course')) {
1033             foreach ($courses as $course) {
1034                 blocks_add_default_course_blocks($course);
1035             }
1036         }
1038         blocks_add_default_system_blocks();
1039     }
1043 /**
1044  * Log_display description function used during install and upgrade.
1045  *
1046  * @param string $component name of component (moodle, mod_assignment, etc.)
1047  * @return void
1048  */
1049 function log_update_descriptions($component) {
1050     global $DB;
1052     $defpath = core_component::get_component_directory($component).'/db/log.php';
1054     if (!file_exists($defpath)) {
1055         $DB->delete_records('log_display', array('component'=>$component));
1056         return;
1057     }
1059     // load new info
1060     $logs = array();
1061     include($defpath);
1062     $newlogs = array();
1063     foreach ($logs as $log) {
1064         $newlogs[$log['module'].'-'.$log['action']] = $log; // kind of unique name
1065     }
1066     unset($logs);
1067     $logs = $newlogs;
1069     $fields = array('module', 'action', 'mtable', 'field');
1070     // update all log fist
1071     $dblogs = $DB->get_records('log_display', array('component'=>$component));
1072     foreach ($dblogs as $dblog) {
1073         $name = $dblog->module.'-'.$dblog->action;
1075         if (empty($logs[$name])) {
1076             $DB->delete_records('log_display', array('id'=>$dblog->id));
1077             continue;
1078         }
1080         $log = $logs[$name];
1081         unset($logs[$name]);
1083         $update = false;
1084         foreach ($fields as $field) {
1085             if ($dblog->$field != $log[$field]) {
1086                 $dblog->$field = $log[$field];
1087                 $update = true;
1088             }
1089         }
1090         if ($update) {
1091             $DB->update_record('log_display', $dblog);
1092         }
1093     }
1094     foreach ($logs as $log) {
1095         $dblog = (object)$log;
1096         $dblog->component = $component;
1097         $DB->insert_record('log_display', $dblog);
1098     }
1101 /**
1102  * Web service discovery function used during install and upgrade.
1103  * @param string $component name of component (moodle, mod_assignment, etc.)
1104  * @return void
1105  */
1106 function external_update_descriptions($component) {
1107     global $DB, $CFG;
1109     $defpath = core_component::get_component_directory($component).'/db/services.php';
1111     if (!file_exists($defpath)) {
1112         require_once($CFG->dirroot.'/lib/externallib.php');
1113         external_delete_descriptions($component);
1114         return;
1115     }
1117     // load new info
1118     $functions = array();
1119     $services = array();
1120     include($defpath);
1122     // update all function fist
1123     $dbfunctions = $DB->get_records('external_functions', array('component'=>$component));
1124     foreach ($dbfunctions as $dbfunction) {
1125         if (empty($functions[$dbfunction->name])) {
1126             $DB->delete_records('external_functions', array('id'=>$dbfunction->id));
1127             // do not delete functions from external_services_functions, beacuse
1128             // we want to notify admins when functions used in custom services disappear
1130             //TODO: this looks wrong, we have to delete it eventually (skodak)
1131             continue;
1132         }
1134         $function = $functions[$dbfunction->name];
1135         unset($functions[$dbfunction->name]);
1136         $function['classpath'] = empty($function['classpath']) ? null : $function['classpath'];
1138         $update = false;
1139         if ($dbfunction->classname != $function['classname']) {
1140             $dbfunction->classname = $function['classname'];
1141             $update = true;
1142         }
1143         if ($dbfunction->methodname != $function['methodname']) {
1144             $dbfunction->methodname = $function['methodname'];
1145             $update = true;
1146         }
1147         if ($dbfunction->classpath != $function['classpath']) {
1148             $dbfunction->classpath = $function['classpath'];
1149             $update = true;
1150         }
1151         $functioncapabilities = array_key_exists('capabilities', $function)?$function['capabilities']:'';
1152         if ($dbfunction->capabilities != $functioncapabilities) {
1153             $dbfunction->capabilities = $functioncapabilities;
1154             $update = true;
1155         }
1157         if (isset($function['services']) and is_array($function['services'])) {
1158             sort($function['services']);
1159             $functionservices = implode(',', $function['services']);
1160         } else {
1161             // Force null values in the DB.
1162             $functionservices = null;
1163         }
1165         if ($dbfunction->services != $functionservices) {
1166             // Now, we need to check if services were removed, in that case we need to remove the function from them.
1167             $servicesremoved = array_diff(explode(",", $dbfunction->services), explode(",", $functionservices));
1168             foreach ($servicesremoved as $removedshortname) {
1169                 if ($externalserviceid = $DB->get_field('external_services', 'id', array("shortname" => $removedshortname))) {
1170                     $DB->delete_records('external_services_functions', array('functionname' => $dbfunction->name,
1171                                                                                 'externalserviceid' => $externalserviceid));
1172                 }
1173             }
1175             $dbfunction->services = $functionservices;
1176             $update = true;
1177         }
1178         if ($update) {
1179             $DB->update_record('external_functions', $dbfunction);
1180         }
1181     }
1182     foreach ($functions as $fname => $function) {
1183         $dbfunction = new stdClass();
1184         $dbfunction->name       = $fname;
1185         $dbfunction->classname  = $function['classname'];
1186         $dbfunction->methodname = $function['methodname'];
1187         $dbfunction->classpath  = empty($function['classpath']) ? null : $function['classpath'];
1188         $dbfunction->component  = $component;
1189         $dbfunction->capabilities = array_key_exists('capabilities', $function)?$function['capabilities']:'';
1191         if (isset($function['services']) and is_array($function['services'])) {
1192             sort($function['services']);
1193             $dbfunction->services = implode(',', $function['services']);
1194         } else {
1195             // Force null values in the DB.
1196             $dbfunction->services = null;
1197         }
1199         $dbfunction->id = $DB->insert_record('external_functions', $dbfunction);
1200     }
1201     unset($functions);
1203     // now deal with services
1204     $dbservices = $DB->get_records('external_services', array('component'=>$component));
1205     foreach ($dbservices as $dbservice) {
1206         if (empty($services[$dbservice->name])) {
1207             $DB->delete_records('external_tokens', array('externalserviceid'=>$dbservice->id));
1208             $DB->delete_records('external_services_functions', array('externalserviceid'=>$dbservice->id));
1209             $DB->delete_records('external_services_users', array('externalserviceid'=>$dbservice->id));
1210             $DB->delete_records('external_services', array('id'=>$dbservice->id));
1211             continue;
1212         }
1213         $service = $services[$dbservice->name];
1214         unset($services[$dbservice->name]);
1215         $service['enabled'] = empty($service['enabled']) ? 0 : $service['enabled'];
1216         $service['requiredcapability'] = empty($service['requiredcapability']) ? null : $service['requiredcapability'];
1217         $service['restrictedusers'] = !isset($service['restrictedusers']) ? 1 : $service['restrictedusers'];
1218         $service['downloadfiles'] = !isset($service['downloadfiles']) ? 0 : $service['downloadfiles'];
1219         $service['uploadfiles'] = !isset($service['uploadfiles']) ? 0 : $service['uploadfiles'];
1220         $service['shortname'] = !isset($service['shortname']) ? null : $service['shortname'];
1222         $update = false;
1223         if ($dbservice->requiredcapability != $service['requiredcapability']) {
1224             $dbservice->requiredcapability = $service['requiredcapability'];
1225             $update = true;
1226         }
1227         if ($dbservice->restrictedusers != $service['restrictedusers']) {
1228             $dbservice->restrictedusers = $service['restrictedusers'];
1229             $update = true;
1230         }
1231         if ($dbservice->downloadfiles != $service['downloadfiles']) {
1232             $dbservice->downloadfiles = $service['downloadfiles'];
1233             $update = true;
1234         }
1235         if ($dbservice->uploadfiles != $service['uploadfiles']) {
1236             $dbservice->uploadfiles = $service['uploadfiles'];
1237             $update = true;
1238         }
1239         //if shortname is not a PARAM_ALPHANUMEXT, fail (tested here for service update and creation)
1240         if (isset($service['shortname']) and
1241                 (clean_param($service['shortname'], PARAM_ALPHANUMEXT) != $service['shortname'])) {
1242             throw new moodle_exception('installserviceshortnameerror', 'webservice', '', $service['shortname']);
1243         }
1244         if ($dbservice->shortname != $service['shortname']) {
1245             //check that shortname is unique
1246             if (isset($service['shortname'])) { //we currently accepts multiple shortname == null
1247                 $existingservice = $DB->get_record('external_services',
1248                         array('shortname' => $service['shortname']));
1249                 if (!empty($existingservice)) {
1250                     throw new moodle_exception('installexistingserviceshortnameerror', 'webservice', '', $service['shortname']);
1251                 }
1252             }
1253             $dbservice->shortname = $service['shortname'];
1254             $update = true;
1255         }
1256         if ($update) {
1257             $DB->update_record('external_services', $dbservice);
1258         }
1260         $functions = $DB->get_records('external_services_functions', array('externalserviceid'=>$dbservice->id));
1261         foreach ($functions as $function) {
1262             $key = array_search($function->functionname, $service['functions']);
1263             if ($key === false) {
1264                 $DB->delete_records('external_services_functions', array('id'=>$function->id));
1265             } else {
1266                 unset($service['functions'][$key]);
1267             }
1268         }
1269         foreach ($service['functions'] as $fname) {
1270             $newf = new stdClass();
1271             $newf->externalserviceid = $dbservice->id;
1272             $newf->functionname      = $fname;
1273             $DB->insert_record('external_services_functions', $newf);
1274         }
1275         unset($functions);
1276     }
1277     foreach ($services as $name => $service) {
1278         //check that shortname is unique
1279         if (isset($service['shortname'])) { //we currently accepts multiple shortname == null
1280             $existingservice = $DB->get_record('external_services',
1281                     array('shortname' => $service['shortname']));
1282             if (!empty($existingservice)) {
1283                 throw new moodle_exception('installserviceshortnameerror', 'webservice');
1284             }
1285         }
1287         $dbservice = new stdClass();
1288         $dbservice->name               = $name;
1289         $dbservice->enabled            = empty($service['enabled']) ? 0 : $service['enabled'];
1290         $dbservice->requiredcapability = empty($service['requiredcapability']) ? null : $service['requiredcapability'];
1291         $dbservice->restrictedusers    = !isset($service['restrictedusers']) ? 1 : $service['restrictedusers'];
1292         $dbservice->downloadfiles      = !isset($service['downloadfiles']) ? 0 : $service['downloadfiles'];
1293         $dbservice->uploadfiles        = !isset($service['uploadfiles']) ? 0 : $service['uploadfiles'];
1294         $dbservice->shortname          = !isset($service['shortname']) ? null : $service['shortname'];
1295         $dbservice->component          = $component;
1296         $dbservice->timecreated        = time();
1297         $dbservice->id = $DB->insert_record('external_services', $dbservice);
1298         foreach ($service['functions'] as $fname) {
1299             $newf = new stdClass();
1300             $newf->externalserviceid = $dbservice->id;
1301             $newf->functionname      = $fname;
1302             $DB->insert_record('external_services_functions', $newf);
1303         }
1304     }
1307 /**
1308  * Allow plugins and subsystems to add external functions to other plugins or built-in services.
1309  * This function is executed just after all the plugins have been updated.
1310  */
1311 function external_update_services() {
1312     global $DB;
1314     // Look for external functions that want to be added in existing services.
1315     $functions = $DB->get_records_select('external_functions', 'services IS NOT NULL');
1317     $servicescache = array();
1318     foreach ($functions as $function) {
1319         // Prevent edge cases.
1320         if (empty($function->services)) {
1321             continue;
1322         }
1323         $services = explode(',', $function->services);
1325         foreach ($services as $serviceshortname) {
1326             // Get the service id by shortname.
1327             if (!empty($servicescache[$serviceshortname])) {
1328                 $serviceid = $servicescache[$serviceshortname];
1329             } else if ($service = $DB->get_record('external_services', array('shortname' => $serviceshortname))) {
1330                 // If the component is empty, it means that is not a built-in service.
1331                 // We don't allow functions to inject themselves in services created by an user in Moodle.
1332                 if (empty($service->component)) {
1333                     continue;
1334                 }
1335                 $serviceid = $service->id;
1336                 $servicescache[$serviceshortname] = $serviceid;
1337             } else {
1338                 // Service not found.
1339                 continue;
1340             }
1341             // Finally add the function to the service.
1342             $newf = new stdClass();
1343             $newf->externalserviceid = $serviceid;
1344             $newf->functionname      = $function->name;
1346             if (!$DB->record_exists('external_services_functions', (array)$newf)) {
1347                 $DB->insert_record('external_services_functions', $newf);
1348             }
1349         }
1350     }
1353 /**
1354  * upgrade logging functions
1355  */
1356 function upgrade_handle_exception($ex, $plugin = null) {
1357     global $CFG;
1359     // rollback everything, we need to log all upgrade problems
1360     abort_all_db_transactions();
1362     $info = get_exception_info($ex);
1364     // First log upgrade error
1365     upgrade_log(UPGRADE_LOG_ERROR, $plugin, 'Exception: ' . get_class($ex), $info->message, $info->backtrace);
1367     // Always turn on debugging - admins need to know what is going on
1368     set_debugging(DEBUG_DEVELOPER, true);
1370     default_exception_handler($ex, true, $plugin);
1373 /**
1374  * Adds log entry into upgrade_log table
1375  *
1376  * @param int $type UPGRADE_LOG_NORMAL, UPGRADE_LOG_NOTICE or UPGRADE_LOG_ERROR
1377  * @param string $plugin frankenstyle component name
1378  * @param string $info short description text of log entry
1379  * @param string $details long problem description
1380  * @param string $backtrace string used for errors only
1381  * @return void
1382  */
1383 function upgrade_log($type, $plugin, $info, $details=null, $backtrace=null) {
1384     global $DB, $USER, $CFG;
1386     if (empty($plugin)) {
1387         $plugin = 'core';
1388     }
1390     list($plugintype, $pluginname) = core_component::normalize_component($plugin);
1391     $component = is_null($pluginname) ? $plugintype : $plugintype . '_' . $pluginname;
1393     $backtrace = format_backtrace($backtrace, true);
1395     $currentversion = null;
1396     $targetversion  = null;
1398     //first try to find out current version number
1399     if ($plugintype === 'core') {
1400         //main
1401         $currentversion = $CFG->version;
1403         $version = null;
1404         include("$CFG->dirroot/version.php");
1405         $targetversion = $version;
1407     } else {
1408         $pluginversion = get_config($component, 'version');
1409         if (!empty($pluginversion)) {
1410             $currentversion = $pluginversion;
1411         }
1412         $cd = core_component::get_component_directory($component);
1413         if (file_exists("$cd/version.php")) {
1414             $plugin = new stdClass();
1415             $plugin->version = null;
1416             $module = $plugin;
1417             include("$cd/version.php");
1418             $targetversion = $plugin->version;
1419         }
1420     }
1422     $log = new stdClass();
1423     $log->type          = $type;
1424     $log->plugin        = $component;
1425     $log->version       = $currentversion;
1426     $log->targetversion = $targetversion;
1427     $log->info          = $info;
1428     $log->details       = $details;
1429     $log->backtrace     = $backtrace;
1430     $log->userid        = $USER->id;
1431     $log->timemodified  = time();
1432     try {
1433         $DB->insert_record('upgrade_log', $log);
1434     } catch (Exception $ignored) {
1435         // possible during install or 2.0 upgrade
1436     }
1439 /**
1440  * Marks start of upgrade, blocks any other access to site.
1441  * The upgrade is finished at the end of script or after timeout.
1442  *
1443  * @global object
1444  * @global object
1445  * @global object
1446  */
1447 function upgrade_started($preinstall=false) {
1448     global $CFG, $DB, $PAGE, $OUTPUT;
1450     static $started = false;
1452     if ($preinstall) {
1453         ignore_user_abort(true);
1454         upgrade_setup_debug(true);
1456     } else if ($started) {
1457         upgrade_set_timeout(120);
1459     } else {
1460         if (!CLI_SCRIPT and !$PAGE->headerprinted) {
1461             $strupgrade  = get_string('upgradingversion', 'admin');
1462             $PAGE->set_pagelayout('maintenance');
1463             upgrade_init_javascript();
1464             $PAGE->set_title($strupgrade.' - Moodle '.$CFG->target_release);
1465             $PAGE->set_heading($strupgrade);
1466             $PAGE->navbar->add($strupgrade);
1467             $PAGE->set_cacheable(false);
1468             echo $OUTPUT->header();
1469         }
1471         ignore_user_abort(true);
1472         core_shutdown_manager::register_function('upgrade_finished_handler');
1473         upgrade_setup_debug(true);
1474         set_config('upgraderunning', time()+300);
1475         $started = true;
1476     }
1479 /**
1480  * Internal function - executed if upgrade interrupted.
1481  */
1482 function upgrade_finished_handler() {
1483     upgrade_finished();
1486 /**
1487  * Indicates upgrade is finished.
1488  *
1489  * This function may be called repeatedly.
1490  *
1491  * @global object
1492  * @global object
1493  */
1494 function upgrade_finished($continueurl=null) {
1495     global $CFG, $DB, $OUTPUT;
1497     if (!empty($CFG->upgraderunning)) {
1498         unset_config('upgraderunning');
1499         // We have to forcefully purge the caches using the writer here.
1500         // This has to be done after we unset the config var. If someone hits the site while this is set they will
1501         // cause the config values to propogate to the caches.
1502         // Caches are purged after the last step in an upgrade but there is several code routines that exceute between
1503         // then and now that leaving a window for things to fall out of sync.
1504         cache_helper::purge_all(true);
1505         upgrade_setup_debug(false);
1506         ignore_user_abort(false);
1507         if ($continueurl) {
1508             echo $OUTPUT->continue_button($continueurl);
1509             echo $OUTPUT->footer();
1510             die;
1511         }
1512     }
1515 /**
1516  * @global object
1517  * @global object
1518  */
1519 function upgrade_setup_debug($starting) {
1520     global $CFG, $DB;
1522     static $originaldebug = null;
1524     if ($starting) {
1525         if ($originaldebug === null) {
1526             $originaldebug = $DB->get_debug();
1527         }
1528         if (!empty($CFG->upgradeshowsql)) {
1529             $DB->set_debug(true);
1530         }
1531     } else {
1532         $DB->set_debug($originaldebug);
1533     }
1536 function print_upgrade_separator() {
1537     if (!CLI_SCRIPT) {
1538         echo '<hr />';
1539     }
1542 /**
1543  * Default start upgrade callback
1544  * @param string $plugin
1545  * @param bool $installation true if installation, false means upgrade
1546  */
1547 function print_upgrade_part_start($plugin, $installation, $verbose) {
1548     global $OUTPUT;
1549     if (empty($plugin) or $plugin == 'moodle') {
1550         upgrade_started($installation); // does not store upgrade running flag yet
1551         if ($verbose) {
1552             echo $OUTPUT->heading(get_string('coresystem'));
1553         }
1554     } else {
1555         upgrade_started();
1556         if ($verbose) {
1557             echo $OUTPUT->heading($plugin);
1558         }
1559     }
1560     core_upgrade_time::record_start();
1561     if ($installation) {
1562         if (empty($plugin) or $plugin == 'moodle') {
1563             // no need to log - log table not yet there ;-)
1564         } else {
1565             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting plugin installation');
1566         }
1567     } else {
1568         if (empty($plugin) or $plugin == 'moodle') {
1569             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting core upgrade');
1570         } else {
1571             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Starting plugin upgrade');
1572         }
1573     }
1576 /**
1577  * Default end upgrade callback
1578  * @param string $plugin
1579  * @param bool $installation true if installation, false means upgrade
1580  */
1581 function print_upgrade_part_end($plugin, $installation, $verbose) {
1582     global $OUTPUT;
1583     upgrade_started();
1584     if ($installation) {
1585         if (empty($plugin) or $plugin == 'moodle') {
1586             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Core installed');
1587         } else {
1588             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Plugin installed');
1589         }
1590     } else {
1591         if (empty($plugin) or $plugin == 'moodle') {
1592             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Core upgraded');
1593         } else {
1594             upgrade_log(UPGRADE_LOG_NORMAL, $plugin, 'Plugin upgraded');
1595         }
1596     }
1597     if ($verbose) {
1598         $duration = core_upgrade_time::get_elapsed();
1599         $notification = new \core\output\notification(
1600                 get_string('successduration', '', format_float($duration, 2)),
1601                 \core\output\notification::NOTIFY_SUCCESS);
1602         $notification->set_show_closebutton(false);
1603         echo $OUTPUT->render($notification);
1604         print_upgrade_separator();
1605     }
1608 /**
1609  * Sets up JS code required for all upgrade scripts.
1610  * @global object
1611  */
1612 function upgrade_init_javascript() {
1613     global $PAGE;
1614     // scroll to the end of each upgrade page so that ppl see either error or continue button,
1615     // no need to scroll continuously any more, it is enough to jump to end once the footer is printed ;-)
1616     $js = "window.scrollTo(0, 5000000);";
1617     $PAGE->requires->js_init_code($js);
1620 /**
1621  * Try to upgrade the given language pack (or current language)
1622  *
1623  * @param string $lang the code of the language to update, defaults to the current language
1624  */
1625 function upgrade_language_pack($lang = null) {
1626     global $CFG;
1628     if (!empty($CFG->skiplangupgrade)) {
1629         return;
1630     }
1632     if (!file_exists("$CFG->dirroot/$CFG->admin/tool/langimport/lib.php")) {
1633         // weird, somebody uninstalled the import utility
1634         return;
1635     }
1637     if (!$lang) {
1638         $lang = current_language();
1639     }
1641     if (!get_string_manager()->translation_exists($lang)) {
1642         return;
1643     }
1645     get_string_manager()->reset_caches();
1647     if ($lang === 'en') {
1648         return;  // Nothing to do
1649     }
1651     upgrade_started(false);
1653     require_once("$CFG->dirroot/$CFG->admin/tool/langimport/lib.php");
1654     tool_langimport_preupgrade_update($lang);
1656     get_string_manager()->reset_caches();
1658     print_upgrade_separator();
1661 /**
1662  * Install core moodle tables and initialize
1663  * @param float $version target version
1664  * @param bool $verbose
1665  * @return void, may throw exception
1666  */
1667 function install_core($version, $verbose) {
1668     global $CFG, $DB;
1670     // We can not call purge_all_caches() yet, make sure the temp and cache dirs exist and are empty.
1671     remove_dir($CFG->cachedir.'', true);
1672     make_cache_directory('', true);
1674     remove_dir($CFG->localcachedir.'', true);
1675     make_localcache_directory('', true);
1677     remove_dir($CFG->tempdir.'', true);
1678     make_temp_directory('', true);
1680     remove_dir($CFG->dataroot.'/muc', true);
1681     make_writable_directory($CFG->dataroot.'/muc', true);
1683     try {
1684         core_php_time_limit::raise(600);
1685         print_upgrade_part_start('moodle', true, $verbose); // does not store upgrade running flag
1687         $DB->get_manager()->install_from_xmldb_file("$CFG->libdir/db/install.xml");
1688         upgrade_started();     // we want the flag to be stored in config table ;-)
1690         // set all core default records and default settings
1691         require_once("$CFG->libdir/db/install.php");
1692         xmldb_main_install(); // installs the capabilities too
1694         // store version
1695         upgrade_main_savepoint(true, $version, false);
1697         // Continue with the installation
1698         log_update_descriptions('moodle');
1699         external_update_descriptions('moodle');
1700         events_update_definition('moodle');
1701         \core\task\manager::reset_scheduled_tasks_for_component('moodle');
1702         message_update_providers('moodle');
1703         \core\message\inbound\manager::update_handlers_for_component('moodle');
1704         core_tag_area::reset_definitions_for_component('moodle');
1706         // Write default settings unconditionally
1707         admin_apply_default_settings(NULL, true);
1709         print_upgrade_part_end(null, true, $verbose);
1711         // Purge all caches. They're disabled but this ensures that we don't have any persistent data just in case something
1712         // during installation didn't use APIs.
1713         cache_helper::purge_all();
1714     } catch (exception $ex) {
1715         upgrade_handle_exception($ex);
1716     } catch (Throwable $ex) {
1717         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1718         upgrade_handle_exception($ex);
1719     }
1722 /**
1723  * Upgrade moodle core
1724  * @param float $version target version
1725  * @param bool $verbose
1726  * @return void, may throw exception
1727  */
1728 function upgrade_core($version, $verbose) {
1729     global $CFG, $SITE, $DB, $COURSE;
1731     raise_memory_limit(MEMORY_EXTRA);
1733     require_once($CFG->libdir.'/db/upgrade.php');    // Defines upgrades
1735     try {
1736         // Reset caches before any output.
1737         cache_helper::purge_all(true);
1738         purge_all_caches();
1740         // Upgrade current language pack if we can
1741         upgrade_language_pack();
1743         print_upgrade_part_start('moodle', false, $verbose);
1745         // Pre-upgrade scripts for local hack workarounds.
1746         $preupgradefile = "$CFG->dirroot/local/preupgrade.php";
1747         if (file_exists($preupgradefile)) {
1748             core_php_time_limit::raise();
1749             require($preupgradefile);
1750             // Reset upgrade timeout to default.
1751             upgrade_set_timeout();
1752         }
1754         $result = xmldb_main_upgrade($CFG->version);
1755         if ($version > $CFG->version) {
1756             // store version if not already there
1757             upgrade_main_savepoint($result, $version, false);
1758         }
1760         // In case structure of 'course' table has been changed and we forgot to update $SITE, re-read it from db.
1761         $SITE = $DB->get_record('course', array('id' => $SITE->id));
1762         $COURSE = clone($SITE);
1764         // perform all other component upgrade routines
1765         update_capabilities('moodle');
1766         log_update_descriptions('moodle');
1767         external_update_descriptions('moodle');
1768         events_update_definition('moodle');
1769         \core\task\manager::reset_scheduled_tasks_for_component('moodle');
1770         message_update_providers('moodle');
1771         \core\message\inbound\manager::update_handlers_for_component('moodle');
1772         core_tag_area::reset_definitions_for_component('moodle');
1773         // Update core definitions.
1774         cache_helper::update_definitions(true);
1776         // Purge caches again, just to be sure we arn't holding onto old stuff now.
1777         cache_helper::purge_all(true);
1778         purge_all_caches();
1780         // Clean up contexts - more and more stuff depends on existence of paths and contexts
1781         context_helper::cleanup_instances();
1782         context_helper::create_instances(null, false);
1783         context_helper::build_all_paths(false);
1784         $syscontext = context_system::instance();
1785         $syscontext->mark_dirty();
1787         print_upgrade_part_end('moodle', false, $verbose);
1788     } catch (Exception $ex) {
1789         upgrade_handle_exception($ex);
1790     } catch (Throwable $ex) {
1791         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1792         upgrade_handle_exception($ex);
1793     }
1796 /**
1797  * Upgrade/install other parts of moodle
1798  * @param bool $verbose
1799  * @return void, may throw exception
1800  */
1801 function upgrade_noncore($verbose) {
1802     global $CFG;
1804     raise_memory_limit(MEMORY_EXTRA);
1806     // upgrade all plugins types
1807     try {
1808         // Reset caches before any output.
1809         cache_helper::purge_all(true);
1810         purge_all_caches();
1812         $plugintypes = core_component::get_plugin_types();
1813         foreach ($plugintypes as $type=>$location) {
1814             upgrade_plugins($type, 'print_upgrade_part_start', 'print_upgrade_part_end', $verbose);
1815         }
1816         // Upgrade services.
1817         // This function gives plugins and subsystems a chance to add functions to existing built-in services.
1818         external_update_services();
1820         // Update cache definitions. Involves scanning each plugin for any changes.
1821         cache_helper::update_definitions();
1822         // Mark the site as upgraded.
1823         set_config('allversionshash', core_component::get_all_versions_hash());
1825         // Purge caches again, just to be sure we arn't holding onto old stuff now.
1826         cache_helper::purge_all(true);
1827         purge_all_caches();
1829     } catch (Exception $ex) {
1830         upgrade_handle_exception($ex);
1831     } catch (Throwable $ex) {
1832         // Engine errors in PHP7 throw exceptions of type Throwable (this "catch" will be ignored in PHP5).
1833         upgrade_handle_exception($ex);
1834     }
1837 /**
1838  * Checks if the main tables have been installed yet or not.
1839  *
1840  * Note: we can not use caches here because they might be stale,
1841  *       use with care!
1842  *
1843  * @return bool
1844  */
1845 function core_tables_exist() {
1846     global $DB;
1848     if (!$tables = $DB->get_tables(false) ) {    // No tables yet at all.
1849         return false;
1851     } else {                                 // Check for missing main tables
1852         $mtables = array('config', 'course', 'groupings'); // some tables used in 1.9 and 2.0, preferable something from the start and end of install.xml
1853         foreach ($mtables as $mtable) {
1854             if (!in_array($mtable, $tables)) {
1855                 return false;
1856             }
1857         }
1858         return true;
1859     }
1862 /**
1863  * upgrades the mnet rpc definitions for the given component.
1864  * this method doesn't return status, an exception will be thrown in the case of an error
1865  *
1866  * @param string $component the plugin to upgrade, eg auth_mnet
1867  */
1868 function upgrade_plugin_mnet_functions($component) {
1869     global $DB, $CFG;
1871     list($type, $plugin) = core_component::normalize_component($component);
1872     $path = core_component::get_plugin_directory($type, $plugin);
1874     $publishes = array();
1875     $subscribes = array();
1876     if (file_exists($path . '/db/mnet.php')) {
1877         require_once($path . '/db/mnet.php'); // $publishes comes from this file
1878     }
1879     if (empty($publishes)) {
1880         $publishes = array(); // still need this to be able to disable stuff later
1881     }
1882     if (empty($subscribes)) {
1883         $subscribes = array(); // still need this to be able to disable stuff later
1884     }
1886     static $servicecache = array();
1888     // rekey an array based on the rpc method for easy lookups later
1889     $publishmethodservices = array();
1890     $subscribemethodservices = array();
1891     foreach($publishes as $servicename => $service) {
1892         if (is_array($service['methods'])) {
1893             foreach($service['methods'] as $methodname) {
1894                 $service['servicename'] = $servicename;
1895                 $publishmethodservices[$methodname][] = $service;
1896             }
1897         }
1898     }
1900     // Disable functions that don't exist (any more) in the source
1901     // Should these be deleted? What about their permissions records?
1902     foreach ($DB->get_records('mnet_rpc', array('pluginname'=>$plugin, 'plugintype'=>$type), 'functionname ASC ') as $rpc) {
1903         if (!array_key_exists($rpc->functionname, $publishmethodservices) && $rpc->enabled) {
1904             $DB->set_field('mnet_rpc', 'enabled', 0, array('id' => $rpc->id));
1905         } else if (array_key_exists($rpc->functionname, $publishmethodservices) && !$rpc->enabled) {
1906             $DB->set_field('mnet_rpc', 'enabled', 1, array('id' => $rpc->id));
1907         }
1908     }
1910     // reflect all the services we're publishing and save them
1911     static $cachedclasses = array(); // to store reflection information in
1912     foreach ($publishes as $service => $data) {
1913         $f = $data['filename'];
1914         $c = $data['classname'];
1915         foreach ($data['methods'] as $method) {
1916             $dataobject = new stdClass();
1917             $dataobject->plugintype  = $type;
1918             $dataobject->pluginname  = $plugin;
1919             $dataobject->enabled     = 1;
1920             $dataobject->classname   = $c;
1921             $dataobject->filename    = $f;
1923             if (is_string($method)) {
1924                 $dataobject->functionname = $method;
1926             } else if (is_array($method)) { // wants to override file or class
1927                 $dataobject->functionname = $method['method'];
1928                 $dataobject->classname     = $method['classname'];
1929                 $dataobject->filename      = $method['filename'];
1930             }
1931             $dataobject->xmlrpcpath = $type.'/'.$plugin.'/'.$dataobject->filename.'/'.$method;
1932             $dataobject->static = false;
1934             require_once($path . '/' . $dataobject->filename);
1935             $functionreflect = null; // slightly different ways to get this depending on whether it's a class method or a function
1936             if (!empty($dataobject->classname)) {
1937                 if (!class_exists($dataobject->classname)) {
1938                     throw new moodle_exception('installnosuchmethod', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname));
1939                 }
1940                 $key = $dataobject->filename . '|' . $dataobject->classname;
1941                 if (!array_key_exists($key, $cachedclasses)) { // look to see if we've already got a reflection object
1942                     try {
1943                         $cachedclasses[$key] = new ReflectionClass($dataobject->classname);
1944                     } catch (ReflectionException $e) { // catch these and rethrow them to something more helpful
1945                         throw new moodle_exception('installreflectionclasserror', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname, 'error' => $e->getMessage()));
1946                     }
1947                 }
1948                 $r =& $cachedclasses[$key];
1949                 if (!$r->hasMethod($dataobject->functionname)) {
1950                     throw new moodle_exception('installnosuchmethod', 'mnet', '', (object)array('method' => $dataobject->functionname, 'class' => $dataobject->classname));
1951                 }
1952                 $functionreflect = $r->getMethod($dataobject->functionname);
1953                 $dataobject->static = (int)$functionreflect->isStatic();
1954             } else {
1955                 if (!function_exists($dataobject->functionname)) {
1956                     throw new moodle_exception('installnosuchfunction', 'mnet', '', (object)array('method' => $dataobject->functionname, 'file' => $dataobject->filename));
1957                 }
1958                 try {
1959                     $functionreflect = new ReflectionFunction($dataobject->functionname);
1960                 } catch (ReflectionException $e) { // catch these and rethrow them to something more helpful
1961                     throw new moodle_exception('installreflectionfunctionerror', 'mnet', '', (object)array('method' => $dataobject->functionname, '' => $dataobject->filename, 'error' => $e->getMessage()));
1962                 }
1963             }
1964             $dataobject->profile =  serialize(admin_mnet_method_profile($functionreflect));
1965             $dataobject->help = admin_mnet_method_get_help($functionreflect);
1967             if ($record_exists = $DB->get_record('mnet_rpc', array('xmlrpcpath'=>$dataobject->xmlrpcpath))) {
1968                 $dataobject->id      = $record_exists->id;
1969                 $dataobject->enabled = $record_exists->enabled;
1970                 $DB->update_record('mnet_rpc', $dataobject);
1971             } else {
1972                 $dataobject->id = $DB->insert_record('mnet_rpc', $dataobject, true);
1973             }
1975             // TODO this API versioning must be reworked, here the recently processed method
1976             // sets the service API which may not be correct
1977             foreach ($publishmethodservices[$dataobject->functionname] as $service) {
1978                 if ($serviceobj = $DB->get_record('mnet_service', array('name'=>$service['servicename']))) {
1979                     $serviceobj->apiversion = $service['apiversion'];
1980                     $DB->update_record('mnet_service', $serviceobj);
1981                 } else {
1982                     $serviceobj = new stdClass();
1983                     $serviceobj->name        = $service['servicename'];
1984                     $serviceobj->description = empty($service['description']) ? '' : $service['description'];
1985                     $serviceobj->apiversion  = $service['apiversion'];
1986                     $serviceobj->offer       = 1;
1987                     $serviceobj->id          = $DB->insert_record('mnet_service', $serviceobj);
1988                 }
1989                 $servicecache[$service['servicename']] = $serviceobj;
1990                 if (!$DB->record_exists('mnet_service2rpc', array('rpcid'=>$dataobject->id, 'serviceid'=>$serviceobj->id))) {
1991                     $obj = new stdClass();
1992                     $obj->rpcid = $dataobject->id;
1993                     $obj->serviceid = $serviceobj->id;
1994                     $DB->insert_record('mnet_service2rpc', $obj, true);
1995                 }
1996             }
1997         }
1998     }
1999     // finished with methods we publish, now do subscribable methods
2000     foreach($subscribes as $service => $methods) {
2001         if (!array_key_exists($service, $servicecache)) {
2002             if (!$serviceobj = $DB->get_record('mnet_service', array('name' =>  $service))) {
2003                 debugging("TODO: skipping unknown service $service - somebody needs to fix MDL-21993");
2004                 continue;
2005             }
2006             $servicecache[$service] = $serviceobj;
2007         } else {
2008             $serviceobj = $servicecache[$service];
2009         }
2010         foreach ($methods as $method => $xmlrpcpath) {
2011             if (!$rpcid = $DB->get_field('mnet_remote_rpc', 'id', array('xmlrpcpath'=>$xmlrpcpath))) {
2012                 $remoterpc = (object)array(
2013                     'functionname' => $method,
2014                     'xmlrpcpath' => $xmlrpcpath,
2015                     'plugintype' => $type,
2016                     'pluginname' => $plugin,
2017                     'enabled'    => 1,
2018                 );
2019                 $rpcid = $remoterpc->id = $DB->insert_record('mnet_remote_rpc', $remoterpc, true);
2020             }
2021             if (!$DB->record_exists('mnet_remote_service2rpc', array('rpcid'=>$rpcid, 'serviceid'=>$serviceobj->id))) {
2022                 $obj = new stdClass();
2023                 $obj->rpcid = $rpcid;
2024                 $obj->serviceid = $serviceobj->id;
2025                 $DB->insert_record('mnet_remote_service2rpc', $obj, true);
2026             }
2027             $subscribemethodservices[$method][] = $service;
2028         }
2029     }
2031     foreach ($DB->get_records('mnet_remote_rpc', array('pluginname'=>$plugin, 'plugintype'=>$type), 'functionname ASC ') as $rpc) {
2032         if (!array_key_exists($rpc->functionname, $subscribemethodservices) && $rpc->enabled) {
2033             $DB->set_field('mnet_remote_rpc', 'enabled', 0, array('id' => $rpc->id));
2034         } else if (array_key_exists($rpc->functionname, $subscribemethodservices) && !$rpc->enabled) {
2035             $DB->set_field('mnet_remote_rpc', 'enabled', 1, array('id' => $rpc->id));
2036         }
2037     }
2039     return true;
2042 /**
2043  * Given some sort of reflection function/method object, return a profile array, ready to be serialized and stored
2044  *
2045  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2046  *
2047  * @return array associative array with function/method information
2048  */
2049 function admin_mnet_method_profile(ReflectionFunctionAbstract $function) {
2050     $commentlines = admin_mnet_method_get_docblock($function);
2051     $getkey = function($key) use ($commentlines) {
2052         return array_values(array_filter($commentlines, function($line) use ($key) {
2053             return $line[0] == $key;
2054         }));
2055     };
2056     $returnline = $getkey('@return');
2057     return array (
2058         'parameters' => array_map(function($line) {
2059             return array(
2060                 'name' => trim($line[2], " \t\n\r\0\x0B$"),
2061                 'type' => $line[1],
2062                 'description' => $line[3]
2063             );
2064         }, $getkey('@param')),
2066         'return' => array(
2067             'type' => !empty($returnline[0][1]) ? $returnline[0][1] : 'void',
2068             'description' => !empty($returnline[0][2]) ? $returnline[0][2] : ''
2069         )
2070     );
2073 /**
2074  * Given some sort of reflection function/method object, return an array of docblock lines, where each line is an array of
2075  * keywords/descriptions
2076  *
2077  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2078  *
2079  * @return array docblock converted in to an array
2080  */
2081 function admin_mnet_method_get_docblock(ReflectionFunctionAbstract $function) {
2082     return array_map(function($line) {
2083         $text = trim($line, " \t\n\r\0\x0B*/");
2084         if (strpos($text, '@param') === 0) {
2085             return preg_split('/\s+/', $text, 4);
2086         }
2088         if (strpos($text, '@return') === 0) {
2089             return preg_split('/\s+/', $text, 3);
2090         }
2092         return array($text);
2093     }, explode("\n", $function->getDocComment()));
2096 /**
2097  * Given some sort of reflection function/method object, return just the help text
2098  *
2099  * @param ReflectionFunctionAbstract $function reflection function/method object from which to extract information
2100  *
2101  * @return string docblock help text
2102  */
2103 function admin_mnet_method_get_help(ReflectionFunctionAbstract $function) {
2104     $helplines = array_map(function($line) {
2105         return implode(' ', $line);
2106     }, array_values(array_filter(admin_mnet_method_get_docblock($function), function($line) {
2107         return strpos($line[0], '@') !== 0 && !empty($line[0]);
2108     })));
2110     return implode("\n", $helplines);
2113 /**
2114  * Detect draft file areas with missing root directory records and add them.
2115  */
2116 function upgrade_fix_missing_root_folders_draft() {
2117     global $DB;
2119     $transaction = $DB->start_delegated_transaction();
2121     $sql = "SELECT contextid, itemid, MAX(timecreated) AS timecreated, MAX(timemodified) AS timemodified
2122               FROM {files}
2123              WHERE (component = 'user' AND filearea = 'draft')
2124           GROUP BY contextid, itemid
2125             HAVING MAX(CASE WHEN filename = '.' AND filepath = '/' THEN 1 ELSE 0 END) = 0";
2127     $rs = $DB->get_recordset_sql($sql);
2128     $defaults = array('component' => 'user',
2129         'filearea' => 'draft',
2130         'filepath' => '/',
2131         'filename' => '.',
2132         'userid' => 0, // Don't rely on any particular user for these system records.
2133         'filesize' => 0,
2134         // Note: This does not use the file_storage API's hash calculator
2135         // because access to core APIs is not allowed during upgrade.
2136         'contenthash' => sha1(''),
2137     );
2138     foreach ($rs as $r) {
2139         $r->pathnamehash = sha1("/$r->contextid/user/draft/$r->itemid/.");
2140         $DB->insert_record('files', (array)$r + $defaults);
2141     }
2142     $rs->close();
2143     $transaction->allow_commit();
2146 /**
2147  * This function verifies that the database is not using an unsupported storage engine.
2148  *
2149  * @param environment_results $result object to update, if relevant
2150  * @return environment_results|null updated results object, or null if the storage engine is supported
2151  */
2152 function check_database_storage_engine(environment_results $result) {
2153     global $DB;
2155     // Check if MySQL is the DB family (this will also be the same for MariaDB).
2156     if ($DB->get_dbfamily() == 'mysql') {
2157         // Get the database engine we will either be using to install the tables, or what we are currently using.
2158         $engine = $DB->get_dbengine();
2159         // Check if MyISAM is the storage engine that will be used, if so, do not proceed and display an error.
2160         if ($engine == 'MyISAM') {
2161             $result->setInfo('unsupported_db_storage_engine');
2162             $result->setStatus(false);
2163             return $result;
2164         }
2165     }
2167     return null;
2170 /**
2171  * Method used to check the usage of slasharguments config and display a warning message.
2172  *
2173  * @param environment_results $result object to update, if relevant.
2174  * @return environment_results|null updated results or null if slasharguments is disabled.
2175  */
2176 function check_slasharguments(environment_results $result){
2177     global $CFG;
2179     if (!during_initial_install() && empty($CFG->slasharguments)) {
2180         $result->setInfo('slasharguments');
2181         $result->setStatus(false);
2182         return $result;
2183     }
2185     return null;
2188 /**
2189  * This function verifies if the database has tables using innoDB Antelope row format.
2190  *
2191  * @param environment_results $result
2192  * @return environment_results|null updated results object, or null if no Antelope table has been found.
2193  */
2194 function check_database_tables_row_format(environment_results $result) {
2195     global $DB;
2197     if ($DB->get_dbfamily() == 'mysql') {
2198         $generator = $DB->get_manager()->generator;
2200         foreach ($DB->get_tables(false) as $table) {
2201             $columns = $DB->get_columns($table, false);
2202             $size = $generator->guess_antelope_row_size($columns);
2203             $format = $DB->get_row_format($table);
2205             if ($size <= $generator::ANTELOPE_MAX_ROW_SIZE) {
2206                 continue;
2207             }
2209             if ($format === 'Compact' or $format === 'Redundant') {
2210                 $result->setInfo('unsupported_db_table_row_format');
2211                 $result->setStatus(false);
2212                 return $result;
2213             }
2214         }
2215     }
2217     return null;
2220 /**
2221  * This function verfies that the database has tables using InnoDB Antelope row format.
2222  *
2223  * @param environment_results $result
2224  * @return environment_results|null updated results object, or null if no Antelope table has been found.
2225  */
2226 function check_mysql_file_format(environment_results $result) {
2227     global $DB;
2229     if ($DB->get_dbfamily() == 'mysql') {
2230         $collation = $DB->get_dbcollation();
2231         $collationinfo = explode('_', $collation);
2232         $charset = reset($collationinfo);
2234         if ($charset == 'utf8mb4') {
2235             if ($DB->get_row_format() !== "Barracuda") {
2236                 $result->setInfo('mysql_full_unicode_support#File_format');
2237                 $result->setStatus(false);
2238                 return $result;
2239             }
2240         }
2241     }
2242     return null;
2245 /**
2246  * This function verfies that the database has a setting of one file per table. This is required for 'utf8mb4'.
2247  *
2248  * @param environment_results $result
2249  * @return environment_results|null updated results object, or null if innodb_file_per_table = 1.
2250  */
2251 function check_mysql_file_per_table(environment_results $result) {
2252     global $DB;
2254     if ($DB->get_dbfamily() == 'mysql') {
2255         $collation = $DB->get_dbcollation();
2256         $collationinfo = explode('_', $collation);
2257         $charset = reset($collationinfo);
2259         if ($charset == 'utf8mb4') {
2260             if (!$DB->is_file_per_table_enabled()) {
2261                 $result->setInfo('mysql_full_unicode_support#File_per_table');
2262                 $result->setStatus(false);
2263                 return $result;
2264             }
2265         }
2266     }
2267     return null;
2270 /**
2271  * This function verfies that the database has the setting of large prefix enabled. This is required for 'utf8mb4'.
2272  *
2273  * @param environment_results $result
2274  * @return environment_results|null updated results object, or null if innodb_large_prefix = 1.
2275  */
2276 function check_mysql_large_prefix(environment_results $result) {
2277     global $DB;
2279     if ($DB->get_dbfamily() == 'mysql') {
2280         $collation = $DB->get_dbcollation();
2281         $collationinfo = explode('_', $collation);
2282         $charset = reset($collationinfo);
2284         if ($charset == 'utf8mb4') {
2285             if (!$DB->is_large_prefix_enabled()) {
2286                 $result->setInfo('mysql_full_unicode_support#Large_prefix');
2287                 $result->setStatus(false);
2288                 return $result;
2289             }
2290         }
2291     }
2292     return null;
2295 /**
2296  * This function checks the database to see if it is using incomplete unicode support.
2297  *
2298  * @param  environment_results $result $result
2299  * @return environment_results|null updated results object, or null if unicode is fully supported.
2300  */
2301 function check_mysql_incomplete_unicode_support(environment_results $result) {
2302     global $DB;
2304     if ($DB->get_dbfamily() == 'mysql') {
2305         $collation = $DB->get_dbcollation();
2306         $collationinfo = explode('_', $collation);
2307         $charset = reset($collationinfo);
2309         if ($charset == 'utf8') {
2310             $result->setInfo('mysql_full_unicode_support');
2311             $result->setStatus(false);
2312             return $result;
2313         }
2314     }
2315     return null;
2318 /**
2319  * Check if the site is being served using an ssl url.
2320  *
2321  * Note this does not really perform any request neither looks for proxies or
2322  * other situations. Just looks to wwwroot and warn if it's not using https.
2323  *
2324  * @param  environment_results $result $result
2325  * @return environment_results|null updated results object, or null if the site is https.
2326  */
2327 function check_is_https(environment_results $result) {
2328     global $CFG;
2330     // Only if is defined, non-empty and whatever core tell us.
2331     if (!empty($CFG->wwwroot) && !is_https()) {
2332         $result->setInfo('site not https');
2333         $result->setStatus(false);
2334         return $result;
2335     }
2336     return null;
2339 /**
2340  * Upgrade the minmaxgrade setting.
2341  *
2342  * This step should only be run for sites running 2.8 or later. Sites using 2.7 will be fine
2343  * using the new default system setting $CFG->grade_minmaxtouse.
2344  *
2345  * @return void
2346  */
2347 function upgrade_minmaxgrade() {
2348     global $CFG, $DB;
2350     // 2 is a copy of GRADE_MIN_MAX_FROM_GRADE_GRADE.
2351     $settingvalue = 2;
2353     // Set the course setting when:
2354     // - The system setting does not exist yet.
2355     // - The system seeting is not set to what we'd set the course setting.
2356     $setcoursesetting = !isset($CFG->grade_minmaxtouse) || $CFG->grade_minmaxtouse != $settingvalue;
2358     // Identify the courses that have inconsistencies grade_item vs grade_grade.
2359     $sql = "SELECT DISTINCT(gi.courseid)
2360               FROM {grade_grades} gg
2361               JOIN {grade_items} gi
2362                 ON gg.itemid = gi.id
2363              WHERE gi.itemtype NOT IN (?, ?)
2364                AND (gg.rawgrademax != gi.grademax OR gg.rawgrademin != gi.grademin)";
2366     $rs = $DB->get_recordset_sql($sql, array('course', 'category'));
2367     foreach ($rs as $record) {
2368         // Flag the course to show a notice in the gradebook.
2369         set_config('show_min_max_grades_changed_' . $record->courseid, 1);
2371         // Set the appropriate course setting so that grades displayed are not changed.
2372         $configname = 'minmaxtouse';
2373         if ($setcoursesetting &&
2374                 !$DB->record_exists('grade_settings', array('courseid' => $record->courseid, 'name' => $configname))) {
2375             // Do not set the setting when the course already defines it.
2376             $data = new stdClass();
2377             $data->courseid = $record->courseid;
2378             $data->name     = $configname;
2379             $data->value    = $settingvalue;
2380             $DB->insert_record('grade_settings', $data);
2381         }
2383         // Mark the grades to be regraded.
2384         $DB->set_field('grade_items', 'needsupdate', 1, array('courseid' => $record->courseid));
2385     }
2386     $rs->close();
2390 /**
2391  * Assert the upgrade key is provided, if it is defined.
2392  *
2393  * The upgrade key can be defined in the main config.php as $CFG->upgradekey. If
2394  * it is defined there, then its value must be provided every time the site is
2395  * being upgraded, regardless the administrator is logged in or not.
2396  *
2397  * This is supposed to be used at certain places in /admin/index.php only.
2398  *
2399  * @param string|null $upgradekeyhash the SHA-1 of the value provided by the user
2400  */
2401 function check_upgrade_key($upgradekeyhash) {
2402     global $CFG, $PAGE;
2404     if (isset($CFG->config_php_settings['upgradekey'])) {
2405         if ($upgradekeyhash === null or $upgradekeyhash !== sha1($CFG->config_php_settings['upgradekey'])) {
2406             if (!$PAGE->headerprinted) {
2407                 $output = $PAGE->get_renderer('core', 'admin');
2408                 echo $output->upgradekey_form_page(new moodle_url('/admin/index.php', array('cache' => 0)));
2409                 die();
2410             } else {
2411                 // This should not happen.
2412                 die('Upgrade locked');
2413             }
2414         }
2415     }
2418 /**
2419  * Helper procedure/macro for installing remote plugins at admin/index.php
2420  *
2421  * Does not return, always redirects or exits.
2422  *
2423  * @param array $installable list of \core\update\remote_info
2424  * @param bool $confirmed false: display the validation screen, true: proceed installation
2425  * @param string $heading validation screen heading
2426  * @param moodle_url|string|null $continue URL to proceed with installation at the validation screen
2427  * @param moodle_url|string|null $return URL to go back on cancelling at the validation screen
2428  */
2429 function upgrade_install_plugins(array $installable, $confirmed, $heading='', $continue=null, $return=null) {
2430     global $CFG, $PAGE;
2432     if (empty($return)) {
2433         $return = $PAGE->url;
2434     }
2436     if (!empty($CFG->disableupdateautodeploy)) {
2437         redirect($return);
2438     }
2440     if (empty($installable)) {
2441         redirect($return);
2442     }
2444     $pluginman = core_plugin_manager::instance();
2446     if ($confirmed) {
2447         // Installation confirmed at the validation results page.
2448         if (!$pluginman->install_plugins($installable, true, true)) {
2449             throw new moodle_exception('install_plugins_failed', 'core_plugin', $return);
2450         }
2452         // Always redirect to admin/index.php to perform the database upgrade.
2453         // Do not throw away the existing $PAGE->url parameters such as
2454         // confirmupgrade or confirmrelease if $PAGE->url is a superset of the
2455         // URL we must go to.
2456         $mustgoto = new moodle_url('/admin/index.php', array('cache' => 0, 'confirmplugincheck' => 0));
2457         if ($mustgoto->compare($PAGE->url, URL_MATCH_PARAMS)) {
2458             redirect($PAGE->url);
2459         } else {
2460             redirect($mustgoto);
2461         }
2463     } else {
2464         $output = $PAGE->get_renderer('core', 'admin');
2465         echo $output->header();
2466         if ($heading) {
2467             echo $output->heading($heading, 3);
2468         }
2469         echo html_writer::start_tag('pre', array('class' => 'plugin-install-console'));
2470         $validated = $pluginman->install_plugins($installable, false, false);
2471         echo html_writer::end_tag('pre');
2472         if ($validated) {
2473             echo $output->plugins_management_confirm_buttons($continue, $return);
2474         } else {
2475             echo $output->plugins_management_confirm_buttons(null, $return);
2476         }
2477         echo $output->footer();
2478         die();
2479     }
2481 /**
2482  * Method used to check the installed unoconv version.
2483  *
2484  * @param environment_results $result object to update, if relevant.
2485  * @return environment_results|null updated results or null if unoconv path is not executable.
2486  */
2487 function check_unoconv_version(environment_results $result) {
2488     global $CFG;
2490     if (!during_initial_install() && !empty($CFG->pathtounoconv) && file_is_executable(trim($CFG->pathtounoconv))) {
2491         $currentversion = 0;
2492         $supportedversion = 0.7;
2493         $unoconvbin = \escapeshellarg($CFG->pathtounoconv);
2494         $command = "$unoconvbin --version";
2495         exec($command, $output);
2497         // If the command execution returned some output, then get the unoconv version.
2498         if ($output) {
2499             foreach ($output as $response) {
2500                 if (preg_match('/unoconv (\\d+\\.\\d+)/', $response, $matches)) {
2501                     $currentversion = (float)$matches[1];
2502                 }
2503             }
2504         }
2506         if ($currentversion < $supportedversion) {
2507             $result->setInfo('unoconv version not supported');
2508             $result->setStatus(false);
2509             return $result;
2510         }
2511     }
2512     return null;
2515 /**
2516  * Checks for up-to-date TLS libraries. NOTE: this is not currently used, see MDL-57262.
2517  *
2518  * @param environment_results $result object to update, if relevant.
2519  * @return environment_results|null updated results or null if unoconv path is not executable.
2520  */
2521 function check_tls_libraries(environment_results $result) {
2522     global $CFG;
2524     if (!function_exists('curl_version')) {
2525         $result->setInfo('cURL PHP extension is not installed');
2526         $result->setStatus(false);
2527         return $result;
2528     }
2530     if (!\core\upgrade\util::validate_php_curl_tls(curl_version(), PHP_ZTS)) {
2531         $result->setInfo('invalid ssl/tls configuration');
2532         $result->setStatus(false);
2533         return $result;
2534     }
2536     if (!\core\upgrade\util::can_use_tls12(curl_version(), php_uname('r'))) {
2537         $result->setInfo('ssl/tls configuration not supported');
2538         $result->setStatus(false);
2539         return $result;
2540     }
2542     return null;
2545 /**
2546  * Check if recommended version of libcurl is installed or not.
2547  *
2548  * @param environment_results $result object to update, if relevant.
2549  * @return environment_results|null updated results or null.
2550  */
2551 function check_libcurl_version(environment_results $result) {
2553     if (!function_exists('curl_version')) {
2554         $result->setInfo('cURL PHP extension is not installed');
2555         $result->setStatus(false);
2556         return $result;
2557     }
2559     // Supported version and version number.
2560     $supportedversion = 0x071304;
2561     $supportedversionstring = "7.19.4";
2563     // Installed version.
2564     $curlinfo = curl_version();
2565     $currentversion = $curlinfo['version_number'];
2567     if ($currentversion < $supportedversion) {
2568         // Test fail.
2569         // Set info, we want to let user know how to resolve the problem.
2570         $result->setInfo('Libcurl version check');
2571         $result->setNeededVersion($supportedversionstring);
2572         $result->setCurrentVersion($curlinfo['version']);
2573         $result->setStatus(false);
2574         return $result;
2575     }
2577     return null;
2580 /**
2581  * Fix how auth plugins are called in the 'config_plugins' table.
2582  *
2583  * For legacy reasons, the auth plugins did not always use their frankenstyle
2584  * component name in the 'plugin' column of the 'config_plugins' table. This is
2585  * a helper function to correctly migrate the legacy settings into the expected
2586  * and consistent way.
2587  *
2588  * @param string $plugin the auth plugin name such as 'cas', 'manual' or 'mnet'
2589  */
2590 function upgrade_fix_config_auth_plugin_names($plugin) {
2591     global $CFG, $DB, $OUTPUT;
2593     $legacy = (array) get_config('auth/'.$plugin);
2594     $current = (array) get_config('auth_'.$plugin);
2596     // I don't want to rely on array_merge() and friends here just in case
2597     // there was some crazy setting with a numerical name.
2599     if ($legacy) {
2600         $new = $legacy;
2601     } else {
2602         $new = [];
2603     }
2605     if ($current) {
2606         foreach ($current as $name => $value) {
2607             if (isset($legacy[$name]) && ($legacy[$name] !== $value)) {
2608                 // No need to pollute the output during unit tests.
2609                 if (!empty($CFG->upgraderunning)) {
2610                     $message = get_string('settingmigrationmismatch', 'core_auth', [
2611                         'plugin' => 'auth_'.$plugin,
2612                         'setting' => s($name),
2613                         'legacy' => s($legacy[$name]),
2614                         'current' => s($value),
2615                     ]);
2616                     echo $OUTPUT->notification($message, \core\output\notification::NOTIFY_ERROR);
2618                     upgrade_log(UPGRADE_LOG_NOTICE, 'auth_'.$plugin, 'Setting values mismatch detected',
2619                         'SETTING: '.$name. ' LEGACY: '.$legacy[$name].' CURRENT: '.$value);
2620                 }
2621             }
2623             $new[$name] = $value;
2624         }
2625     }
2627     foreach ($new as $name => $value) {
2628         set_config($name, $value, 'auth_'.$plugin);
2629         unset_config($name, 'auth/'.$plugin);
2630     }
2633 /**
2634  * Populate the auth plugin settings with defaults if needed.
2635  *
2636  * As a result of fixing the auth plugins config storage, many settings would
2637  * be falsely reported as new ones by admin/upgradesettings.php. We do not want
2638  * to confuse admins so we try to reduce the bewilderment by pre-populating the
2639  * config_plugins table with default values. This should be done only for
2640  * disabled auth methods. The enabled methods have their settings already
2641  * stored, so reporting actual new settings for them is valid.
2642  *
2643  * @param string $plugin the auth plugin name such as 'cas', 'manual' or 'mnet'
2644  */
2645 function upgrade_fix_config_auth_plugin_defaults($plugin) {
2646     global $CFG;
2648     $pluginman = core_plugin_manager::instance();
2649     $enabled = $pluginman->get_enabled_plugins('auth');
2651     if (isset($enabled[$plugin])) {
2652         // Do not touch settings of enabled auth methods.
2653         return;
2654     }
2656     // We can't directly use {@link core\plugininfo\auth::load_settings()} here
2657     // because the plugins are not fully upgraded yet. Instead, we emulate what
2658     // that method does. We fetch a temporary instance of the plugin's settings
2659     // page to get access to the settings and their defaults. Note we are not
2660     // adding that temporary instance into the admin tree. Yes, this is a hack.
2662     $plugininfo = $pluginman->get_plugin_info('auth_'.$plugin);
2663     $adminroot = admin_get_root();
2664     $ADMIN = $adminroot;
2665     $auth = $plugininfo;
2667     $section = $plugininfo->get_settings_section_name();
2668     $settingspath = $plugininfo->full_path('settings.php');
2670     if (file_exists($settingspath)) {
2671         $settings = new admin_settingpage($section, 'Emulated settings page for auth_'.$plugin, 'moodle/site:config');
2672         include($settingspath);
2674         if ($settings) {
2675             // Consistently with what admin/cli/upgrade.php does, apply the default settings twice.
2676             // I assume this is done for theoretical cases when a default value depends on an other.
2677             admin_apply_default_settings($settings, false);
2678             admin_apply_default_settings($settings, false);
2679         }
2680     }