Merge branch 'MDL-69869-master' of git://github.com/ilya-catalyst/moodle
authorAndrew Nicols <andrew@nicols.co.uk>
Wed, 9 Dec 2020 03:08:06 +0000 (11:08 +0800)
committerAndrew Nicols <andrew@nicols.co.uk>
Wed, 9 Dec 2020 03:08:06 +0000 (11:08 +0800)
40 files changed:
admin/cli/generate_key.php [new file with mode: 0644]
admin/templates/setting_encryptedpassword.mustache [new file with mode: 0644]
admin/tests/behat/behat_admin.php
admin/upgrade.txt
config-dist.php
course/amd/build/local/activitychooser/dialogue.min.js
course/amd/build/local/activitychooser/dialogue.min.js.map
course/amd/build/local/activitychooser/selectors.min.js
course/amd/build/local/activitychooser/selectors.min.js.map
course/amd/src/local/activitychooser/dialogue.js
course/amd/src/local/activitychooser/selectors.js
lang/en/admin.php
lang/en/error.php
lib/adminlib.php
lib/behat/classes/behat_session_interface.php
lib/classes/encryption.php [new file with mode: 0644]
lib/db/upgrade.php
lib/form/amd/build/encryptedpassword.min.js [new file with mode: 0644]
lib/form/amd/build/encryptedpassword.min.js.map [new file with mode: 0644]
lib/form/amd/src/encryptedpassword.js [new file with mode: 0644]
lib/table/classes/local/filter/filter.php
lib/table/classes/local/filter/filterset.php
lib/templates/settings_link_page.mustache
lib/tests/encryption_test.php [new file with mode: 0644]
lib/tests/fixtures/testable_encryption.php [new file with mode: 0644]
lib/upgrade.txt
search/classes/manager.php
search/tests/manager_test.php
theme/boost/amd/build/aria.min.js
theme/boost/amd/build/aria.min.js.map
theme/boost/amd/build/loader.min.js
theme/boost/amd/build/loader.min.js.map
theme/boost/amd/src/aria.js
theme/boost/amd/src/loader.js
theme/boost/templates/admin_setting_tabs.mustache
user/amd/build/participantsfilter.min.js
user/amd/build/participantsfilter.min.js.map
user/amd/src/participantsfilter.js
user/templates/participantsfilter.mustache
user/tests/behat/filter_participants.feature

diff --git a/admin/cli/generate_key.php b/admin/cli/generate_key.php
new file mode 100644 (file)
index 0000000..28fd0af
--- /dev/null
@@ -0,0 +1,77 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Generates a secure key for the current server (presuming it does not already exist).
+ *
+ * @package core_admin
+ * @copyright 2020 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+use \core\encryption;
+
+define('CLI_SCRIPT', true);
+
+require(__DIR__ . '/../../config.php');
+require_once($CFG->libdir . '/clilib.php');
+
+// Get cli options.
+[$options, $unrecognized] = cli_get_params(
+        ['help' => false, 'method' => null],
+        ['h' => 'help']);
+
+if ($unrecognized) {
+    $unrecognized = implode("\n  ", $unrecognized);
+    cli_error(get_string('cliunknowoption', 'admin', $unrecognized));
+}
+
+if ($options['help']) {
+    echo "Generate secure key
+
+This script manually creates a secure key within the secret data root folder (configured in
+config.php as \$CFG->secretdataroot). You must run it using an account with access to write
+to that folder.
+
+In normal use Moodle automatically creates the key; this script is intended when setting up
+a new Moodle system, for cases where the secure folder is not on shared storage and the key
+may be manually installed on multiple servers.
+
+Options:
+-h, --help         Print out this help
+--method <method>  Generate key for specified encryption method instead of default.
+                   * sodium
+                   * openssl-aes-256-ctr
+
+Example:
+php admin/cli/generate_key.php
+";
+    exit;
+}
+
+$method = $options['method'];
+
+if (encryption::key_exists($method)) {
+    echo 'Key already exists: ' . encryption::get_key_file($method) . "\n";
+    exit;
+}
+
+// Creates key with default permissions (no chmod).
+echo "Generating key...\n";
+encryption::create_key($method, false);
+
+echo "\nKey created: " . encryption::get_key_file($method) . "\n\n";
+echo "If the key folder is not shared storage, then key files should be copied to all servers.\n";
diff --git a/admin/templates/setting_encryptedpassword.mustache b/admin/templates/setting_encryptedpassword.mustache
new file mode 100644 (file)
index 0000000..e2a98cf
--- /dev/null
@@ -0,0 +1,64 @@
+{{!
+    This file is part of Moodle - http://moodle.org/
+
+    Moodle is free software: you can redistribute it and/or modify
+    it under the terms of the GNU General Public License as published by
+    the Free Software Foundation, either version 3 of the License, or
+    (at your option) any later version.
+
+    Moodle is distributed in the hope that it will be useful,
+    but WITHOUT ANY WARRANTY; without even the implied warranty of
+    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+    GNU General Public License for more details.
+
+    You should have received a copy of the GNU General Public License
+    along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+}}
+{{!
+    @template core_admin/admin_setting_encryptedpassword
+
+    Admin encrypted password template.
+
+    Context variables required for this template:
+    * name - form element name
+    * set - whether it is set or empty
+    * id - element id
+
+    Example context (json):
+    {
+        "name": "test",
+        "id": "test0",
+        "set": true
+    }
+}}
+<div class="core_admin_encryptedpassword" data-encryptedpasswordid="{{ id }}"
+        {{#novalue}}data-novalue="y"{{/novalue}}>
+    {{#set}}
+        <span>{{# str }} encryptedpassword_set, admin {{/ str }}</span>
+    {{/set}}
+    {{^set}}
+        <a href="#" title="{{# str }} encryptedpassword_edit, admin {{/ str }}">
+            <span>{{# str }} novalueclicktoset, form {{/ str }}</span>
+            {{# pix }} t/passwordunmask-edit, core, {{# str }} passwordunmaskedithint, form {{/ str }}{{/ pix }}
+        </a>
+    {{/set}}
+    <input style="display: none" type="password" name="{{name}}" disabled>
+    {{!
+        Using buttons instead of links here allows them to be connected to the label, so the button
+        works if you click the label.
+    }}
+    {{#set}}
+        <button type="button" id="{{id}}" title="{{# str }} encryptedpassword_edit, admin {{/ str }}" class="btn btn-link" data-editbutton>
+            {{# pix }} t/passwordunmask-edit, core, {{/ pix }}
+        </button>
+    {{/set}}
+    <button type="button" style="display: none" title="{{# str }} cancel {{/ str }}" class="btn btn-link" data-cancelbutton>
+        <i class="icon fa fa-times"></i>
+    </button>
+</div>
+
+{{#js}}
+require(['core_form/encryptedpassword'], function(encryptedpassword) {
+    new encryptedpassword.EncryptedPassword("{{ id }}");
+});
+{{/js}}
index 98f5d91..d71af45 100644 (file)
@@ -89,7 +89,7 @@ class behat_admin extends behat_base {
     }
 
     /**
-     * Sets the specified site settings. A table with | config | value | (optional)plugin | is expected.
+     * Sets the specified site settings. A table with | config | value | (optional)plugin | (optional)encrypted | is expected.
      *
      * @Given /^the following config values are set as admin:$/
      * @param TableNode $table
@@ -103,11 +103,20 @@ class behat_admin extends behat_base {
         foreach ($data as $config => $value) {
             // Default plugin value is null.
             $plugin = null;
+            $encrypted = false;
 
             if (is_array($value)) {
                 $plugin = $value[1];
+                if (array_key_exists(2, $value)) {
+                    $encrypted = $value[2] === 'encrypted';
+                }
                 $value = $value[0];
             }
+
+            if ($encrypted) {
+                $value = \core\encryption::encrypt($value);
+            }
+
             set_config($config, $value, $plugin);
         }
     }
index d3adb18..c3ab30f 100644 (file)
@@ -1,5 +1,10 @@
 This files describes API changes in /admin/*.
 
+=== 3.11 ===
+
+* New admin setting admin_setting_encryptedpassword allows passwords in admin settings to be
+  encrypted (with the new \core\encryption API) so that even the admin cannot read them.
+
 === 3.9 ===
 
 * The following functions, previously used (exclusively) by upgrade steps are not available anymore because of the upgrade cleanup performed for this version. See MDL-65809 for more info:
index b8c5d51..8933024 100644 (file)
@@ -727,6 +727,22 @@ $CFG->admin = 'admin';
 //
 // $CFG->maxcoursesincategory = 10000;
 //
+// Admin setting encryption
+//
+//      $CFG->secretdataroot = '/var/www/my_secret_folder';
+//
+// Location to store encryption keys. By default this is $CFG->dataroot/secret; set this if
+// you want to use a different location for increased security (e.g. if too many people have access
+// to the main dataroot, or if you want to avoid using shared storage). Your web server user needs
+// read access to this location, and write access unless you manually create the keys.
+//
+//      $CFG->nokeygeneration = false;
+//
+// If you change this to true then the server will give an error if keys don't exist, instead of
+// automatically generating them. This is only needed if you want to ensure that keys are consistent
+// across a cluster when not using shared storage. If you stop the server generating keys, you will
+// need to manually generate them by running 'php admin/cli/generate_key.php'.
+
 //=========================================================================
 // 7. SETTINGS FOR DEVELOPMENT SERVERS - not intended for production use!!!
 //=========================================================================
index d517d5b..8028476 100644 (file)
Binary files a/course/amd/build/local/activitychooser/dialogue.min.js and b/course/amd/build/local/activitychooser/dialogue.min.js differ
index 740fe3f..c782a84 100644 (file)
Binary files a/course/amd/build/local/activitychooser/dialogue.min.js.map and b/course/amd/build/local/activitychooser/dialogue.min.js.map differ
index 45f8f4f..ea395d6 100644 (file)
Binary files a/course/amd/build/local/activitychooser/selectors.min.js and b/course/amd/build/local/activitychooser/selectors.min.js differ
index 13f9e9f..25b6d79 100644 (file)
Binary files a/course/amd/build/local/activitychooser/selectors.min.js.map and b/course/amd/build/local/activitychooser/selectors.min.js.map differ
index a3bde76..a7c7018 100644 (file)
@@ -216,7 +216,6 @@ const registerListenerEvents = (modal, mappedModules, partialFavourite, footerDa
         const firstChooserOption = sectionChooserOptions.querySelector(selectors.regions.chooserOption.container);
 
         toggleFocusableChooserOption(firstChooserOption, true);
-        initTabsKeyboardNavigation(body);
         initChooserOptionsKeyboardNavigation(body, mappedModules, sectionChooserOptions, modal);
 
         return body;
@@ -235,77 +234,6 @@ const registerListenerEvents = (modal, mappedModules, partialFavourite, footerDa
     .catch();
 };
 
-/**
- * Initialise the keyboard navigation controls for the tab list items.
- *
- * @method initTabsKeyboardNavigation
- * @param {HTMLElement} body Our modal that we are working with
- */
-const initTabsKeyboardNavigation = (body) => {
-    // Set up the tab handlers.
-    const favTabNav = body.querySelector(selectors.regions.favouriteTabNav);
-    const recommendedTabNav = body.querySelector(selectors.regions.recommendedTabNav);
-    const defaultTabNav = body.querySelector(selectors.regions.defaultTabNav);
-    const activityTabNav = body.querySelector(selectors.regions.activityTabNav);
-    const resourceTabNav = body.querySelector(selectors.regions.resourceTabNav);
-    const tabNavArray = [favTabNav, recommendedTabNav, defaultTabNav, activityTabNav, resourceTabNav];
-    tabNavArray.forEach((element) => {
-        return element.addEventListener('keydown', (e) => {
-            // The first visible navigation tab link.
-            const firstLink = e.target.parentElement.querySelector(selectors.elements.visibletabs);
-            // The last navigation tab link. It would always be the default activities tab link.
-            const lastLink = e.target.parentElement.lastElementChild;
-
-            if (e.keyCode === arrowRight) {
-                const nextLink = e.target.nextElementSibling;
-                if (nextLink === null) {
-                    e.target.tabIndex = -1;
-                    firstLink.tabIndex = 0;
-                    firstLink.focus();
-                } else if (nextLink.classList.contains('d-none')) {
-                    e.target.tabIndex = -1;
-                    lastLink.tabIndex = 0;
-                    lastLink.focus();
-                } else {
-                    e.target.tabIndex = -1;
-                    nextLink.tabIndex = 0;
-                    nextLink.focus();
-                }
-            }
-            if (e.keyCode === arrowLeft) {
-                const previousLink = e.target.previousElementSibling;
-                if (previousLink === null) {
-                    e.target.tabIndex = -1;
-                    lastLink.tabIndex = 0;
-                    lastLink.focus();
-                } else if (previousLink.classList.contains('d-none')) {
-                    e.target.tabIndex = -1;
-                    firstLink.tabIndex = 0;
-                    firstLink.focus();
-                } else {
-                    e.target.tabIndex = -1;
-                    previousLink.tabIndex = 0;
-                    previousLink.focus();
-                }
-            }
-            if (e.keyCode === home) {
-                e.target.tabIndex = -1;
-                firstLink.tabIndex = 0;
-                firstLink.focus();
-            }
-            if (e.keyCode === end) {
-                e.target.tabIndex = -1;
-                lastLink.tabIndex = 0;
-                lastLink.focus();
-            }
-            if (e.keyCode === space) {
-                e.preventDefault();
-                e.target.click();
-            }
-        });
-    });
-};
-
 /**
  * Initialise the keyboard navigation controls for the chooser options.
  *
index dd20e75..34e9adb 100644 (file)
@@ -52,10 +52,8 @@ export default {
         help: getDataSelector('region', 'help'),
         modules: getDataSelector('region', 'modules'),
         favouriteTabNav: getDataSelector('region', 'favourite-tab-nav'),
-        recommendedTabNav: getDataSelector('region', 'recommended-tab-nav'),
         defaultTabNav: getDataSelector('region', 'default-tab-nav'),
         activityTabNav: getDataSelector('region', 'activity-tab-nav'),
-        resourceTabNav: getDataSelector('region', 'resources-tab-nav'),
         favouriteTab: getDataSelector('region', 'favourites'),
         recommendedTab: getDataSelector('region', 'recommended'),
         defaultTab: getDataSelector('region', 'default'),
index e6103e5..4e1f6c3 100644 (file)
@@ -575,6 +575,8 @@ $string['enableuserfeedback'] = 'Enable feedback about this software';
 $string['enableuserfeedback_desc'] = 'If enabled, a \'Give feedback about this software\' link is displayed in the footer for users to give feedback about the Moodle software to Moodle HQ. If the \'Next feedback reminder\' option is set, the user is also shown a reminder on the Dashboard at the specified interval. Setting \'Next feedback reminder\' to \'Never\' disables the Dashboard reminder, while leaving the \'Give feedback about this software\' link in the footer.';
 $string['enablewebservices'] = 'Enable web services';
 $string['enablewsdocumentation'] = 'Web services documentation';
+$string['encryptedpassword_set'] = '(Set and encrypted)';
+$string['encryptedpassword_edit'] = 'Enter new value';
 $string['enrolinstancedefaults'] = 'Enrolment instance defaults';
 $string['enrolinstancedefaults_desc'] = 'Default enrolment settings in new courses.';
 $string['enrolmultipleusers'] = 'Enrol the users';
index 8be1b32..096bc74 100644 (file)
@@ -236,6 +236,12 @@ $string['duplicaterolename'] = 'There is already a role with this name!';
 $string['duplicateroleshortname'] = 'There is already a role with this short name!';
 $string['duplicateusername'] = 'Duplicate username - skipping record';
 $string['emailfail'] = 'Emailing failed';
+$string['encryption_encryptfailed'] = 'Encryption failed';
+$string['encryption_decryptfailed'] = 'Decryption failed';
+$string['encryption_invalidkey'] = 'Invalid key';
+$string['encryption_keyalreadyexists'] = 'Key already exists';
+$string['encryption_nokey'] = 'Key not found';
+$string['encryption_wrongmethod'] = 'Data does not match a supported encryption method';
 $string['enddatebeforestartdate'] = 'The course end date must be after the start date.';
 $string['error'] = 'Error occurred';
 $string['error_question_answers_missing_in_db'] = 'Failed to find an answer matching "{$a->answer}" in the question_answers database table. This occurred while restoring the question with id {$a->filequestionid} in the backup file, which has been matched to the existing question with id {$a->dbquestionid} in the database.';
index 6764caf..ff74c9a 100644 (file)
@@ -2724,6 +2724,58 @@ class admin_setting_configpasswordunmask_with_advanced extends admin_setting_con
     }
 }
 
+/**
+ * Admin setting class for encrypted values using secure encryption.
+ *
+ * @copyright 2019 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class admin_setting_encryptedpassword extends admin_setting {
+
+    /**
+     * Constructor. Same as parent except that the default value is always an empty string.
+     *
+     * @param string $name Internal name used in config table
+     * @param string $visiblename Name shown on form
+     * @param string $description Description that appears below field
+     */
+    public function __construct(string $name, string $visiblename, string $description) {
+        parent::__construct($name, $visiblename, $description, '');
+    }
+
+    public function get_setting() {
+        return $this->config_read($this->name);
+    }
+
+    public function write_setting($data) {
+        $data = trim($data);
+        if ($data === '') {
+            // Value can really be set to nothing.
+            $savedata = '';
+        } else {
+            // Encrypt value before saving it.
+            $savedata = \core\encryption::encrypt($data);
+        }
+        return ($this->config_write($this->name, $savedata) ? '' : get_string('errorsetting', 'admin'));
+    }
+
+    public function output_html($data, $query='') {
+        global $OUTPUT;
+
+        $default = $this->get_defaultsetting();
+        $context = (object) [
+            'id' => $this->get_id(),
+            'name' => $this->get_full_name(),
+            'set' => $data !== '',
+            'novalue' => $this->get_setting() === null
+        ];
+        $element = $OUTPUT->render_from_template('core_admin/setting_encryptedpassword', $context);
+
+        return format_admin_setting($this, $this->visiblename, $element, $this->description,
+                true, '', $default, $query);
+    }
+}
+
 /**
  * Empty setting used to allow flags (advanced) on settings that can have no sensible default.
  * Note: Only advanced makes sense right now - locked does not.
index 2746070..7f2dd0c 100644 (file)
  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
  */
 interface behat_session_interface {
-    /**
-     * Small timeout.
-     *
-     * A reduced timeout for cases where self::TIMEOUT is too much
-     * and a simple $this->getSession()->getPage()->find() could not
-     * be enough.
-     *
-     * @deprecated since Moodle 3.7 MDL-64979 - please use get_reduced_timeout() instead
-     * @todo MDL-64982 This will be deleted in Moodle 3.11
-     * @see behat_base::get_reduced_timeout()
-     */
-    const REDUCED_TIMEOUT = 2;
-
-    /**
-     * The timeout for each Behat step (load page, wait for an element to load...).
-     *
-     * @deprecated since Moodle 3.7 MDL-64979 - please use get_timeout() instead
-     * @todo MDL-64982 This will be deleted in Moodle 3.11
-     * @see behat_base::get_timeout()
-     */
-    const TIMEOUT = 6;
-
-    /**
-     * And extended timeout for specific cases.
-     *
-     * @deprecated since Moodle 3.7 MDL-64979 - please use get_extended_timeout() instead
-     * @todo MDL-64982 This will be deleted in Moodle 3.11
-     * @see behat_base::get_extended_timeout()
-     */
-    const EXTENDED_TIMEOUT = 10;
-
     /**
      * The JS code to check that the page is ready.
      *
diff --git a/lib/classes/encryption.php b/lib/classes/encryption.php
new file mode 100644 (file)
index 0000000..84560f6
--- /dev/null
@@ -0,0 +1,318 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Class used to encrypt or decrypt data.
+ *
+ * @package core
+ * @copyright 2020 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core;
+
+/**
+ * Class used to encrypt or decrypt data.
+ *
+ * @package core
+ * @copyright 2020 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class encryption {
+    /** @var string Encryption method: Sodium */
+    const METHOD_SODIUM = 'sodium';
+    /** @var string Encryption method: hand-coded OpenSSL (less safe) */
+    const METHOD_OPENSSL = 'openssl-aes-256-ctr';
+
+    /** @var string OpenSSL cipher method */
+    const OPENSSL_CIPHER = 'AES-256-CTR';
+
+    /**
+     * Checks if Sodium is installed.
+     *
+     * @return bool True if the Sodium extension is available
+     */
+    public static function is_sodium_installed(): bool {
+        return extension_loaded('sodium');
+    }
+
+    /**
+     * Gets the encryption method to use. We use the Sodium extension if it is installed, or
+     * otherwise, OpenSSL.
+     *
+     * @return string Current encryption method
+     */
+    protected static function get_encryption_method(): string {
+        if (self::is_sodium_installed()) {
+            return self::METHOD_SODIUM;
+        } else {
+            return self::METHOD_OPENSSL;
+        }
+    }
+
+    /**
+     * Creates a key for the server.
+     *
+     * @param string|null $method Encryption method (only if you want to create a non-default key)
+     * @param bool $chmod If true, restricts the file access of the key
+     * @throws \moodle_exception If the server already has a key, or there is an error
+     */
+    public static function create_key(?string $method = null, bool $chmod = true): void {
+        if ($method === null) {
+            $method = self::get_encryption_method();
+        }
+
+        if (self::key_exists($method)) {
+            throw new \moodle_exception('encryption_keyalreadyexists', 'error');
+        }
+
+        // Don't make it read-only in Behat or it will fail to clear for future runs.
+        if (defined('BEHAT_SITE_RUNNING')) {
+            $chmod = false;
+        }
+
+        // Generate the key.
+        switch ($method) {
+            case self::METHOD_SODIUM:
+                $key = sodium_crypto_secretbox_keygen();
+                break;
+            case self::METHOD_OPENSSL:
+                $key = openssl_random_pseudo_bytes(32);
+                break;
+            default:
+                throw new \coding_exception('Unknown method: ' . $method);
+        }
+
+        // Store the key, making it readable only by server.
+        $folder = self::get_key_folder();
+        check_dir_exists($folder);
+        $keyfile = self::get_key_file($method);
+        file_put_contents($keyfile, $key);
+        if ($chmod) {
+            chmod($keyfile, 0400);
+        }
+    }
+
+    /**
+     * Gets the folder used to store the secret key.
+     *
+     * @return string Folder path
+     */
+    protected static function get_key_folder(): string {
+        global $CFG;
+        return ($CFG->secretdataroot ?? $CFG->dataroot . '/secret') . '/key';
+    }
+
+    /**
+     * Gets the file path used to store the secret key. The filename contains the cipher method,
+     * so that if necessary to transition in future it would be possible to have multiple.
+     *
+     * @param string|null $method Encryption method (only if you want to get a non-default key)
+     * @return string Full path to file
+     */
+    public static function get_key_file(?string $method = null): string {
+        if ($method === null) {
+            $method = self::get_encryption_method();
+        }
+
+        return self::get_key_folder() . '/' . $method . '.key';
+    }
+
+    /**
+     * Checks if there is a key file.
+     *
+     * @param string|null $method Encryption method (only if you want to check a non-default key)
+     * @return bool True if there is a key file
+     */
+    public static function key_exists(?string $method = null): bool {
+        if ($method === null) {
+            $method = self::get_encryption_method();
+        }
+
+        return file_exists(self::get_key_file($method));
+    }
+
+    /**
+     * Gets the current key, automatically creating it if there isn't one yet.
+     *
+     * @param string|null $method Encryption method (only if you want to get a non-default key)
+     * @return string The key (binary)
+     * @throws \moodle_exception If there isn't one already (and creation is disabled)
+     */
+    protected static function get_key(?string $method = null): string {
+        global $CFG;
+
+        if ($method === null) {
+            $method = self::get_encryption_method();
+        }
+
+        $keyfile = self::get_key_file($method);
+        if (!file_exists($keyfile) && empty($CFG->nokeygeneration)) {
+            self::create_key($method);
+        }
+        $result = @file_get_contents($keyfile);
+        if ($result === false) {
+            throw new \moodle_exception('encryption_nokey', 'error');
+        }
+        return $result;
+    }
+
+    /**
+     * Gets the length in bytes of the initial values data required.
+     *
+     * @param string $method Crypto method
+     * @return int Length in bytes
+     */
+    protected static function get_iv_length(string $method): int {
+        switch ($method) {
+            case self::METHOD_SODIUM:
+                return SODIUM_CRYPTO_SECRETBOX_NONCEBYTES;
+            case self::METHOD_OPENSSL:
+                return openssl_cipher_iv_length(self::OPENSSL_CIPHER);
+            default:
+                throw new \coding_exception('Unknown method: ' . $method);
+        }
+    }
+
+    /**
+     * Encrypts data using the server's key.
+     *
+     * Note there is a special case - the empty string is not encrypted.
+     *
+     * @param string $data Data to encrypt, or empty string for no data
+     * @param string|null $method Encryption method (only if you want to use a non-default method)
+     * @return string Encrypted data, or empty string for no data
+     * @throws \moodle_exception If the key doesn't exist, or the string is too long
+     */
+    public static function encrypt(string $data, ?string $method = null): string {
+        if ($data === '') {
+            return '';
+        } else {
+            if ($method === null) {
+                $method = self::get_encryption_method();
+            }
+
+            // Create IV.
+            $iv = random_bytes(self::get_iv_length($method));
+
+            // Encrypt data.
+            switch($method) {
+                case self::METHOD_SODIUM:
+                    try {
+                        $encrypted = sodium_crypto_secretbox($data, $iv, self::get_key($method));
+                    } catch (\SodiumException $e) {
+                        throw new \moodle_exception('encryption_encryptfailed', 'error', '', null, $e->getMessage());
+                    }
+                    break;
+
+                case self::METHOD_OPENSSL:
+                    // This may not be a secure authenticated encryption implementation;
+                    // administrators should enable the Sodium extension.
+                    $key = self::get_key($method);
+                    if (strlen($key) !== 32) {
+                            throw new \moodle_exception('encryption_invalidkey', 'error');
+                    }
+                    $encrypted = @openssl_encrypt($data, self::OPENSSL_CIPHER, $key, OPENSSL_RAW_DATA, $iv);
+                    if ($encrypted === false) {
+                        throw new \moodle_exception('encryption_encryptfailed', 'error',
+                                '', null, openssl_error_string());
+                    }
+                    $hmac = hash_hmac('sha256', $iv . $encrypted, $key, true);
+                    $encrypted .= $hmac;
+                    break;
+
+                default:
+                    throw new \coding_exception('Unknown method: ' . $method);
+            }
+
+            // Encrypted data is cipher method plus IV plus encrypted data.
+            return $method . ':' . base64_encode($iv . $encrypted);
+        }
+    }
+
+    /**
+     * Decrypts data using the server's key. The decryption works with either supported method.
+     *
+     * @param string $data Data to decrypt
+     * @return string Decrypted data
+     */
+    public static function decrypt(string $data): string {
+        if ($data === '') {
+            return '';
+        } else {
+            if (preg_match('~^(' . self::METHOD_OPENSSL . '|' . self::METHOD_SODIUM . '):~', $data, $matches)) {
+                $method = $matches[1];
+            } else {
+                throw new \moodle_exception('encryption_wrongmethod', 'error');
+            }
+            $realdata = base64_decode(substr($data, strlen($method) + 1), true);
+            if ($realdata === false) {
+                throw new \moodle_exception('encryption_decryptfailed', 'error',
+                        '', null, 'Invalid base64 data');
+            }
+
+            $ivlength = self::get_iv_length($method);
+            if (strlen($realdata) < $ivlength + 1) {
+                throw new \moodle_exception('encryption_decryptfailed', 'error',
+                        '', null, 'Insufficient data');
+            }
+            $iv = substr($realdata, 0, $ivlength);
+            $encrypted = substr($realdata, $ivlength);
+
+            switch ($method) {
+                case self::METHOD_SODIUM:
+                    try {
+                        $decrypted = sodium_crypto_secretbox_open($encrypted, $iv, self::get_key($method));
+                    } catch (\SodiumException $e) {
+                        throw new \moodle_exception('encryption_decryptfailed', 'error',
+                                '', null, $e->getMessage());
+                    }
+                    // Sodium returns false if decryption fails because data is invalid.
+                    if ($decrypted === false) {
+                        throw new \moodle_exception('encryption_decryptfailed', 'error',
+                                '', null, 'Integrity check failed');
+                    }
+                    break;
+
+                case self::METHOD_OPENSSL:
+                    if (strlen($encrypted) < 33) {
+                        throw new \moodle_exception('encryption_decryptfailed', 'error',
+                                '', null, 'Insufficient data');
+                    }
+                    $hmac = substr($encrypted, -32);
+                    $encrypted = substr($encrypted, 0, -32);
+                    $key = self::get_key($method);
+                    $expectedhmac = hash_hmac('sha256', $iv . $encrypted, $key, true);
+                    if ($hmac !== $expectedhmac) {
+                        throw new \moodle_exception('encryption_decryptfailed', 'error',
+                                '', null, 'Integrity check failed');
+                    }
+
+                    $decrypted = @openssl_decrypt($encrypted, self::OPENSSL_CIPHER, $key, OPENSSL_RAW_DATA, $iv);
+                    if ($decrypted === false) {
+                        throw new \moodle_exception('encryption_decryptfailed', 'error',
+                                '', null, openssl_error_string());
+                    }
+                    break;
+
+                default:
+                    throw new \coding_exception('Unknown method: ' . $method);
+            }
+
+            return $decrypted;
+        }
+    }
+}
index d24a5c2..685de9e 100644 (file)
@@ -2786,11 +2786,12 @@ function xmldb_main_upgrade($oldversion) {
     if ($oldversion < 2021052500.26) {
         // Delete orphaned course_modules_completion rows; these were not deleted properly
         // by remove_course_contents function.
-        $DB->delete_records_subquery('course_modules_completion', 'id', 'id',
-               "SELECT cmc.id
-                  FROM {course_modules_completion} cmc
-             LEFT JOIN {course_modules} cm ON cm.id = cmc.coursemoduleid
-                 WHERE cm.id IS NULL");
+        $DB->delete_records_select('course_modules_completion', "
+                NOT EXISTS (
+                        SELECT 1
+                          FROM {course_modules} cm
+                         WHERE cm.id = {course_modules_completion}.coursemoduleid
+                )");
         upgrade_main_savepoint(true, 2021052500.26);
     }
 
diff --git a/lib/form/amd/build/encryptedpassword.min.js b/lib/form/amd/build/encryptedpassword.min.js
new file mode 100644 (file)
index 0000000..069dbc0
Binary files /dev/null and b/lib/form/amd/build/encryptedpassword.min.js differ
diff --git a/lib/form/amd/build/encryptedpassword.min.js.map b/lib/form/amd/build/encryptedpassword.min.js.map
new file mode 100644 (file)
index 0000000..6a62ecf
Binary files /dev/null and b/lib/form/amd/build/encryptedpassword.min.js.map differ
diff --git a/lib/form/amd/src/encryptedpassword.js b/lib/form/amd/src/encryptedpassword.js
new file mode 100644 (file)
index 0000000..2641ff6
--- /dev/null
@@ -0,0 +1,104 @@
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Encrypted password functionality.
+ *
+ * @module core_form/encryptedpassword
+ * @package core_form
+ * @class encryptedpassword
+ * @copyright 2019 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+/**
+ * Constructor for EncryptedPassword.
+ *
+ * @param {String} elementId The element to apply the encrypted password JS to
+ */
+export const EncryptedPassword = function(elementId) {
+    const wrapper = document.querySelector('div[data-encryptedpasswordid="' + elementId + '"]');
+    this.spanOrLink = wrapper.querySelector('span, a');
+    this.input = wrapper.querySelector('input');
+    this.editButtonOrLink = wrapper.querySelector('button[data-editbutton], a');
+    this.cancelButton = wrapper.querySelector('button[data-cancelbutton]');
+
+    // Edit button action.
+    var editHandler = (e) => {
+        e.stopImmediatePropagation();
+        e.preventDefault();
+        this.startEditing(true);
+    };
+    this.editButtonOrLink.addEventListener('click', editHandler);
+
+    // When it's a link, do some magic to make the label work as well.
+    if (this.editButtonOrLink.nodeName === 'A') {
+        wrapper.parentElement.previousElementSibling.querySelector('label').addEventListener('click', editHandler);
+    }
+
+    // Cancel button action.
+    this.cancelButton.addEventListener('click', (e) => {
+        e.stopImmediatePropagation();
+        e.preventDefault();
+        this.cancelEditing();
+    });
+
+    // If the value is not set yet, start editing and remove the cancel option - so that
+    // it saves something in the config table and doesn't keep repeat showing it as a new
+    // admin setting...
+    if (wrapper.dataset.novalue === 'y') {
+        this.startEditing(false);
+        this.cancelButton.style.display = 'none';
+    }
+};
+
+/**
+ * Starts editing.
+ *
+ * @param {Boolean} moveFocus If true, sets focus to the edit box
+ */
+EncryptedPassword.prototype.startEditing = function(moveFocus) {
+    this.input.style.display = 'inline';
+    this.input.disabled = false;
+    this.spanOrLink.style.display = 'none';
+    this.editButtonOrLink.style.display = 'none';
+    this.cancelButton.style.display = 'inline';
+
+    // Move the id around, which changes what happens when you click the label.
+    const id = this.editButtonOrLink.id;
+    this.editButtonOrLink.removeAttribute('id');
+    this.input.id = id;
+
+    if (moveFocus) {
+        this.input.focus();
+    }
+};
+
+/**
+ * Cancels editing.
+ */
+EncryptedPassword.prototype.cancelEditing = function() {
+    this.input.style.display = 'none';
+    this.input.value = '';
+    this.input.disabled = true;
+    this.spanOrLink.style.display = 'inline';
+    this.editButtonOrLink.style.display = 'inline';
+    this.cancelButton.style.display = 'none';
+
+    // Move the id around, which changes what happens when you click the label.
+    const id = this.input.id;
+    this.input.removeAttribute('id');
+    this.editButtonOrLink.id = id;
+};
index eda6039..2c9b94b 100644 (file)
@@ -41,7 +41,7 @@ use Iterator;
  */
 class filter implements Countable, Iterator, JsonSerializable {
 
-    /** @var in The default filter type (ANY) */
+    /** @var int The default filter type (ANY) */
     const JOINTYPE_DEFAULT = 1;
 
     /** @var int None of the following match */
index 0afddeb..be86f88 100644 (file)
@@ -40,8 +40,8 @@ use moodle_exception;
  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
  */
 abstract class filterset implements JsonSerializable {
-    /** @var in The default filter type (ANY) */
-    const JOINTYPE_DEFAULT = 1;
+    /** @var int The default filter type (ALL) */
+    const JOINTYPE_DEFAULT = 2;
 
     /** @var int None of the following match */
     const JOINTYPE_NONE = 0;
@@ -53,7 +53,7 @@ abstract class filterset implements JsonSerializable {
     const JOINTYPE_ALL = 2;
 
     /** @var int The join type currently in use */
-    protected $jointype = self::JOINTYPE_DEFAULT;
+    protected $jointype = null;
 
     /** @var array The list of combined filter types */
     protected $filtertypes = null;
@@ -90,6 +90,9 @@ abstract class filterset implements JsonSerializable {
      * @return int
      */
     public function get_join_type(): int {
+        if ($this->jointype === null) {
+            $this->jointype = self::JOINTYPE_DEFAULT;
+        }
         return $this->jointype;
     }
 
index 2991753..07f0705 100644 (file)
@@ -40,7 +40,7 @@
 <ul class="nav nav-tabs" role="tablist">
 <!-- First the top most node and immediate children -->
     <li class="nav-item">
-        <a class="nav-link active" href="#link{{node.key}}" data-toggle="tab" role="tab">{{node.text}}</a>
+        <a class="nav-link active" href="#link{{node.key}}" data-toggle="tab" role="tab" aria-selected="true">{{node.text}}</a>
     </li>
 <!-- Now the first level children with sub nodes -->
 {{#node.children}}
@@ -48,7 +48,7 @@
         {{#display}}
             {{^is_short_branch}}
                 <li class="nav-item">
-                    <a class="nav-link" href="#link{{key}}" data-toggle="tab" role="tab">{{text}}</a>
+                    <a class="nav-link" href="#link{{key}}" data-toggle="tab" role="tab" aria-selected="false" tabindex="-1">{{text}}</a>
                 </li>
             {{/is_short_branch}}
         {{/display}}
diff --git a/lib/tests/encryption_test.php b/lib/tests/encryption_test.php
new file mode 100644 (file)
index 0000000..60094f0
--- /dev/null
@@ -0,0 +1,265 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Test encryption.
+ *
+ * @package core
+ * @copyright 2020 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core;
+
+/**
+ * Test encryption.
+ *
+ * @package core
+ * @copyright 2020 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class encryption_testcase extends \basic_testcase {
+
+    /**
+     * Clear junk created by tests.
+     */
+    protected function tearDown(): void {
+        global $CFG;
+        $keyfile = encryption::get_key_file(encryption::METHOD_OPENSSL);
+        if (file_exists($keyfile)) {
+            chmod($keyfile, 0700);
+        }
+        $keyfile = encryption::get_key_file(encryption::METHOD_SODIUM);
+        if (file_exists($keyfile)) {
+            chmod($keyfile, 0700);
+        }
+        remove_dir($CFG->dataroot . '/secret');
+        unset($CFG->nokeygeneration);
+    }
+
+    protected function setUp(): void {
+        $this->tearDown();
+
+        require_once(__DIR__ . '/fixtures/testable_encryption.php');
+    }
+
+    /**
+     * Tests using Sodium need to check the extension is available.
+     *
+     * @param string $method Encryption method
+     */
+    protected function require_sodium(string $method) {
+        if ($method == encryption::METHOD_SODIUM) {
+            if (!encryption::is_sodium_installed()) {
+                $this->markTestSkipped('Sodium not installed');
+            }
+        }
+    }
+
+    /**
+     * Many of the tests work with both encryption methods.
+     *
+     * @return array[] Array of method options for test
+     */
+    public function encryption_method_provider(): array {
+        return ['Sodium' => [encryption::METHOD_SODIUM], 'OpenSSL' => [encryption::METHOD_OPENSSL]];
+    }
+
+    /**
+     * Tests the create_keys and get_key functions.
+     *
+     * @param string $method Encryption method
+     * @dataProvider encryption_method_provider
+     */
+    public function test_create_key(string $method): void {
+        $this->require_sodium($method);
+        encryption::create_key($method);
+        $key = testable_encryption::get_key($method);
+
+        // Conveniently, both encryption methods have the same key length.
+        $this->assertEquals(32, strlen($key));
+
+        $this->expectExceptionMessage('Key already exists');
+        encryption::create_key($method);
+    }
+
+    /**
+     * Tests encryption and decryption with empty strings.
+     *
+     * @throws \moodle_exception
+     */
+    public function test_encrypt_and_decrypt_empty(): void {
+        $this->assertEquals('', encryption::encrypt(''));
+        $this->assertEquals('', encryption::decrypt(''));
+    }
+
+    /**
+     * Tests encryption when the keys weren't created yet.
+     *
+     * @param string $method Encryption method
+     * @dataProvider encryption_method_provider
+     */
+    public function test_encrypt_nokeys(string $method): void {
+        global $CFG;
+        $this->require_sodium($method);
+
+        // Prevent automatic generation of keys.
+        $CFG->nokeygeneration = true;
+        $this->expectExceptionMessage('Key not found');
+        encryption::encrypt('frogs', $method);
+    }
+
+    /**
+     * Tests decryption when the data has a different encryption method
+     */
+    public function test_decrypt_wrongmethod(): void {
+        $this->expectExceptionMessage('Data does not match a supported encryption method');
+        encryption::decrypt('FAKE-CIPHER-METHOD:xx');
+    }
+
+    /**
+     * Tests decryption when not enough data is supplied to get the IV and some data.
+     *
+     * @dataProvider encryption_method_provider
+     * @param string $method Encryption method
+     */
+    public function test_decrypt_tooshort(string $method): void {
+        $this->require_sodium($method);
+
+        $this->expectExceptionMessage('Insufficient data');
+        switch ($method) {
+            case encryption::METHOD_OPENSSL:
+                // It needs min 49 bytes (16 bytes IV + 32 bytes HMAC + 1 byte data).
+                $justtooshort = '0123456789abcdef0123456789abcdef0123456789abcdef';
+                break;
+            case encryption::METHOD_SODIUM:
+                // Sodium needs 25 bytes at least as far as our code is concerned (24 bytes IV + 1
+                // byte data); it splits out any authentication hashes itself.
+                $justtooshort = '0123456789abcdef01234567';
+                break;
+        }
+
+        encryption::decrypt($method . ':' .base64_encode($justtooshort));
+    }
+
+    /**
+     * Tests decryption when data is not valid base64.
+     *
+     * @dataProvider encryption_method_provider
+     * @param string $method Encryption method
+     */
+    public function test_decrypt_notbase64(string $method): void {
+        $this->require_sodium($method);
+
+        $this->expectExceptionMessage('Invalid base64 data');
+        encryption::decrypt($method . ':' . chr(160));
+    }
+
+    /**
+     * Tests decryption when the keys weren't created yet.
+     *
+     * @dataProvider encryption_method_provider
+     * @param string $method Encryption method
+     */
+    public function test_decrypt_nokeys(string $method): void {
+        global $CFG;
+        $this->require_sodium($method);
+
+        // Prevent automatic generation of keys.
+        $CFG->nokeygeneration = true;
+        $this->expectExceptionMessage('Key not found');
+        encryption::decrypt($method . ':' . base64_encode(
+                '0123456789abcdef0123456789abcdef0123456789abcdef0'));
+    }
+
+    /**
+     * Test automatic generation of keys when needed.
+     *
+     * @dataProvider encryption_method_provider
+     * @param string $method Encryption method
+     */
+    public function test_auto_key_generation(string $method): void {
+        $this->require_sodium($method);
+
+        // Allow automatic generation (default).
+        $encrypted = encryption::encrypt('frogs', $method);
+        $this->assertEquals('frogs', encryption::decrypt($encrypted));
+    }
+
+    /**
+     * Checks that invalid key causes failures.
+     *
+     * @dataProvider encryption_method_provider
+     * @param string $method Encryption method
+     */
+    public function test_invalid_key(string $method): void {
+        global $CFG;
+        $this->require_sodium($method);
+
+        // Set the key to something bogus.
+        $folder = $CFG->dataroot . '/secret/key';
+        check_dir_exists($folder);
+        file_put_contents(encryption::get_key_file($method), 'silly');
+
+        switch ($method) {
+            case encryption::METHOD_SODIUM:
+                $this->expectExceptionMessage('key size should be');
+                break;
+
+            case encryption::METHOD_OPENSSL:
+                $this->expectExceptionMessage('Invalid key');
+                break;
+        }
+        encryption::encrypt('frogs', $method);
+    }
+
+    /**
+     * Checks that modified data causes failures.
+     *
+     * @dataProvider encryption_method_provider
+     * @param string $method Encryption method
+     */
+    public function test_modified_data(string $method): void {
+        $this->require_sodium($method);
+
+        $encrypted = encryption::encrypt('frogs', $method);
+        $mainbit = base64_decode(substr($encrypted, strlen($method) + 1));
+        $mainbit = substr($mainbit, 0, 16) . 'X' . substr($mainbit, 16);
+        $encrypted = $method . ':' . base64_encode($mainbit);
+        $this->expectExceptionMessage('Integrity check failed');
+        encryption::decrypt($encrypted);
+    }
+
+    /**
+     * Tests encryption and decryption for real.
+     *
+     * @dataProvider encryption_method_provider
+     * @param string $method Encryption method
+     * @throws \moodle_exception
+     */
+    public function test_encrypt_and_decrypt_realdata(string $method): void {
+        $this->require_sodium($method);
+
+        // Encrypt short string.
+        $encrypted = encryption::encrypt('frogs', $method);
+        $this->assertNotEquals('frogs', $encrypted);
+        $this->assertEquals('frogs', encryption::decrypt($encrypted));
+
+        // Encrypt really long string (1 MB).
+        $long = str_repeat('X', 1024 * 1024);
+        $this->assertEquals($long, encryption::decrypt(encryption::encrypt($long, $method)));
+    }
+}
diff --git a/lib/tests/fixtures/testable_encryption.php b/lib/tests/fixtures/testable_encryption.php
new file mode 100644 (file)
index 0000000..a905650
--- /dev/null
@@ -0,0 +1,31 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+namespace core;
+
+/**
+ * Testable version of the encryption class - just makes it possible to unit-test protected
+ * function.
+ *
+ * @package core
+ * @copyright 2020 The Open University
+ * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class testable_encryption extends encryption {
+    public static function get_key(?string $method = null): string {
+        return parent::get_key($method);
+    }
+}
index 3cb62ad..9f0d616 100644 (file)
@@ -7,6 +7,13 @@ information provided here is intended especially for developers.
 * Final deprecation i_dock_block() in behat_deprecated.php
 * Final deprecation of get_courses_page. Function has been removed and core_course_category::get_courses() should be
   used instead.
+* New encryption API in \core\encryption allows secure encryption and decryption of data. By
+  default the key is stored in moodledata but admins can configure a different, more secure
+  location in config.php if required. To get the best possible security for this feature, we
+  recommend enabling the Sodium PHP extension.
+* Behat timeout constants behat_base::TIMEOUT, EXTENDED_TIMEOUT, and REDUCED_TIMEOUT, which were deprecated in 3.7, have been removed.
+* \core_table\local\filter\filterset::JOINTYPE_DEFAULT is being changed from 1 (ANY) to 2 (ALL). Filterset implementations
+  can override the default filterset join type by overriding \core_table\local\filter\filterset::get_join_type() instead.
 
 === 3.10 ===
 * PHPUnit has been upgraded to 8.5. That comes with a few changes:
index b13f152..c0a1c5f 100644 (file)
@@ -823,8 +823,8 @@ class manager {
             }
         }
 
-        // Add all supported block contexts, in a single query for performance.
-        if (!empty($areasbylevel[CONTEXT_BLOCK])) {
+        // Add all supported block contexts for course contexts that user can access, in a single query for performance.
+        if (!empty($areasbylevel[CONTEXT_BLOCK]) && !empty($coursecontextids)) {
             // Get list of all block types we care about.
             $blocklist = [];
             foreach ($areasbylevel[CONTEXT_BLOCK] as $areaid => $searchclass) {
index 0a52f5f..217dcb4 100644 (file)
@@ -791,7 +791,6 @@ class search_manager_testcase extends advanced_testcase {
         $this->assertEquals($contexts['block_html-content'], $limitedcontexts['block_html-content']);
 
         // Get block context ids for the blocks that appear.
-        global $DB;
         $blockcontextids = $DB->get_fieldset_sql('
             SELECT x.id
               FROM {block_instances} bi
@@ -811,6 +810,43 @@ class search_manager_testcase extends advanced_testcase {
         $this->assertCount(1, $contexts['block_html-content']);
     }
 
+    /**
+     * Tests retrieval of users search areas when limiting to a course the user is not enrolled in
+     */
+    public function test_search_users_accesses_limit_non_enrolled_course() {
+        global $DB;
+
+        $this->resetAfterTest();
+
+        $user = $this->getDataGenerator()->create_user();
+        $this->setUser($user);
+
+        $search = testable_core_search::instance();
+        $search->add_core_search_areas();
+
+        $course = $this->getDataGenerator()->create_course();
+        $context = context_course::instance($course->id);
+
+        // Limit courses to search to only those the user is enrolled in.
+        set_config('searchallavailablecourses', 0);
+
+        $usercontexts = $search->get_areas_user_accesses([$course->id])->usercontexts;
+        $this->assertNotEmpty($usercontexts);
+        $this->assertArrayNotHasKey('core_course-course', $usercontexts);
+
+        // This config ensures the search will also include courses the user can view.
+        set_config('searchallavailablecourses', 1);
+
+        // Allow "Authenticated user" role to view the course without being enrolled in it.
+        $userrole = $DB->get_record('role', ['shortname' => 'user'], '*', MUST_EXIST);
+        role_change_permission($userrole->id, $context, 'moodle/course:view', CAP_ALLOW);
+
+        $usercontexts = $search->get_areas_user_accesses([$course->id])->usercontexts;
+        $this->assertNotEmpty($usercontexts);
+        $this->assertArrayHasKey('core_course-course', $usercontexts);
+        $this->assertEquals($context->id, reset($usercontexts['core_course-course']));
+    }
+
     /**
      * Test get_areas_user_accesses with regard to the 'all available courses' config option.
      *
index 447fd66..9e9de66 100644 (file)
Binary files a/theme/boost/amd/build/aria.min.js and b/theme/boost/amd/build/aria.min.js differ
index 2098af4..50e8222 100644 (file)
Binary files a/theme/boost/amd/build/aria.min.js.map and b/theme/boost/amd/build/aria.min.js.map differ
index baacba5..4f9b804 100644 (file)
Binary files a/theme/boost/amd/build/loader.min.js and b/theme/boost/amd/build/loader.min.js differ
index bcde39c..f9e4a1b 100644 (file)
Binary files a/theme/boost/amd/build/loader.min.js.map and b/theme/boost/amd/build/loader.min.js.map differ
index b2b96b0..f0358a9 100644 (file)
  * @copyright  2018 Damyon Wiese <damyon@moodle.com>
  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
  */
-define(['jquery', 'core/pending'], function($, Pending) {
-    return {
-        init: function() {
-            // Drop downs from bootstrap don't support keyboard accessibility by default.
-            var focusEnd = false,
-                setFocusEnd = function() {
-                    focusEnd = true;
-                },
-                getFocusEnd = function() {
-                    var result = focusEnd;
-                    focusEnd = false;
-                    return result;
-                };
-
-            // Special handling for "up" keyboard control.
-            $('[data-toggle="dropdown"]').keydown(function(e) {
-                var trigger = e.which || e.keyCode,
-                    expanded;
-
-                // Up key opens the menu at the end.
-                if (trigger == 38) {
-                    // Focus the end of the menu, not the beginning.
-                    setFocusEnd();
-                }
 
-                // Escape key only closes the menu, it doesn't open it.
-                if (trigger == 27) {
-                    expanded = $(e.target).attr('aria-expanded');
-                    e.preventDefault();
-                    if (expanded == "false") {
-                        $(e.target).click();
-                    }
-                }
+import $ from 'jquery';
+import Pending from 'core/pending';
+
+/**
+ * Drop downs from bootstrap don't support keyboard accessibility by default.
+ */
+const dropdownFix = () => {
+    let focusEnd = false;
+    const setFocusEnd = () => {
+        focusEnd = true;
+    };
+    const getFocusEnd = () => {
+        const result = focusEnd;
+        focusEnd = false;
+        return result;
+    };
 
-                // Space key or Enter key opens the menu.
-                if (trigger == 32 || trigger == 13) {
-                    // Cancel random scroll.
-                    e.preventDefault();
-                    // Open the menu instead.
-                    $(e.target).click();
+    // Special handling for "up" keyboard control.
+    document.addEventListener('keydown', e => {
+        if (e.target.matches('[data-toggle="dropdown"]')) {
+            const trigger = e.key;
+
+            // Up key opens the menu at the end.
+            if (trigger == 'ArrowUp') {
+                // Focus the end of the menu, not the beginning.
+                setFocusEnd();
+            }
+
+            // Escape key only closes the menu, it doesn't open it.
+            if (trigger == 'Escape') {
+                const expanded = e.target.getAttribute('aria-expanded');
+                e.preventDefault();
+                if (expanded == "false") {
+                    e.target.click();
                 }
-            });
+            }
+
+            // Space key or Enter key opens the menu.
+            if (trigger == ' ' || trigger == 'Enter') {
+                // Cancel random scroll.
+                e.preventDefault();
+                // Open the menu instead.
+                e.target.click();
+            }
+        }
+    });
+
+    // Special handling for navigation keys when menu is open.
+    const shiftFocus = element => {
+        const delayedFocus = pendingPromise => {
+            element.focus();
+            pendingPromise.resolve();
+        };
+        setTimeout(delayedFocus, 50, new Pending('core/aria:delayed-focus'));
+    };
+
+    $('.dropdown').on('shown.bs.dropdown', e => {
+        // We need to focus on the first menuitem.
+        const menu = e.target.querySelector('[role="menu"]');
+        let menuItems = false;
+        let foundMenuItem = false;
 
-            // Special handling for navigation keys when menu is open.
-            var shiftFocus = function(element) {
-                var delayedFocus = function(pendingPromise) {
-                    $(this).focus();
-                    pendingPromise.resolve();
-                }.bind(element);
-                setTimeout(delayedFocus, 50, new Pending('core/aria:delayed-focus'));
-            };
-
-            $('.dropdown').on('shown.bs.dropdown', function(e) {
-                // We need to focus on the first menuitem.
-                var menu = $(e.target).find('[role="menu"]'),
-                    menuItems = false,
-                    foundMenuItem = false;
-
-                if (menu) {
-                    menuItems = $(menu).find('[role="menuitem"]');
+        if (menu) {
+            menuItems = menu.querySelectorAll('[role="menuitem"]');
+        }
+        if (menuItems && menuItems.length > 0) {
+            if (getFocusEnd()) {
+                foundMenuItem = menuItems[menuItems.length - 1];
+            } else {
+                // The first menu entry, pretty reasonable.
+                foundMenuItem = menuItems[0];
+            }
+        }
+        if (foundMenuItem) {
+            shiftFocus(foundMenuItem);
+        }
+    });
+    // Search for menu items by finding the first item that has
+    // text starting with the typed character (case insensitive).
+    document.addEventListener('keypress', e => {
+        if (e.target.matches('.dropdown [role="menu"] [role="menuitem"]')) {
+            const menu = e.target.closest('[role="menu"]');
+            if (!menu) {
+                return;
+            }
+            const menuItems = menu.querySelectorAll('[role="menuitem"]');
+            if (!menuItems) {
+                return;
+            }
+
+            const trigger = e.key.toLowerCase();
+
+            for (let i = 0; i < menuItems.length; i++) {
+                const item = menuItems[i];
+                const itemText = item.text.trim().toLowerCase();
+                if (itemText.indexOf(trigger) == 0) {
+                    shiftFocus(item);
+                    break;
                 }
-                if (menuItems && menuItems.length > 0) {
-                    if (getFocusEnd()) {
-                        foundMenuItem = menuItems[menuItems.length - 1];
-                    } else {
-                        // The first menu entry, pretty reasonable.
-                        foundMenuItem = menuItems[0];
+            }
+        }
+    });
+
+    // Keyboard navigation for arrow keys, home and end keys.
+    document.addEventListener('keydown', e => {
+        if (e.target.matches('.dropdown [role="menu"] [role="menuitem"]')) {
+            const trigger = e.key;
+            let next = false;
+            const menu = e.target.closest('[role="menu"]');
+
+            if (!menu) {
+                return;
+            }
+            const menuItems = menu.querySelectorAll('[role="menuitem"]');
+            if (!menuItems) {
+                return;
+            }
+            // Down key.
+            if (trigger == 'ArrowDown') {
+                for (let i = 0; i < menuItems.length - 1; i++) {
+                    if (menuItems[i] == e.target) {
+                        next = menuItems[i + 1];
+                        break;
                     }
                 }
-                if (foundMenuItem) {
-                    shiftFocus(foundMenuItem);
-                }
-            });
-            // Search for menu items by finding the first item that has
-            // text starting with the typed character (case insensitive).
-            $('.dropdown [role="menu"] [role="menuitem"]').keypress(function(e) {
-                var trigger = String.fromCharCode(e.which || e.keyCode),
-                    menu = $(e.target).closest('[role="menu"]'),
-                    i = 0,
-                    menuItems = false,
-                    item,
-                    itemText;
-
-                if (!menu) {
-                    return;
-                }
-                menuItems = $(menu).find('[role="menuitem"]');
-                if (!menuItems) {
-                    return;
+                if (!next) {
+                    // Wrap to first item.
+                    next = menuItems[0];
                 }
 
-                trigger = trigger.toLowerCase();
-                for (i = 0; i < menuItems.length; i++) {
-                    item = $(menuItems[i]);
-                    itemText = item.text().trim().toLowerCase();
-                    if (itemText.indexOf(trigger) == 0) {
-                        shiftFocus(item);
+            } else if (trigger == 'ArrowUp') {
+                // Up key.
+                for (let i = 1; i < menuItems.length; i++) {
+                    if (menuItems[i] == e.target) {
+                        next = menuItems[i - 1];
                         break;
                     }
                 }
-            });
-
-            // Keyboard navigation for arrow keys, home and end keys.
-            $('.dropdown [role="menu"] [role="menuitem"]').keydown(function(e) {
-                var trigger = e.which || e.keyCode,
-                    next = false,
-                    menu = $(e.target).closest('[role="menu"]'),
-                    i = 0,
-                    menuItems = false;
-                if (!menu) {
-                    return;
-                }
-                menuItems = $(menu).find('[role="menuitem"]');
-                if (!menuItems) {
-                    return;
+                if (!next) {
+                    // Wrap to last item.
+                    next = menuItems[menuItems.length - 1];
                 }
-                // Down key.
-                if (trigger == 40) {
-                    for (i = 0; i < menuItems.length - 1; i++) {
-                        if (menuItems[i] == e.target) {
-                            next = menuItems[i + 1];
-                            break;
-                        }
-                    }
-                    if (!next) {
-                        // Wrap to first item.
-                        next = menuItems[0];
-                    }
 
-                } else if (trigger == 38) {
-                    // Up key.
-                    for (i = 1; i < menuItems.length; i++) {
-                        if (menuItems[i] == e.target) {
-                            next = menuItems[i - 1];
-                            break;
-                        }
-                    }
-                    if (!next) {
-                        // Wrap to last item.
-                        next = menuItems[menuItems.length - 1];
-                    }
+            } else if (trigger == 'Home') {
+                // Home key.
+                next = menuItems[0];
 
-                } else if (trigger == 36) {
-                    // Home key.
-                    next = menuItems[0];
+            } else if (trigger == 'End') {
+                // End key.
+                next = menuItems[menuItems.length - 1];
+            }
+            // Variable next is set if we do want to act on the keypress.
+            if (next) {
+                e.preventDefault();
+                shiftFocus(next);
+            }
+            return;
+        }
+    });
 
-                } else if (trigger == 35) {
-                    // End key.
-                    next = menuItems[menuItems.length - 1];
-                }
-                // Variable next is set if we do want to act on the keypress.
-                if (next) {
-                    e.preventDefault();
-                    shiftFocus(next);
-                }
-                return;
-            });
-            $('.dropdown').on('hidden.bs.dropdown', function(e) {
-                // We need to focus on the menu trigger.
-                var trigger = $(e.target).find('[data-toggle="dropdown"]');
-                if (trigger) {
-                    shiftFocus(trigger);
-                }
+    $('.dropdown').on('hidden.bs.dropdown', e => {
+        // We need to focus on the menu trigger.
+        const trigger = e.target.querySelector('[data-toggle="dropdown"]');
+        if (trigger) {
+            shiftFocus(trigger);
+        }
+    });
+};
+
+/**
+ * After page load, focus on any element with special autofocus attribute.
+ */
+const autoFocus = () => {
+    window.addEventListener("load", () => {
+        const alerts = document.querySelectorAll('[data-aria-autofocus="true"][role="alert"]');
+        Array.prototype.forEach.call(alerts, autofocusElement => {
+            // According to the specification an role="alert" region is only read out on change to the content
+            // of that region.
+            autofocusElement.innerHTML += ' ';
+            autofocusElement.removeAttribute('data-aria-autofocus');
+        });
+    });
+};
+
+/**
+ * Changes the focus to the correct tab based on the key that is pressed.
+ * @param {KeyboardEvent} e
+ */
+const updateTabFocus = e => {
+    const tabList = e.target.closest('[role="tablist"]');
+    const vertical = tabList.getAttribute('aria-orientation') == 'vertical';
+    const rtl = window.right_to_left();
+    const arrowNext = vertical ? 'ArrowDown' : (rtl ? 'ArrowLeft' : 'ArrowRight');
+    const arrowPrevious = vertical ? 'ArrowUp' : (rtl ? 'ArrowRight' : 'ArrowLeft');
+    const tabs = Array.prototype.filter.call(
+        tabList.querySelectorAll('[role="tab"]'),
+        tab => getComputedStyle(tab).display !== 'none'); // We only work with the visible tabs.
+
+    for (let i = 0; i < tabs.length; i++) {
+        tabs[i].index = i;
+    }
+
+    switch (e.key) {
+        case arrowNext:
+            e.preventDefault();
+            if (e.target.index !== undefined && tabs[e.target.index + 1]) {
+                tabs[e.target.index + 1].focus();
+            } else {
+                tabs[0].focus();
+            }
+            break;
+        case arrowPrevious:
+            e.preventDefault();
+            if (e.target.index !== undefined && tabs[e.target.index - 1]) {
+                tabs[e.target.index - 1].focus();
+            } else {
+                tabs[tabs.length - 1].focus();
+            }
+            break;
+        case 'Home':
+            e.preventDefault();
+            tabs[0].focus();
+            break;
+        case 'End':
+            e.preventDefault();
+            tabs[tabs.length - 1].focus();
+            break;
+        case 'Enter':
+        case ' ':
+            e.preventDefault();
+            $(e.target).tab('show');
+            tabs.forEach(tab => {
+                tab.tabIndex = -1;
             });
+            e.target.tabIndex = 0;
+    }
+};
+
+/**
+ * Fix accessibility issues regarding tab elements focus and their tab order in Bootstrap navs.
+ */
+const tabElementFix = () => {
+    document.addEventListener('keydown', e => {
+        if (['ArrowUp', 'ArrowDown', 'ArrowLeft', 'ArrowRight', 'Home', 'End', 'Enter', ' '].includes(e.key)) {
+            if (e.target.matches('[role="tablist"] [role="tab"]')) {
+                updateTabFocus(e);
+            }
+        }
+    });
 
-            // After page load, focus on any element with special autofocus attribute.
-            window.addEventListener("load", () => {
-                const alerts = document.querySelectorAll('[data-aria-autofocus="true"][role="alert"]');
-                Array.prototype.forEach.call(alerts, autofocusElement => {
-                    // According to the specification an role="alert" region is only read out on change to the content
-                    // of that region.
-                    autofocusElement.innerHTML += ' ';
-                    autofocusElement.removeAttribute('data-aria-autofocus');
-                });
+    document.addEventListener('click', e => {
+        if (e.target.matches('[role="tablist"] [role="tab"]')) {
+            const tabs = e.target.closest('[role="tablist"]').querySelectorAll('[role="tab"]');
+            e.preventDefault();
+            $(e.target).tab('show');
+            tabs.forEach(tab => {
+                tab.tabIndex = -1;
             });
+            e.target.tabIndex = 0;
         }
-    };
-});
+    });
+};
+
+export const init = () => {
+    dropdownFix();
+    autoFocus();
+    tabElementFix();
+};
index a050c6f..f92a379 100644 (file)
@@ -25,7 +25,7 @@
  */
 
 import $ from 'jquery';
-import Aria from './aria';
+import * as Aria from './aria';
 import Bootstrap from './bootstrap/index';
 import Pending from 'core/pending';
 import Scroll from './scroll';
@@ -43,9 +43,12 @@ const rememberTabs = () => {
             location.hash = hash;
         }
     });
-    var hash = window.location.hash;
+    const hash = window.location.hash;
     if (hash) {
-       $('.nav-link[href="' + hash + '"]').tab('show');
+        const tab = document.querySelector('.nav-link[href="' + hash + '"]');
+        if (tab) {
+            tab.click();
+        }
     }
 };
 
@@ -83,6 +86,9 @@ const pendingPromise = new Pending('theme_boost/loader:init');
 // Add pending promise event listeners to relevant Bootstrap custom events.
 setupBootstrapPendingChecks();
 
+// Setup Aria helpers for Bootstrap features.
+Aria.init();
+
 // Remember the last visited tabs.
 rememberTabs();
 
@@ -98,9 +104,6 @@ enableTooltips();
 // Disables flipping the dropdowns up and getting hidden behind the navbar.
 $.fn.dropdown.Constructor.Default.flip = false;
 
-// Setup Aria helpers for Bootstrap features.
-Aria.init();
-
 pendingPromise.resolve();
 
 export {
index ec25e9f..162314a 100644 (file)
@@ -39,7 +39,9 @@
 <ul class="nav nav-tabs" role="tablist">
     {{#tabs}}
         <li class="nav-item">
-            <a href="#{{name}}" class="nav-link {{#active}}active{{/active}}" data-toggle="tab" role="tab">{{displayname}}</a>
+            <a href="#{{name}}" class="nav-link {{#active}}active{{/active}}" data-toggle="tab" role="tab"
+                {{#active}}aria-selected="true"{{/active}}
+                {{^active}}aria-selected="false" tabindex="-1"{{/active}}>{{displayname}}</a>
         </li>
     {{/tabs}}
 </ul>
index 1f5b3f0..d99bc1b 100644 (file)
Binary files a/user/amd/build/participantsfilter.min.js and b/user/amd/build/participantsfilter.min.js differ
index 05781b4..63fcd31 100644 (file)
Binary files a/user/amd/build/participantsfilter.min.js.map and b/user/amd/build/participantsfilter.min.js.map differ
index 3f17241..c084f58 100644 (file)
@@ -337,8 +337,8 @@ export const init = participantsRegionId => {
 
         if (filters.length === 1) {
             filterSet.querySelector(Selectors.filterset.regions.filtermatch).classList.add('hidden');
-            filterSet.querySelector(Selectors.filterset.fields.join).value = 1;
-            filterSet.dataset.filterverb = 1;
+            filterSet.querySelector(Selectors.filterset.fields.join).value = 2;
+            filterSet.dataset.filterverb = 2;
         } else {
             filterSet.querySelector(Selectors.filterset.regions.filtermatch).classList.remove('hidden');
         }
index e9315f8..fc9a8b8 100644 (file)
@@ -40,7 +40,7 @@
     }
 }}
 
-<div id="core_user-participantsfilter-{{uniqid}}" class="filter-group my-2 p-2 bg-light border-radius border" data-table-region="{{tableregionid}}" data-table-course-id="{{courseid}}" data-filterverb="1">
+<div id="core_user-participantsfilter-{{uniqid}}" class="filter-group my-2 p-2 bg-light border-radius border" data-table-region="{{tableregionid}}" data-table-course-id="{{courseid}}" data-filterverb="2">
     <div data-filterregion="filtermatch" class="hidden">
         <label for="core_user-local-participantsfilter-jointype-{{uniqid}}" class="my-0" aria-hidden="true">
             {{#str}}match, core_user{{/str}}
@@ -48,8 +48,8 @@
         <select class="custom-select" data-filterfield="join" id="core_user-local-participantsfilter-jointype-{{uniqid}}"
                 aria-label="{{#str}}filtersetmatchdescription, core_user{{/str}}">
             <option value="0">{{#str}}none{{/str}}</option>
-            <option selected=selected value="1">{{#str}}any{{/str}}</option>
-            <option value="2">{{#str}}all{{/str}}</option>
+            <option value="1">{{#str}}any{{/str}}</option>
+            <option value="2" selected>{{#str}}all{{/str}}</option>
         </select>
         <span aria-hidden="true">{{#str}}matchofthefollowing, core_user{{/str}}</span>
     </div>
index e962dfc..b957693 100644 (file)
@@ -707,7 +707,7 @@ Feature: Course participants can be filtered
     And I should not see "Student 4" in the "participants" "table"
     And I should not see "Teacher 1" in the "participants" "table"
     And I click on "Add condition" "button"
-    # Re-add a second filter and ensure the default (any) filterset match type is set.
+    # Re-add a second filter and ensure the default (All) filterset match type is set.
     And I set the field "Match" in the "Filter 2" "fieldset" to "All"
     And I set the field "type" in the "Filter 2" "fieldset" to "Role"
     And I click on ".form-autocomplete-downarrow" "css_element" in the "Filter 2" "fieldset"
@@ -716,7 +716,7 @@ Feature: Course participants can be filtered
     And I should see "Student 1" in the "participants" "table"
     And I should see "Student 2" in the "participants" "table"
     And I should see "Student 3" in the "participants" "table"
-    And I should see "Student 4" in the "participants" "table"
+    And I should not see "Student 4" in the "participants" "table"
     And I should not see "Teacher 1" in the "participants" "table"
 
   @javascript