Merge branch 'MDL-65075-master' of git://github.com/jleyva/moodle
authorAdrian Greeve <abgreeve@gmail.com>
Tue, 9 Apr 2019 09:12:46 +0000 (17:12 +0800)
committerAdrian Greeve <abgreeve@gmail.com>
Tue, 9 Apr 2019 09:16:18 +0000 (17:16 +0800)
140 files changed:
admin/settings/courses.php
admin/settings/subsystems.php
admin/tool/analytics/classes/output/form/edit_model.php
admin/tool/analytics/classes/output/helper.php
admin/tool/analytics/classes/output/invalid_analysables.php
admin/tool/analytics/classes/task/predict_models.php
admin/tool/analytics/classes/task/train_models.php
admin/tool/analytics/cli/evaluate_model.php
admin/tool/analytics/lang/en/tool_analytics.php
admin/tool/analytics/model.php
admin/tool/mobile/classes/external.php
admin/tool/mobile/upgrade.txt
admin/tool/recyclebin/classes/category_bin.php
admin/tool/recyclebin/classes/course_bin.php
admin/tool/recyclebin/tests/category_bin_test.php
admin/tool/recyclebin/tests/course_bin_test.php
analytics/classes/analysable.php
analytics/classes/analysis.php [new file with mode: 0644]
analytics/classes/course.php
analytics/classes/dataset_manager.php
analytics/classes/insights_generator.php [new file with mode: 0644]
analytics/classes/local/analyser/base.php
analytics/classes/local/analyser/by_course.php
analytics/classes/local/analyser/sitewide.php
analytics/classes/local/analysis/result.php [new file with mode: 0644]
analytics/classes/local/analysis/result_array.php [new file with mode: 0644]
analytics/classes/local/analysis/result_file.php [new file with mode: 0644]
analytics/classes/local/target/base.php
analytics/classes/local/target/binary.php
analytics/classes/local/target/discrete.php
analytics/classes/local/time_splitting/base.php
analytics/classes/local/time_splitting/periodic.php [new file with mode: 0644]
analytics/classes/local/time_splitting/upcoming_periodic.php [new file with mode: 0644]
analytics/classes/manager.php
analytics/classes/model.php
analytics/classes/prediction_action.php
analytics/classes/user.php [new file with mode: 0644]
analytics/templates/insight_info_message.mustache [new file with mode: 0644]
analytics/templates/insight_info_message_prediction.mustache [new file with mode: 0644]
analytics/tests/dataset_manager_test.php
analytics/tests/fixtures/test_analysis.php [moved from analytics/tests/fixtures/test_analyser.php with 79% similarity]
analytics/tests/fixtures/test_indicator_null.php [new file with mode: 0644]
analytics/tests/fixtures/test_site_users_analyser.php
analytics/tests/fixtures/test_target_shortname.php
analytics/tests/fixtures/test_target_site_users.php
analytics/tests/fixtures/test_timesplitting_seconds.php [new file with mode: 0644]
analytics/tests/fixtures/test_timesplitting_weekly.php [new file with mode: 0644]
analytics/tests/manager_test.php
analytics/tests/model_test.php
analytics/tests/prediction_test.php
analytics/tests/privacy_test.php
analytics/upgrade.txt
backup/backup.class.php
backup/backup.php
backup/controller/backup_controller.class.php
backup/controller/restore_controller.class.php
backup/externallib.php [new file with mode: 0644]
backup/restore.php
backup/restorefile.php
backup/tests/async_backup_test.php [new file with mode: 0644]
backup/tests/async_restore_test.php [new file with mode: 0644]
backup/util/dbops/backup_controller_dbops.class.php
backup/util/helper/async_helper.class.php [new file with mode: 0644]
backup/util/helper/tests/async_helper_test.php [new file with mode: 0644]
backup/util/includes/backup_includes.php
backup/util/includes/restore_includes.php
backup/util/ui/amd/build/async_backup.min.js [new file with mode: 0644]
backup/util/ui/amd/src/async_backup.js [new file with mode: 0644]
backup/util/ui/renderer.php
badges/cron.php [deleted file]
calendar/lib.php
calendar/view.php
course/amd/build/actions.min.js
course/amd/src/actions.js
course/classes/analytics/indicator/activities_due.php [new file with mode: 0644]
course/delete.php
course/format/renderer.php
course/format/topics/renderer.php
course/lib.php
course/tests/behat/behat_course.php
course/view.php
dataformat/pdf/classes/privacy/provider.php [new file with mode: 0644]
dataformat/pdf/classes/writer.php [new file with mode: 0644]
dataformat/pdf/lang/en/dataformat_pdf.php [new file with mode: 0644]
dataformat/pdf/version.php [new file with mode: 0644]
lang/en/admin.php
lang/en/analytics.php
lang/en/backup.php
lang/en/course.php
lang/en/moodle.php
lang/en/role.php
lib/amd/build/icon_system_fontawesome.min.js
lib/amd/build/icon_system_standard.min.js
lib/amd/src/icon_system_fontawesome.js
lib/amd/src/icon_system_standard.js
lib/badgeslib.php
lib/behat/classes/partial_named_selector.php
lib/classes/analytics/analyser/courses.php
lib/classes/analytics/analyser/site_courses.php
lib/classes/analytics/analyser/student_enrolments.php
lib/classes/analytics/analyser/users.php [new file with mode: 0644]
lib/classes/analytics/target/course_dropout.php
lib/classes/analytics/target/course_enrolments.php
lib/classes/analytics/target/course_gradetopass.php [new file with mode: 0644]
lib/classes/analytics/target/no_teaching.php
lib/classes/analytics/time_splitting/upcoming_week.php [new file with mode: 0644]
lib/classes/plugin_manager.php
lib/classes/progress/db_updater.php [new file with mode: 0644]
lib/classes/task/asynchronous_backup_task.php [new file with mode: 0644]
lib/classes/task/asynchronous_restore_task.php [new file with mode: 0644]
lib/classes/task/badges_cron_task.php
lib/classes/task/badges_message_task.php [new file with mode: 0644]
lib/db/access.php
lib/db/analytics.php
lib/db/install.xml
lib/db/messages.php
lib/db/services.php
lib/db/tasks.php
lib/db/upgrade.php
lib/templates/async_backup_progress.mustache [new file with mode: 0644]
lib/templates/async_backup_progress_row.mustache [new file with mode: 0644]
lib/templates/async_backup_status.mustache [new file with mode: 0644]
lib/templates/async_restore_progress_row.mustache [new file with mode: 0644]
lib/tests/analysers_test.php
lib/tests/fixtures/deprecated_analyser.php [new file with mode: 0644]
lib/tests/targets_test.php
lib/tests/time_splittings_test.php
message/tests/behat/behat_message.php
message/tests/behat/message_drawer_manage_contacts.feature
message/tests/behat/message_send_messages.feature [new file with mode: 0644]
report/insights/classes/output/insight.php
report/insights/classes/output/insights_list.php
report/insights/done.php [new file with mode: 0644]
report/insights/insights.php
report/insights/lang/en/report_insights.php
report/insights/lib.php
report/insights/templates/insight_details.mustache
report/insights/templates/insights_list.mustache
user/classes/analytics/target/upcoming_activities_due.php [new file with mode: 0644]
version.php

index f214ab4..99892d6 100644 (file)
@@ -458,4 +458,28 @@ if ($hassiteconfig or has_any_capability($capabilities, $systemcontext)) {
 
     $ADMIN->add('backups', $temp);
 
+    // Create a page for asynchronous backup and restore configuration and defaults.
+    if (!empty($CFG->enableasyncbackup)) {  // Only add settings if async mode is enable at site level.
+        $temp = new admin_settingpage('asyncgeneralsettings', new lang_string('asyncgeneralsettings', 'backup'));
+
+        $temp->add(new admin_setting_configcheckbox(
+                'backup/backup_async_message_users',
+                new lang_string('asyncemailenable', 'backup'),
+                new lang_string('asyncemailenabledetail', 'backup'), 0));
+
+        $temp->add(new admin_setting_configtext(
+                'backup/backup_async_message_subject',
+                new lang_string('asyncmessagesubject', 'backup'),
+                new lang_string('asyncmessagesubjectdetail', 'backup'),
+                new lang_string('asyncmessagesubjectdefault', 'backup')));
+
+        $temp->add(new admin_setting_confightmleditor(
+                'backup/backup_async_message',
+                new lang_string('asyncmessagebody', 'backup'),
+                new lang_string('asyncmessagebodydetail', 'backup'),
+                new lang_string('asyncmessagebodydefault', 'backup')));
+
+        $ADMIN->add('backups', $temp);
+    }
+
 }
index e5c660b..0b62749 100644 (file)
@@ -51,4 +51,7 @@ if ($hassiteconfig) { // speedup for non-admins, add all caps used on this page
 
     $optionalsubsystems->add(new admin_setting_configcheckbox('enablecoursepublishing',
         new lang_string('enablecoursepublishing', 'hub'), new lang_string('enablecoursepublishing_help', 'hub'), 0));
+
+    $optionalsubsystems->add(new admin_setting_configcheckbox('enableasyncbackup', new lang_string('enableasyncbackup', 'backup'),
+        new lang_string('enableasyncbackup_help', 'backup'), 0, 1, 0));
 }
index 2c0be86..31d0f57 100644 (file)
@@ -74,6 +74,7 @@ class edit_model extends \moodleform {
         );
         $mform->addElement('autocomplete', 'indicators', get_string('indicators', 'tool_analytics'), $indicators, $options);
         $mform->setType('indicators', PARAM_ALPHANUMEXT);
+        $mform->addHelpButton('indicators', 'indicators', 'tool_analytics');
 
         $timesplittings = array('' => '');
         foreach ($this->_customdata['timesplittings'] as $classname => $timesplitting) {
index 6543022..861d679 100644 (file)
@@ -92,4 +92,17 @@ class helper {
         $PAGE->set_title($title);
         $PAGE->set_heading($title);
     }
+
+    /**
+     * Resets the current page.
+     *
+     * Note that this function can only be used by analytics pages that work at the system context.
+     *
+     * @return null
+     */
+    public static function reset_page() {
+        global $PAGE;
+        $PAGE->reset_theme_and_output();
+        $PAGE->set_context(\context_system::instance());
+    }
 }
index 0bb3902..dbdaa00 100644 (file)
@@ -76,13 +76,17 @@ class invalid_analysables implements \renderable, \templatable {
 
         $offset = $this->page * $this->perpage;
 
-        $analysables = $this->model->get_analyser(['notimesplitting' => true])->get_analysables();
+        $analysables = $this->model->get_analyser(['notimesplitting' => true])->get_analysables_iterator();
 
         $skipped = 0;
         $enoughresults = false;
         $morepages = false;
         $results = array();
-        foreach ($analysables as $key => $analysable) {
+        foreach ($analysables as $analysable) {
+
+            if (!$analysable) {
+                continue;
+            }
 
             $validtraining = $this->model->get_target()->is_valid_analysable($analysable, true);
             if ($validtraining === true) {
@@ -117,8 +121,6 @@ class invalid_analysables implements \renderable, \templatable {
                 $morepages = true;
                 break;
             }
-
-            unset($analysables[$key]);
         }
 
         // Prepare the context object.
index 83894be..91f3c85 100644 (file)
@@ -60,6 +60,10 @@ class predict_models extends \core\task\scheduled_task {
 
         foreach ($models as $model) {
             $result = $model->predict();
+
+            // Reset the page as some indicators may call external functions that overwrite the page context.
+            \tool_analytics\output\helper::reset_page();
+
             if ($result) {
                 echo $OUTPUT->heading(get_string('modelresults', 'tool_analytics', $model->get_target()->get_name()));
                 $renderer = $PAGE->get_renderer('tool_analytics');
index b017e9a..3c0c3c9 100644 (file)
@@ -71,6 +71,10 @@ class train_models extends \core\task\scheduled_task {
             }
 
             $result = $model->train();
+
+            // Reset the page as some indicators may call external functions that overwrite the page context.
+            \tool_analytics\output\helper::reset_page();
+
             if ($result) {
                 echo $OUTPUT->heading(get_string('modelresults', 'tool_analytics', $model->get_target()->get_name()));
 
index 2836ca7..8473aba 100644 (file)
@@ -111,6 +111,9 @@ $analyseroptions = array(
 // Evaluate its suitability to predict accurately.
 $results = $model->evaluate($analyseroptions);
 
+// Reset the page as some indicators may call external functions that overwrite the page context.
+\tool_analytics\output\helper::reset_page();
+
 $renderer = $PAGE->get_renderer('tool_analytics');
 echo $renderer->render_evaluate_results($results, $model->get_analyser()->get_logs());
 
index dc0c5c9..b3a8ba4 100644 (file)
@@ -78,6 +78,8 @@ $string['getpredictions'] = 'Get predictions';
 $string['goodmodel'] = 'This is a good model for using to obtain predictions. Enable it to start obtaining predictions.';
 $string['importmodel'] = 'Import model';
 $string['indicators'] = 'Indicators';
+$string['indicators_help'] = 'The indicators are what you think will lead to an accurate prediction of the target.';
+$string['indicators_link'] = 'Indicators';
 $string['info'] = 'Info';
 $string['ignoreversionmismatches'] = 'Ignore version mismatches';
 $string['ignoreversionmismatchescheckbox'] = 'Ignore the differences between this site version and the original site version.';
@@ -111,6 +113,7 @@ $string['samestartdate'] = 'Current start date is good';
 $string['sameenddate'] = 'Current end date is good';
 $string['target'] = 'Target';
 $string['target_help'] = 'The target is what the model will predict.';
+$string['target_link'] = 'Targets';
 $string['timesplittingnotdefined'] = 'Time splitting is not defined.';
 $string['timesplittingnotdefined_help'] = 'You need to select a time-splitting method before enabling the model.';
 $string['trainandpredictmodel'] = 'Training model and calculating predictions';
index 3cca64e..ab2fe61 100644 (file)
@@ -156,8 +156,6 @@ switch ($action) {
     case 'evaluate':
         confirm_sesskey();
 
-        echo $OUTPUT->header();
-
         if ($model->is_static()) {
             throw new moodle_exception('errornostaticevaluate', 'tool_analytics');
         }
@@ -176,6 +174,12 @@ switch ($action) {
             $options['mode'] = 'trainedmodel';
         }
         $results = $model->evaluate($options);
+
+        // We reset the theme and the output as some indicators may be using external functions
+        // which reset $PAGE.
+        \tool_analytics\output\helper::reset_page();
+        echo $OUTPUT->header();
+
         $renderer = $PAGE->get_renderer('tool_analytics');
         echo $renderer->render_evaluate_results($results, $model->get_analyser()->get_logs());
         break;
@@ -183,8 +187,6 @@ switch ($action) {
     case 'getpredictions':
         confirm_sesskey();
 
-        echo $OUTPUT->header();
-
         if ($onlycli) {
             throw new moodle_exception('erroronlycli', 'tool_analytics');
         }
@@ -202,6 +204,11 @@ switch ($action) {
             $predictlogs = array();
         }
 
+        // We reset the theme and the output as some indicators may be using external functions
+        // which reset $PAGE.
+        \tool_analytics\output\helper::reset_page();
+        echo $OUTPUT->header();
+
         $renderer = $PAGE->get_renderer('tool_analytics');
         echo $renderer->render_get_predictions_results($trainresults, $trainlogs, $predictresults, $predictlogs);
         break;
index 1650d22..e9d1c67 100644 (file)
@@ -286,7 +286,6 @@ class external extends external_api {
             }
         }
 
-
         // Only requests from the Moodle mobile or desktop app. This enhances security to avoid any type of XSS attack.
         // This code goes intentionally here and not inside the check_autologin_prerequisites() function because it
         // is used by other PHP scripts that can be opened in any browser.
index b368e93..d39aa5f 100644 (file)
@@ -8,7 +8,6 @@ Information provided here is intended especially for developers.
    This increases confidence that requests did originate from the mobile app, decreasing the likelihood of an XSS attack.
    If you want to use this functionality, please override the Web Service via the override_webservice_execution callback although
    this is not recommended or encouraged.
->>>>>>> a7ccde5003f... MDL-65075 tool_mobile: Allow auto-login keys only for requests from Moodle apps
 
 === 3.5 ===
 
index b08b6a5..6477c4d 100644 (file)
@@ -108,6 +108,16 @@ class category_bin extends base_bin {
 
         require_once($CFG->dirroot . '/backup/util/includes/backup_includes.php');
 
+        // As far as recycle bin is using MODE_AUTOMATED, it observes the backup_auto_storage
+        // setting (storing backups @ real location. For recycle bin we want to ensure that
+        // backup files are always stored in Moodle file area. In order to achieve that, we
+        // hack the setting here via $CFG->forced_plugin_settings, so it won't interfere other
+        // operations.  See MDL-65218 for more information.
+        // This hack will be removed once recycle bin switches to use its own backup mode, with
+        // own preferences and 100% appart from MODLE_AUTOMATED.
+        // TODO: Remove this as part of MDL-65228.
+        $CFG->forced_plugin_settings['backup'] = ['backup_auto_storage' => 0];
+
         // Backup the course.
         $user = get_admin();
         $controller = new \backup_controller(
@@ -115,11 +125,15 @@ class category_bin extends base_bin {
             $course->id,
             \backup::FORMAT_MOODLE,
             \backup::INTERACTIVE_NO,
-            \backup::MODE_GENERAL,
+            \backup::MODE_AUTOMATED,
             $user->id
         );
         $controller->execute_plan();
 
+        // We don't need the forced setting anymore, hence unsetting it.
+        // TODO: Remove this as part of MDL-65228.
+        unset($CFG->forced_plugin_settings['backup']);
+
         // Grab the result.
         $result = $controller->get_results();
         if (!isset($result['backup_destination'])) {
@@ -233,7 +247,7 @@ class category_bin extends base_bin {
             $tempdir,
             $course->id,
             \backup::INTERACTIVE_NO,
-            \backup::MODE_GENERAL,
+            \backup::MODE_AUTOMATED,
             $user->id,
             \backup::TARGET_NEW_COURSE
         );
index d58d1a7..deec65c 100644 (file)
@@ -112,6 +112,16 @@ class course_bin extends base_bin {
             return;
         }
 
+        // As far as recycle bin is using MODE_AUTOMATED, it observes the backup_auto_storage
+        // setting (storing backups @ real location. For recycle bin we want to ensure that
+        // backup files are always stored in Moodle file area. In order to achieve that, we
+        // hack the setting here via $CFG->forced_plugin_settings, so it won't interfere other
+        // operations.  See MDL-65218 for more information.
+        // This hack will be removed once recycle bin switches to use its own backup mode, with
+        // own preferences and 100% appart from MODLE_AUTOMATED.
+        // TODO: Remove this as part of MDL-65228.
+        $CFG->forced_plugin_settings['backup'] = ['backup_auto_storage' => 0];
+
         // Backup the activity.
         $user = get_admin();
         $controller = new \backup_controller(
@@ -124,6 +134,10 @@ class course_bin extends base_bin {
         );
         $controller->execute_plan();
 
+        // We don't need the forced setting anymore, hence unsetting it.
+        // TODO: Remove this as part of MDL-65228.
+        unset($CFG->forced_plugin_settings['backup']);
+
         // Grab the result.
         $result = $controller->get_results();
         if (!isset($result['backup_destination'])) {
@@ -344,4 +358,4 @@ class course_bin extends base_bin {
         $context = \context_course::instance($this->_courseid);
         return has_capability('tool/recyclebin:deleteitems', $context);
     }
-}
\ No newline at end of file
+}
index bada3d6..0e24c31 100644 (file)
@@ -176,4 +176,116 @@ class tool_recyclebin_category_bin_tests extends advanced_testcase {
         $course = reset($courses);
         $this->assertEquals('Test course 2', $course->fullname);
     }
+
+    /**
+     * Provider for test_course_restore_with_userdata() and test_course_restore_without_userdata()
+     *
+     * Used to verify that recycle bin is immune to various settings. Provides plugin, name, value for
+     * direct usage with set_config()
+     */
+    public function recycle_bin_settings_provider() {
+        return [
+            'backup/backup_auto_storage moodle' => [[
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_storage', 'value' => 0],
+            ]],
+
+            'backup/backup_auto_storage external' => [[
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_storage', 'value' => 1],
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_destination', 'value' => true],
+            ]],
+
+            'backup/backup_auto_storage mixed' => [[
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_storage', 'value' => 2],
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_destination', 'value' => true],
+            ]],
+        ];
+    }
+
+    /**
+     * Tests that user data is restored when course is restored.
+     *
+     * @dataProvider recycle_bin_settings_provider
+     * @param array $settings array of plugin, name, value stdClass().
+     */
+    public function test_course_restore_with_userdata($settings) {
+        global $DB;
+
+        // Force configuration changes from provider.
+        foreach ($settings as $setting) {
+            // Need to create a directory for backup_auto_destination.
+            if ($setting->plugin === 'backup' && $setting->name === 'backup_auto_destination' && $setting->value === true) {
+                $setting->value = make_request_directory();
+            }
+            set_config($setting->name, $setting->value, $setting->plugin);
+        }
+
+        // We want user data to be included for this test.
+        set_config('backup_auto_users', true, 'backup');
+
+        $student = $this->getDataGenerator()->create_and_enrol($this->course, 'student');
+
+        // Delete course.
+        delete_course($this->course, false);
+        $this->assertFalse($DB->record_exists('course', ['id' => $this->course->id]));
+
+        // Verify there is now a backup @ cat recycle bin file area.
+        $recyclebin = new \tool_recyclebin\category_bin($this->course->category);
+        $this->assertEquals(1, count($recyclebin->get_items()));
+
+        // Restore the recycle bin item.
+        $recyclebin->restore_item(current($recyclebin->get_items()));
+
+        // Get the new course.
+        $newcourse = $DB->get_record('course', ['shortname' => $this->course->shortname], '*', MUST_EXIST);
+
+        // Check that it was removed from the recycle bin.
+        $this->assertEquals(0, count($recyclebin->get_items()));
+
+        // Verify that student DOES continue enrolled.
+        $this->assertTrue(is_enrolled(context_course::instance($newcourse->id), $student->id));
+    }
+
+    /**
+     * Tests that user data is not restored when course is restored.
+     *
+     * @dataProvider recycle_bin_settings_provider
+     * @param array $settings array of plugin, name, value stdClass().
+     */
+    public function test_course_restore_without_userdata($settings) {
+        global $DB;
+
+        // Force configuration changes from provider.
+        foreach ($settings as $setting) {
+            // Need to create a directory for backup_auto_destination.
+            if ($setting->plugin === 'backup' && $setting->name === 'backup_auto_destination' && $setting->value === true) {
+                $setting->value = make_request_directory();
+            }
+            set_config($setting->name, $setting->value, $setting->plugin);
+        }
+
+        // We want user data to be included for this test.
+        set_config('backup_auto_users', false, 'backup');
+
+        $student = $this->getDataGenerator()->create_and_enrol($this->course, 'student');
+
+        // Delete course.
+        delete_course($this->course, false);
+        $this->assertFalse($DB->record_exists('course', ['id' => $this->course->id]));
+
+        // Verify there is now a backup @ cat recycle bin file area.
+        $recyclebin = new \tool_recyclebin\category_bin($this->course->category);
+        $this->assertEquals(1, count($recyclebin->get_items()));
+
+        // Restore the recycle bin item.
+        $recyclebin->restore_item(current($recyclebin->get_items()));
+
+        // Get the new course.
+        $newcourse = $DB->get_record('course', ['shortname' => $this->course->shortname], '*', MUST_EXIST);
+
+        // Check that it was removed from the recycle bin.
+        $this->assertEquals(0, count($recyclebin->get_items()));
+
+        // Verify that student DOES NOT continue enrolled.
+        $this->assertFalse(is_enrolled(context_course::instance($newcourse->id), $student->id));
+    }
 }
index 9d99326..44f9db6 100644 (file)
@@ -174,10 +174,46 @@ class tool_recyclebin_course_bin_tests extends advanced_testcase {
         $this->assertEquals($book->name, $deletedbook->name);
     }
 
+    /**
+     * Provider for test_coursemodule_restore_with_userdata() and test_coursemodule_restore_without_userdata()
+     *
+     * Used to verify that recycle bin is immune to various settings. Provides plugin, name, value for
+     * direct usage with set_config()
+     */
+    public function recycle_bin_settings_provider() {
+        return [
+            'backup/backup_auto_storage moodle' => [[
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_storage', 'value' => 0],
+            ]],
+
+            'backup/backup_auto_storage external' => [[
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_storage', 'value' => 1],
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_destination', 'value' => true],
+            ]],
+
+            'backup/backup_auto_storage mixed' => [[
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_storage', 'value' => 2],
+                (object)['plugin' => 'backup', 'name' => 'backup_auto_destination', 'value' => true],
+            ]],
+        ];
+    }
+
     /**
      * Tests that user data is restored when module is restored.
+     *
+     * @dataProvider recycle_bin_settings_provider
+     * @param array $settings array of plugin, name, value stdClass().
      */
-    public function test_coursemodule_restore_with_userdata() {
+    public function test_coursemodule_restore_with_userdata($settings) {
+        // Force configuration changes from provider.
+        foreach ($settings as $setting) {
+            // Need to create a directory for backup_auto_destination.
+            if ($setting->plugin === 'backup' && $setting->name === 'backup_auto_destination' && $setting->value === true) {
+                $setting->value = make_request_directory();
+            }
+            set_config($setting->name, $setting->value, $setting->plugin);
+        }
+
         $student = $this->getDataGenerator()->create_and_enrol($this->course, 'student');
         $this->setUser($student);
 
@@ -211,8 +247,20 @@ class tool_recyclebin_course_bin_tests extends advanced_testcase {
 
     /**
      * Tests that user data is not restored when module is restored.
+     *
+     * @dataProvider recycle_bin_settings_provider
+     * @param array $settings array of plugin, name, value stdClass().
      */
-    public function test_coursemodule_restore_without_userdata() {
+    public function test_coursemodule_restore_without_userdata($settings) {
+        // Force configuration changes from provider.
+        foreach ($settings as $setting) {
+            // Need to create a directory for backup_auto_destination.
+            if ($setting->plugin === 'backup' && $setting->name === 'backup_auto_destination' && $setting->value === true) {
+                $setting->value = make_request_directory();
+            }
+            set_config($setting->name, $setting->value, $setting->plugin);
+        }
+
         $student = $this->getDataGenerator()->create_and_enrol($this->course, 'student');
         $this->setUser($student);
 
index e9dcaae..97faf59 100644 (file)
@@ -29,10 +29,6 @@ defined('MOODLE_INTERNAL') || die();
 /**
  * Any element analysers can analyse.
  *
- * Analysers get_analysers method return all analysable elements in the site;
- * it is important that analysable elements implement lazy loading to avoid
- * big memory footprints. See \core_analytics\course example.
- *
  * @package   core_analytics
  * @copyright 2016 David Monllao {@link http://www.davidmonllao.com}
  * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
diff --git a/analytics/classes/analysis.php b/analytics/classes/analysis.php
new file mode 100644 (file)
index 0000000..bcb621c
--- /dev/null
@@ -0,0 +1,894 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Runs an analysis of the site.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics;
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Runs an analysis of the site.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class analysis {
+
+    /**
+     * @var \core_analytics\local\analyser\base
+     */
+    private $analyser;
+
+    /**
+     * @var bool Whether to calculate the target or not in this run.
+     */
+    private $includetarget;
+
+    /**
+     * @var \core_analytics\local\analysis\result
+     */
+    private $result;
+
+    /**
+     * @var \core\lock\lock
+     */
+    private $lock;
+
+    /**
+     * Constructor.
+     *
+     * @param \core_analytics\local\analyser\base   $analyser
+     * @param bool                                  $includetarget Whether to calculate the target or not.
+     * @param \core_analytics\local\analysis\result $result
+     */
+    public function __construct(\core_analytics\local\analyser\base $analyser, bool $includetarget,
+            \core_analytics\local\analysis\result $result) {
+        $this->analyser = $analyser;
+        $this->includetarget = $includetarget;
+        $this->result = $result;
+    }
+
+    /**
+     * Runs the analysis.
+     *
+     * @return null
+     */
+    public function run() {
+
+        $options = $this->analyser->get_options();
+
+        // Time limit control.
+        $modeltimelimit = intval(get_config('analytics', 'modeltimelimit'));
+
+        $filesbytimesplitting = array();
+
+        $alreadyprocessedanalysables = $this->get_processed_analysables();
+
+        if ($this->includetarget) {
+            $action = 'training';
+        } else {
+            $action = 'prediction';
+        }
+        $analysables = $this->analyser->get_analysables_iterator($action);
+
+        $inittime = microtime(true);
+        foreach ($analysables as $analysable) {
+            $processed = false;
+
+            if (!$analysable) {
+                continue;
+            }
+
+            $analysableresults = $this->process_analysable($analysable);
+            if ($analysableresults) {
+                $processed = $this->result->add_analysable_results($analysableresults);
+                if (!$processed) {
+                    $errors = array();
+                    foreach ($analysableresults as $timesplittingid => $result) {
+                        $str = '';
+                        if (count($analysableresults) > 1) {
+                            $str .= $timesplittingid . ': ';
+                        }
+                        $str .= $result->message;
+                        $errors[] = $str;
+                    }
+
+                    $a = new \stdClass();
+                    $a->analysableid = $analysable->get_name();
+                    $a->errors = implode(', ', $errors);
+                    $this->analyser->add_log(get_string('analysablenotused', 'analytics', $a));
+                }
+            }
+
+            // Updated regardless of how well the analysis went.
+            if ($this->analyser->get_target()->always_update_analysis_time() || $processed) {
+                $this->update_analysable_analysed_time($alreadyprocessedanalysables, $analysable->get_id());
+            }
+
+            // Apply time limit.
+            if (!$options['evaluation']) {
+                $timespent = microtime(true) - $inittime;
+                if ($modeltimelimit <= $timespent) {
+                    break;
+                }
+            }
+        }
+    }
+
+    /**
+     * Get analysables that have been already processed.
+     *
+     * @return \stdClass[]
+     */
+    protected function get_processed_analysables(): array {
+        global $DB;
+
+        $params = array('modelid' => $this->analyser->get_modelid());
+        $params['action'] = ($this->includetarget) ? 'training' : 'prediction';
+        $select = 'modelid = :modelid and action = :action';
+
+        // Weird select fields ordering for performance (analysableid key matching, analysableid is also unique by modelid).
+        return $DB->get_records_select('analytics_used_analysables', $select,
+            $params, 'timeanalysed DESC', 'analysableid, modelid, action, timeanalysed, id AS primarykey');
+    }
+
+    /**
+     * Processes an analysable
+     *
+     * This method returns the general analysable status, an array of files by time splitting method and
+     * an error message if there is any problem.
+     *
+     * @param \core_analytics\analysable $analysable
+     * @return \stdClass[] Results objects by time splitting method
+     */
+    public function process_analysable(\core_analytics\analysable $analysable): array {
+
+        // Target instances scope is per-analysable (it can't be lower as calculations run once per
+        // analysable, not time splitting method nor time range).
+        $target = call_user_func(array($this->analyser->get_target(), 'instance'));
+
+        // We need to check that the analysable is valid for the target even if we don't include targets
+        // as we still need to discard invalid analysables for the target.
+        $isvalidresult = $target->is_valid_analysable($analysable, $this->includetarget);
+        if ($isvalidresult !== true) {
+            $a = new \stdClass();
+            $a->analysableid = $analysable->get_name();
+            $a->result = $isvalidresult;
+            $this->analyser->add_log(get_string('analysablenotvalidfortarget', 'analytics', $a));
+            return array();
+        }
+
+        // Process all provided time splitting methods.
+        $results = array();
+        foreach ($this->analyser->get_timesplittings() as $timesplitting) {
+
+            $cachedresult = $this->result->retrieve_cached_result($timesplitting, $analysable);
+            if ($cachedresult) {
+                $result = new \stdClass();
+                $result->result = $cachedresult;
+                $results[$timesplitting->get_id()] = $result;
+                continue;
+            }
+
+            $results[$timesplitting->get_id()] = $this->process_time_splitting($timesplitting, $analysable, $target);
+        }
+
+        return $results;
+    }
+
+    /**
+     * Processes the analysable samples using the provided time splitting method.
+     *
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param \core_analytics\analysable $analysable
+     * @param \core_analytics\local\target\base $target
+     * @return \stdClass Results object.
+     */
+    protected function process_time_splitting(\core_analytics\local\time_splitting\base $timesplitting,
+            \core_analytics\analysable $analysable, \core_analytics\local\target\base $target): \stdClass {
+
+        $options = $this->analyser->get_options();
+
+        $result = new \stdClass();
+
+        if (!$timesplitting->is_valid_analysable($analysable)) {
+            $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
+            $result->message = get_string('invalidanalysablefortimesplitting', 'analytics',
+                $timesplitting->get_name());
+            return $result;
+        }
+        $timesplitting->set_analysable($analysable);
+
+        if (CLI_SCRIPT && !PHPUNIT_TEST) {
+            mtrace('Analysing id "' . $analysable->get_id() . '" with "' . $timesplitting->get_name() .
+                '" time splitting method...');
+        }
+
+        // What is a sample is defined by the analyser, it can be an enrolment, a course, a user, a question
+        // attempt... it is on what we will base indicators calculations.
+        list($sampleids, $samplesdata) = $this->analyser->get_all_samples($analysable);
+
+        if (count($sampleids) === 0) {
+            $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
+            $result->message = get_string('nodata', 'analytics');
+            return $result;
+        }
+
+        if ($this->includetarget) {
+            // All ranges are used when we are calculating data for training.
+            $ranges = $timesplitting->get_training_ranges();
+        } else {
+            // The latest range that has not yet been used for prediction (it depends on the time range where we are right now).
+            $ranges = $timesplitting->get_most_recent_prediction_range();
+        }
+
+        // There is no need to keep track of the evaluated samples and ranges as we always evaluate the whole dataset.
+        if ($options['evaluation'] === false) {
+
+            if (empty($ranges)) {
+                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
+                $result->message = get_string('noranges', 'analytics');
+                return $result;
+            }
+
+            // We skip all samples that are already part of a training dataset, even if they have not been used for prediction.
+            if (!$target::based_on_assumptions()) {
+                // Targets based on assumptions can not be trained.
+                $this->filter_out_train_samples($sampleids, $timesplitting);
+            }
+
+            if (count($sampleids) === 0) {
+                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
+                $result->message = get_string('nonewdata', 'analytics');
+                return $result;
+            }
+
+            // Only when processing data for predictions.
+            if (!$this->includetarget) {
+                // We also filter out samples and ranges that have already been used for predictions.
+                $predictsamplesrecord = $this->filter_out_prediction_samples_and_ranges($sampleids, $ranges, $timesplitting);
+            }
+
+            if (count($sampleids) === 0) {
+                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
+                $result->message = get_string('nonewdata', 'analytics');
+                return $result;
+            }
+
+            if (count($ranges) === 0) {
+                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
+                $result->message = get_string('nonewranges', 'analytics');
+                return $result;
+            }
+        }
+
+        // Flag the model + analysable + timesplitting as being analysed (prevent concurrent executions).
+        if (!$this->init_analysable_analysis($timesplitting->get_id(), $analysable->get_id())) {
+            // If this model + analysable + timesplitting combination is being analysed we skip this process.
+            $result->status = \core_analytics\model::NO_DATASET;
+            $result->message = get_string('analysisinprogress', 'analytics');
+            return $result;
+        }
+
+        // Remove samples the target consider invalid.
+        try {
+            $target->add_sample_data($samplesdata);
+            $target->filter_out_invalid_samples($sampleids, $analysable, $this->includetarget);
+        } catch (\Throwable $e) {
+            $this->finish_analysable_analysis();
+            throw $e;
+        }
+
+        if (!$sampleids) {
+            $result->status = \core_analytics\model::NO_DATASET;
+            $result->message = get_string('novalidsamples', 'analytics');
+            $this->finish_analysable_analysis();
+            return $result;
+        }
+
+        try {
+            $indicators = $this->analyser->get_indicators();
+            foreach ($indicators as $key => $indicator) {
+                // The analyser attaches the main entities the sample depends on and are provided to the
+                // indicator to calculate the sample.
+                $indicators[$key]->add_sample_data($samplesdata);
+            }
+
+            // Here we start the memory intensive process that will last until $data var is
+            // unset (until the method is finished basically).
+            $data = $this->calculate($timesplitting, $sampleids, $ranges, $target);
+        } catch (\Throwable $e) {
+            $this->finish_analysable_analysis();
+            throw $e;
+        }
+
+        if (!$data) {
+            $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
+            $result->message = get_string('novaliddata', 'analytics');
+            $this->finish_analysable_analysis();
+            return $result;
+        }
+
+        try {
+            // No need to keep track of analysed stuff when evaluating.
+            if ($options['evaluation'] === false) {
+                // Save the samples that have been already analysed so they are not analysed again in future.
+
+                if ($this->includetarget) {
+                    $this->save_train_samples($sampleids, $timesplitting);
+                } else {
+                    // The variable $predictsamplesrecord will always be set as filter_out_prediction_samples_and_ranges
+                    // will always be called before it (no evaluation mode and no includetarget).
+                    $this->save_prediction_samples($sampleids, $ranges, $timesplitting, $predictsamplesrecord);
+                }
+            }
+
+            // We need to pass all the analysis data.
+            $formattedresult = $this->result->format_result($data, $target, $timesplitting, $analysable);
+
+        } catch (\Throwable $e) {
+            $this->finish_analysable_analysis();
+            throw $e;
+        }
+
+        if (!$formattedresult) {
+            $this->finish_analysable_analysis();
+            throw new \moodle_exception('errorcannotwritedataset', 'analytics');
+        }
+
+        $result->status = \core_analytics\model::OK;
+        $result->message = get_string('successfullyanalysed', 'analytics');
+        $result->result = $formattedresult;
+
+        // Flag the model + analysable + timesplitting as analysed.
+        $this->finish_analysable_analysis();
+
+        return $result;
+    }
+
+    /**
+     * Calculates indicators and targets.
+     *
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param array $sampleids
+     * @param array $ranges
+     * @param \core_analytics\local\target\base $target
+     * @return array|null
+     */
+    public function calculate(\core_analytics\local\time_splitting\base $timesplitting, array &$sampleids,
+            array $ranges, \core_analytics\local\target\base $target): ?array {
+
+        $calculatedtarget = null;
+        if ($this->includetarget) {
+            // We first calculate the target because analysable data may still be invalid or none
+            // of the analysable samples may be valid.
+            $calculatedtarget = $target->calculate($sampleids, $timesplitting->get_analysable());
+
+            // We remove samples we can not calculate their target.
+            $sampleids = array_filter($sampleids, function($sampleid) use ($calculatedtarget) {
+                if (is_null($calculatedtarget[$sampleid])) {
+                    return false;
+                }
+                return true;
+            });
+        }
+
+        // No need to continue calculating if the target couldn't be calculated for any sample.
+        if (empty($sampleids)) {
+            return null;
+        }
+
+        $dataset = $this->calculate_indicators($timesplitting, $sampleids, $ranges);
+
+        if (empty($dataset)) {
+            return null;
+        }
+
+        // Now that we have the indicators in place we can add the time range indicators (and target if provided) to each of them.
+        $this->fill_dataset($timesplitting, $dataset, $calculatedtarget);
+
+        $this->add_context_metadata($timesplitting, $dataset, $target);
+
+        if (!PHPUNIT_TEST && CLI_SCRIPT) {
+            echo PHP_EOL;
+        }
+
+        return $dataset;
+    }
+
+    /**
+     * Calculates indicators.
+     *
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param array $sampleids
+     * @param array $ranges
+     * @return array
+     */
+    protected function calculate_indicators(\core_analytics\local\time_splitting\base $timesplitting, array $sampleids,
+            array $ranges): array {
+        global $DB;
+
+        $options = $this->analyser->get_options();
+
+        $dataset = array();
+
+        // Faster to run 1 db query per range.
+        $existingcalculations = array();
+        if ($timesplitting->cache_indicator_calculations()) {
+            foreach ($ranges as $rangeindex => $range) {
+                // Load existing calculations.
+                $existingcalculations[$rangeindex] = \core_analytics\manager::get_indicator_calculations(
+                    $timesplitting->get_analysable(), $range['start'], $range['end'], $this->analyser->get_samples_origin());
+            }
+        }
+
+        // Here we store samples which calculations are not all null.
+        $notnulls = array();
+
+        // Fill the dataset samples with indicators data.
+        $newcalculations = array();
+        foreach ($this->analyser->get_indicators() as $indicator) {
+
+            // Hook to allow indicators to store analysable-dependant data.
+            $indicator->fill_per_analysable_caches($timesplitting->get_analysable());
+
+            // Per-range calculations.
+            foreach ($ranges as $rangeindex => $range) {
+
+                // Indicator instances are per-range.
+                $rangeindicator = clone $indicator;
+
+                $prevcalculations = array();
+                if (!empty($existingcalculations[$rangeindex][$rangeindicator->get_id()])) {
+                    $prevcalculations = $existingcalculations[$rangeindex][$rangeindicator->get_id()];
+                }
+
+                // Calculate the indicator for each sample in this time range.
+                list($samplesfeatures, $newindicatorcalculations, $indicatornotnulls) = $rangeindicator->calculate($sampleids,
+                    $this->analyser->get_samples_origin(), $range['start'], $range['end'], $prevcalculations);
+
+                // Copy the features data to the dataset.
+                foreach ($samplesfeatures as $analysersampleid => $features) {
+
+                    $uniquesampleid = $timesplitting->append_rangeindex($analysersampleid, $rangeindex);
+
+                    if (!isset($notnulls[$uniquesampleid]) && !empty($indicatornotnulls[$analysersampleid])) {
+                        $notnulls[$uniquesampleid] = $uniquesampleid;
+                    }
+
+                    // Init the sample if it is still empty.
+                    if (!isset($dataset[$uniquesampleid])) {
+                        $dataset[$uniquesampleid] = array();
+                    }
+
+                    // Append the features indicator features at the end of the sample.
+                    $dataset[$uniquesampleid] = array_merge($dataset[$uniquesampleid], $features);
+                }
+
+                if (!$options['evaluation'] && $timesplitting->cache_indicator_calculations()) {
+                    $timecreated = time();
+                    foreach ($newindicatorcalculations as $sampleid => $calculatedvalue) {
+                        // Prepare the new calculations to be stored into DB.
+
+                        $indcalc = new \stdClass();
+                        $indcalc->contextid = $timesplitting->get_analysable()->get_context()->id;
+                        $indcalc->starttime = $range['start'];
+                        $indcalc->endtime = $range['end'];
+                        $indcalc->sampleid = $sampleid;
+                        $indcalc->sampleorigin = $this->analyser->get_samples_origin();
+                        $indcalc->indicator = $rangeindicator->get_id();
+                        $indcalc->value = $calculatedvalue;
+                        $indcalc->timecreated = $timecreated;
+                        $newcalculations[] = $indcalc;
+                    }
+                }
+            }
+
+            if (!$options['evaluation'] && $timesplitting->cache_indicator_calculations()) {
+                $batchsize = self::get_insert_batch_size();
+                if (count($newcalculations) > $batchsize) {
+                    // We don't want newcalculations array to grow too much as we already keep the
+                    // system memory busy storing $dataset contents.
+
+                    // Insert from the beginning.
+                    $remaining = array_splice($newcalculations, $batchsize);
+
+                    // Sorry mssql and oracle, this will be slow.
+                    $DB->insert_records('analytics_indicator_calc', $newcalculations);
+                    $newcalculations = $remaining;
+                }
+            }
+        }
+
+        if (!$options['evaluation'] && $timesplitting->cache_indicator_calculations() && $newcalculations) {
+            // Insert the remaining records.
+            $DB->insert_records('analytics_indicator_calc', $newcalculations);
+        }
+
+        // Delete rows where all calculations are null.
+        // We still store the indicator calculation and we still store the sample id as
+        // processed so we don't have to process this sample again, but we exclude it
+        // from the dataset because it is not useful.
+        $nulls = array_diff_key($dataset, $notnulls);
+        foreach ($nulls as $uniqueid => $ignoredvalues) {
+            unset($dataset[$uniqueid]);
+        }
+
+        return $dataset;
+    }
+
+    /**
+     * Adds time range indicators and the target to each sample.
+     *
+     * This will identify the sample as belonging to a specific range.
+     *
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param array $dataset
+     * @param array|null $calculatedtarget
+     * @return null
+     */
+    protected function fill_dataset(\core_analytics\local\time_splitting\base $timesplitting,
+            array &$dataset, ?array $calculatedtarget = null) {
+
+        $nranges = count($timesplitting->get_distinct_ranges());
+
+        foreach ($dataset as $uniquesampleid => $unmodified) {
+
+            list($analysersampleid, $rangeindex) = $timesplitting->infer_sample_info($uniquesampleid);
+
+            // No need to add range features if this time splitting method only defines one time range.
+            if ($nranges > 1) {
+
+                // 1 column for each range.
+                $timeindicators = array_fill(0, $nranges, 0);
+
+                $timeindicators[$rangeindex] = 1;
+
+                $dataset[$uniquesampleid] = array_merge($timeindicators, $dataset[$uniquesampleid]);
+            }
+
+            if ($calculatedtarget) {
+                // Add this sampleid's calculated target and the end.
+                $dataset[$uniquesampleid][] = $calculatedtarget[$analysersampleid];
+
+            } else {
+                // Add this sampleid, it will be used to identify the prediction that comes back from
+                // the predictions processor.
+                array_unshift($dataset[$uniquesampleid], $uniquesampleid);
+            }
+        }
+    }
+
+    /**
+     * Updates the analysable analysis time.
+     *
+     * @param array $processedanalysables
+     * @param int $analysableid
+     * @return null
+     */
+    protected function update_analysable_analysed_time(array $processedanalysables, int $analysableid) {
+        global $DB;
+
+        if (!empty($processedanalysables[$analysableid])) {
+            $obj = $processedanalysables[$analysableid];
+
+            $obj->id = $obj->primarykey;
+            unset($obj->primarykey);
+
+            $obj->timeanalysed = time();
+            $DB->update_record('analytics_used_analysables', $obj);
+
+        } else {
+
+            $obj = new \stdClass();
+            $obj->modelid = $this->analyser->get_modelid();
+            $obj->action = ($this->includetarget) ? 'training' : 'prediction';
+            $obj->analysableid = $analysableid;
+            $obj->timeanalysed = time();
+
+            $DB->insert_record('analytics_used_analysables', $obj);
+        }
+    }
+
+    /**
+     * Adds dataset context info.
+     *
+     * The final dataset document will look like this:
+     * ----------------------------------------------------
+     * metadata1,metadata2,metadata3,.....
+     * value1, value2, value3,.....
+     *
+     * header1,header2,header3,header4,.....
+     * stud1value1,stud1value2,stud1value3,stud1value4,.....
+     * stud2value1,stud2value2,stud2value3,stud2value4,.....
+     * .....
+     * ----------------------------------------------------
+     *
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param array $dataset
+     * @param \core_analytics\local\target\base $target
+     * @return null
+     */
+    protected function add_context_metadata(\core_analytics\local\time_splitting\base $timesplitting, array &$dataset,
+            \core_analytics\local\target\base $target) {
+        $headers = $this->get_headers($timesplitting, $target);
+
+        // This will also reset samples' dataset keys.
+        array_unshift($dataset, $headers);
+    }
+
+    /**
+     * Returns the headers for the csv file based on the indicators and the target.
+     *
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param \core_analytics\local\target\base $target
+     * @return string[]
+     */
+    public function get_headers(\core_analytics\local\time_splitting\base $timesplitting,
+            \core_analytics\local\target\base $target): array {
+        // 3rd column will contain the indicator ids.
+        $headers = array();
+
+        if (!$this->includetarget) {
+            // The first column is the sampleid.
+            $headers[] = 'sampleid';
+        }
+
+        // We always have 1 column for each time splitting method range, it does not depend on how
+        // many ranges we calculated.
+        $ranges = $timesplitting->get_distinct_ranges();
+        if (count($ranges) > 1) {
+            foreach ($ranges as $rangeindex) {
+                $headers[] = 'range/' . $rangeindex;
+            }
+        }
+
+        // Model indicators.
+        foreach ($this->analyser->get_indicators() as $indicator) {
+            $headers = array_merge($headers, $indicator::get_feature_headers());
+        }
+
+        // The target as well.
+        if ($this->includetarget) {
+            $headers[] = $target->get_id();
+        }
+
+        return $headers;
+    }
+
+    /**
+     * Filters out samples that have already been used for training.
+     *
+     * @param int[] $sampleids
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @return  null
+     */
+    protected function filter_out_train_samples(array &$sampleids, \core_analytics\local\time_splitting\base $timesplitting) {
+        global $DB;
+
+        $params = array('modelid' => $this->analyser->get_modelid(), 'analysableid' => $timesplitting->get_analysable()->get_id(),
+            'timesplitting' => $timesplitting->get_id());
+
+        $trainingsamples = $DB->get_records('analytics_train_samples', $params);
+
+        // Skip each file trained samples.
+        foreach ($trainingsamples as $trainingfile) {
+
+            $usedsamples = json_decode($trainingfile->sampleids, true);
+
+            if (!empty($usedsamples)) {
+                // Reset $sampleids to $sampleids minus this file's $usedsamples.
+                $sampleids = array_diff_key($sampleids, $usedsamples);
+            }
+        }
+    }
+
+    /**
+     * Filters out samples that have already been used for prediction.
+     *
+     * @param int[] $sampleids
+     * @param array $ranges
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @return  \stdClass|null The analytics_predict_samples record or null
+     */
+    protected function filter_out_prediction_samples_and_ranges(array &$sampleids, array &$ranges,
+            \core_analytics\local\time_splitting\base $timesplitting) {
+
+        if (count($ranges) > 1) {
+            throw new \coding_exception('$ranges argument should only contain one range');
+        }
+
+        $rangeindex = key($ranges);
+        $predictedrange = $this->get_predict_samples_record($timesplitting, $rangeindex);
+
+        if (!$predictedrange) {
+            // Nothing to filter out.
+            return null;
+        }
+
+        $predictedrange->sampleids = json_decode($predictedrange->sampleids, true);
+        $missingsamples = array_diff_key($sampleids, $predictedrange->sampleids);
+        if (count($missingsamples) === 0) {
+            // All samples already calculated.
+            unset($ranges[$rangeindex]);
+            return null;
+        }
+
+        // Replace the list of samples by the one excluding samples that already got predictions at this range.
+        $sampleids = $missingsamples;
+
+        return $predictedrange;
+    }
+
+    /**
+     * Returns a predict samples record.
+     *
+     * @param  \core_analytics\local\time_splitting\base $timesplitting
+     * @param  int                                       $rangeindex
+     * @return \stdClass|false
+     */
+    private function get_predict_samples_record(\core_analytics\local\time_splitting\base $timesplitting, int $rangeindex) {
+        global $DB;
+
+        $params = array('modelid' => $this->analyser->get_modelid(), 'analysableid' => $timesplitting->get_analysable()->get_id(),
+            'timesplitting' => $timesplitting->get_id(), 'rangeindex' => $rangeindex);
+        $predictedrange = $DB->get_record('analytics_predict_samples', $params);
+
+        return $predictedrange;
+    }
+
+    /**
+     * Saves samples that have just been used for training.
+     *
+     * @param int[] $sampleids
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @return null
+     */
+    protected function save_train_samples(array $sampleids, \core_analytics\local\time_splitting\base $timesplitting) {
+        global $DB;
+
+        $trainingsamples = new \stdClass();
+        $trainingsamples->modelid = $this->analyser->get_modelid();
+        $trainingsamples->analysableid = $timesplitting->get_analysable()->get_id();
+        $trainingsamples->timesplitting = $timesplitting->get_id();
+
+        $trainingsamples->sampleids = json_encode($sampleids);
+        $trainingsamples->timecreated = time();
+
+        $DB->insert_record('analytics_train_samples', $trainingsamples);
+    }
+
+    /**
+     * Saves samples that have just been used for prediction.
+     *
+     * @param int[] $sampleids
+     * @param array $ranges
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param \stdClass|null $predictsamplesrecord The existing record or null if there is no record yet.
+     * @return null
+     */
+    protected function save_prediction_samples(array $sampleids, array $ranges,
+            \core_analytics\local\time_splitting\base $timesplitting, ?\stdClass $predictsamplesrecord = null) {
+        global $DB;
+
+        if (count($ranges) > 1) {
+            throw new \coding_exception('$ranges argument should only contain one range');
+        }
+
+        $rangeindex = key($ranges);
+
+        if ($predictsamplesrecord) {
+            // Append the new samples used for prediction.
+            $predictsamplesrecord->sampleids = json_encode($predictsamplesrecord->sampleids + $sampleids);
+            $predictsamplesrecord->timemodified = time();
+            $DB->update_record('analytics_predict_samples', $predictsamplesrecord);
+        } else {
+            $predictsamplesrecord = (object)[
+                'modelid' => $this->analyser->get_modelid(),
+                'analysableid' => $timesplitting->get_analysable()->get_id(),
+                'timesplitting' => $timesplitting->get_id(), 'rangeindex' => $rangeindex
+            ];
+            $predictsamplesrecord->sampleids = json_encode($sampleids);
+            $predictsamplesrecord->timecreated = time();
+            $predictsamplesrecord->timemodified = $predictsamplesrecord->timecreated;
+            $DB->insert_record('analytics_predict_samples', $predictsamplesrecord);
+        }
+    }
+
+    /**
+     * Flags the analysable element as in-analysis and stores a lock for it.
+     *
+     * @param  string $timesplittingid
+     * @param  int    $analysableid
+     * @return bool Success or not
+     */
+    private function init_analysable_analysis(string $timesplittingid, int $analysableid) {
+
+        // Do not include $this->includetarget as we don't want the same analysable to be analysed for training
+        // and prediction at the same time.
+        $lockkey = 'modelid:' . $this->analyser->get_modelid() . '-analysableid:' . $analysableid .
+            '-timesplitting:' . self::clean_time_splitting_id($timesplittingid);
+
+        // Large timeout as processes may be quite long.
+        $lockfactory = \core\lock\lock_config::get_lock_factory('core_analytics');
+
+        // If it is not ready in 10 secs skip this model + analysable + timesplittingmethod combination
+        // it will attempt it again during next cron run.
+        if (!$this->lock = $lockfactory->get_lock($lockkey, 10)) {
+            return false;
+        }
+        return true;
+    }
+
+
+    /**
+     * Remove all possibly problematic chars from the time splitting method id (id = its full class name).
+     *
+     * @param string $timesplittingid
+     * @return string
+     */
+    public static function clean_time_splitting_id($timesplittingid) {
+        $timesplittingid = str_replace('\\', '-', $timesplittingid);
+        return clean_param($timesplittingid, PARAM_ALPHANUMEXT);
+    }
+
+    /**
+     * Mark the currently analysed analysable+timesplitting as analysed.
+     *
+     * @return null
+     */
+    private function finish_analysable_analysis() {
+        $this->lock->release();
+    }
+
+    /**
+     * Returns the batch size used for insert_records.
+     *
+     * This method tries to find the best batch size without getting
+     * into dml internals. Maximum 1000 records to save memory.
+     *
+     * @return int
+     */
+    private static function get_insert_batch_size(): int {
+        global $DB;
+
+        $dbconfig = $DB->export_dbconfig();
+
+        // 500 is pgsql default so using 1000 is fine, no other db driver uses a hardcoded value.
+        if (empty($dbconfig) || empty($dbconfig->dboptions) || empty($dbconfig->dboptions['bulkinsertsize'])) {
+            return 1000;
+        }
+
+        $bulkinsert = $dbconfig->dboptions['bulkinsertsize'];
+        if ($bulkinsert < 1000) {
+            return $bulkinsert;
+        }
+
+        while ($bulkinsert > 1000) {
+            $bulkinsert = round($bulkinsert / 2, 0);
+        }
+
+        return (int)$bulkinsert;
+    }
+}
index 919f36b..6e372cf 100644 (file)
@@ -132,12 +132,11 @@ class course implements \core_analytics\analysable {
      * Use self::instance() instead to get cached copies of the course. Instances obtained
      * through this constructor will not be cached.
      *
-     * Lazy load of course data, students and teachers.
-     *
-     * @param int|\stdClass $course Course id
+     * @param int|\stdClass $course Course id or mdl_course record
+     * @param \context|null $context
      * @return void
      */
-    public function __construct($course) {
+    public function __construct($course, ?\context $context = null) {
 
         if (is_scalar($course)) {
             $this->course = new \stdClass();
@@ -145,6 +144,10 @@ class course implements \core_analytics\analysable {
         } else {
             $this->course = $course;
         }
+
+        if (!is_null($context)) {
+            $this->coursecontext = $context;
+        }
     }
 
     /**
@@ -153,9 +156,10 @@ class course implements \core_analytics\analysable {
      * Lazy load of course data, students and teachers.
      *
      * @param int|\stdClass $course Course object or course id
+     * @param \context|null $context
      * @return \core_analytics\course
      */
-    public static function instance($course) {
+    public static function instance($course, ?\context $context = null) {
 
         $courseid = $course;
         if (!is_scalar($courseid)) {
@@ -166,7 +170,7 @@ class course implements \core_analytics\analysable {
             return self::$cachedinstance;
         }
 
-        $cachedinstance = new \core_analytics\course($course);
+        $cachedinstance = new \core_analytics\course($course, $context);
         self::$cachedinstance = $cachedinstance;
         self::$cachedid = (int)$courseid;
         return self::$cachedinstance;
index 00b571a..811bf7c 100644 (file)
@@ -109,31 +109,8 @@ class dataset_manager {
         $this->modelid = $modelid;
         $this->analysableid = $analysableid;
         $this->timesplittingid = $timesplittingid;
-        $this->evaluation = $evaluation;
         $this->filearea = $filearea;
-    }
-
-    /**
-     * Mark the analysable as being analysed.
-     *
-     * @return bool Could we get the lock or not.
-     */
-    public function init_process() {
-
-        // Do not include $this->includetarget as we don't want the same analysable to be analysed for training
-        // and prediction at the same time.
-        $lockkey = 'modelid:' . $this->modelid . '-analysableid:' . $this->analysableid .
-            '-timesplitting:' . self::clean_time_splitting_id($this->timesplittingid);
-
-        // Large timeout as processes may be quite long.
-        $lockfactory = \core\lock\lock_config::get_lock_factory('core_analytics');
-
-        // If it is not ready in 10 secs skip this model + analysable + timesplittingmethod combination
-        // it will attempt it again during next cron run.
-        if (!$this->lock = $lockfactory->get_lock($lockkey, 10)) {
-            return false;
-        }
-        return true;
+        $this->evaluation = $evaluation;
     }
 
     /**
@@ -152,7 +129,8 @@ class dataset_manager {
             'filearea' => $this->filearea,
             'itemid' => $this->modelid,
             'contextid' => \context_system::instance()->id,
-            'filepath' => '/analysable/' . $this->analysableid . '/' . self::clean_time_splitting_id($this->timesplittingid) . '/',
+            'filepath' => '/analysable/' . $this->analysableid . '/' .
+                \core_analytics\analysis::clean_time_splitting_id($this->timesplittingid) . '/',
             'filename' => self::get_filename($this->evaluation)
         ];
 
@@ -167,8 +145,7 @@ class dataset_manager {
         $filepath = make_request_directory() . DIRECTORY_SEPARATOR . $filerecord['filename'];
         $fh = fopen($filepath, 'w+');
         if (!$fh) {
-            $this->close_process();
-            throw new \moodle_exception('errorcannotwritedataset', 'analytics', '', $filepath);
+            return false;
         }
         foreach ($data as $line) {
             fputcsv($fh, $line);
@@ -178,15 +155,6 @@ class dataset_manager {
         return $fs->create_file_from_pathname($filerecord, $filepath);
     }
 
-    /**
-     * Mark as analysed.
-     *
-     * @return void
-     */
-    public function close_process() {
-        $this->lock->release();
-    }
-
     /**
      * Returns the previous evaluation file.
      *
@@ -200,8 +168,9 @@ class dataset_manager {
     public static function get_previous_evaluation_file($modelid, $timesplittingid) {
         $fs = get_file_storage();
         // Evaluation data is always labelled.
+        $filepath = '/timesplitting/' . \core_analytics\analysis::clean_time_splitting_id($timesplittingid) . '/';
         return $fs->get_file(\context_system::instance()->id, 'analytics', self::LABELLED_FILEAREA, $modelid,
-            '/timesplitting/' . self::clean_time_splitting_id($timesplittingid) . '/', self::EVALUATION_FILENAME);
+            $filepath, self::EVALUATION_FILENAME);
     }
 
     /**
@@ -233,7 +202,7 @@ class dataset_manager {
         $filesbytimesplitting = array();
         foreach ($timesplittingids as $timesplittingid) {
 
-            $filepath = '/timesplitting/' . self::clean_time_splitting_id($timesplittingid) . '/';
+            $filepath = '/timesplitting/' . \core_analytics\analysis::clean_time_splitting_id($timesplittingid) . '/';
             $files = $fs->get_directory_files(\context_system::instance()->id, 'analytics', $filearea, $modelid, $filepath);
             foreach ($files as $file) {
 
@@ -291,7 +260,8 @@ class dataset_manager {
         // Always evaluation.csv and labelled as it is an evaluation file.
         $filearea = self::LABELLED_FILEAREA;
         $filename = self::get_filename(true);
-        $filepath = '/analysable/' . $analysableid . '/' . self::clean_time_splitting_id($timesplittingid) . '/';
+        $filepath = '/analysable/' . $analysableid . '/' .
+            \core_analytics\analysis::clean_time_splitting_id($timesplittingid) . '/';
         return $fs->get_file(\context_system::instance()->id, 'analytics', $filearea, $modelid, $filepath, $filename);
     }
 
@@ -372,7 +342,7 @@ class dataset_manager {
             'filearea' => $filearea,
             'itemid' => $modelid,
             'contextid' => \context_system::instance()->id,
-            'filepath' => '/timesplitting/' . self::clean_time_splitting_id($timesplittingid) . '/',
+            'filepath' => '/timesplitting/' . \core_analytics\analysis::clean_time_splitting_id($timesplittingid) . '/',
             'filename' => self::get_filename($evaluation)
         ];
 
@@ -393,7 +363,7 @@ class dataset_manager {
         $fs = get_file_storage();
 
         $contextid = \context_system::instance()->id;
-        $filepath = '/timesplitting/' . self::clean_time_splitting_id($timesplittingid) . '/';
+        $filepath = '/timesplitting/' . \core_analytics\analysis::clean_time_splitting_id($timesplittingid) . '/';
 
         $files = $fs->get_directory_files($contextid, 'analytics', self::LABELLED_FILEAREA, $modelid,
             $filepath, true, false);
@@ -467,17 +437,6 @@ class dataset_manager {
         return $fs->delete_area_files(\context_system::instance()->id, 'analytics', false, $modelid);
     }
 
-    /**
-     * Remove all possibly problematic chars from the time splitting method id (id = its full class name).
-     *
-     * @param string $timesplittingid
-     * @return string
-     */
-    protected static function clean_time_splitting_id($timesplittingid) {
-        $timesplittingid = str_replace('\\', '-', $timesplittingid);
-        return clean_param($timesplittingid, PARAM_ALPHANUMEXT);
-    }
-
     /**
      * Returns the file name to be used.
      *
diff --git a/analytics/classes/insights_generator.php b/analytics/classes/insights_generator.php
new file mode 100644 (file)
index 0000000..24fdfaf
--- /dev/null
@@ -0,0 +1,236 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Insights generator.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics;
+
+defined('MOODLE_INTERNAL') || die();
+
+require_once($CFG->dirroot . '/lib/messagelib.php');
+
+/**
+ * Insights generator.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class insights_generator {
+
+    /**
+     * @var int
+     */
+    private $modelid;
+
+    /**
+     * @var \core_analytics\local\target\base
+     */
+    private $target;
+
+    /**
+     * @var int[]
+     */
+    private $contextcourseids;
+
+    /**
+     * Constructor.
+     *
+     * @param int $modelid
+     * @param \core_analytics\local\target\base $target
+     */
+    public function __construct(int $modelid, \core_analytics\local\target\base $target) {
+        $this->modelid = $modelid;
+        $this->target = $target;
+    }
+
+    /**
+     * Generates insight notifications.
+     *
+     * @param array                         $samplecontexts    The contexts these predictions belong to
+     * @param \core_analytics\prediction[]  $predictions       The prediction records
+     * @return  null
+     */
+    public function generate($samplecontexts, $predictions) {
+        global $OUTPUT;
+
+        $analyserclass = $this->target->get_analyser_class();
+
+        // We will need to restore it later.
+        $actuallanguage = current_language();
+
+        if ($analyserclass::one_sample_per_analysable()) {
+
+            // Iterate through the predictions and the users in each prediction (likely to be just one).
+            foreach ($predictions as $prediction) {
+
+                $context = $samplecontexts[$prediction->get_prediction_data()->contextid];
+
+                $users = $this->target->get_insights_users($context);
+                foreach ($users as $user) {
+
+                    $this->set_notification_language($user);
+                    list($insighturl, $fullmessage, $fullmessagehtml) = $this->prediction_info($prediction);
+                    $this->notification($context, $user, $insighturl, $fullmessage, $fullmessagehtml);
+                }
+            }
+
+        } else {
+
+            // Iterate through the context and the users in each context.
+            foreach ($samplecontexts as $context) {
+
+                $users = $this->target->get_insights_users($context);
+                foreach ($users as $user) {
+
+                    $this->set_notification_language($user);
+
+                    $insighturl = $this->target->get_insight_context_url($this->modelid, $context);
+
+                    $fullmessage = get_string('insightinfomessage', 'analytics', $insighturl->out(false));
+                    $fullmessagehtml = $OUTPUT->render_from_template('core_analytics/insight_info_message',
+                        ['url' => $insighturl->out(false)]
+                    );
+
+                    $this->notification($context, $user, $insighturl, $fullmessage, $fullmessagehtml);
+                }
+            }
+        }
+
+        force_current_language($actuallanguage);
+    }
+
+    /**
+     * Generates a insight notification for the user.
+     *
+     * @param  \context    $context
+     * @param  \stdClass   $user
+     * @param  \moodle_url $insighturl    The insight URL
+     * @param  string      $fullmessage
+     * @param  string      $fullmessagehtml
+     * @return null
+     */
+    private function notification(\context $context, \stdClass $user, \moodle_url $insighturl, string $fullmessage, string $fullmessagehtml) {
+
+        $message = new \core\message\message();
+        $message->component = 'moodle';
+        $message->name = 'insights';
+
+        $message->userfrom = \core_user::get_noreply_user();
+        $message->userto = $user;
+
+        $message->subject = $this->target->get_insight_subject($this->modelid, $context);
+
+        // Same than the subject.
+        $message->contexturlname = $message->subject;
+        $message->courseid = $this->get_context_courseid($context);
+
+        $message->fullmessage = $fullmessage;
+        $message->fullmessageformat = FORMAT_PLAIN;
+        $message->fullmessagehtml = $fullmessagehtml;
+        $message->smallmessage = $fullmessage;
+        $message->contexturl = $insighturl->out(false);
+
+        message_send($message);
+    }
+
+    /**
+     * Returns the course context of the provided context reading an internal cache first.
+     *
+     * @param  \context $context
+     * @return int
+     */
+    private function get_context_courseid(\context $context) {
+
+        if (empty($this->contextcourseids[$context->id])) {
+
+            $coursecontext = $context->get_course_context(false);
+            if (!$coursecontext) {
+                // Default to the frontpage course context.
+                $coursecontext = \context_course::instance(SITEID);
+            }
+            $this->contextcourseids[$context->id] = $coursecontext->instanceid;
+        }
+
+        return $this->contextcourseids[$context->id];
+    }
+
+    /**
+     * Extracts info from the prediction for display purposes.
+     *
+     * @param  \core_analytics\prediction $prediction
+     * @return array Three items array with formats [\moodle_url, string, string]
+     */
+    private function prediction_info(\core_analytics\prediction $prediction) {
+        global $OUTPUT;
+
+        $predictionactions = $this->target->prediction_actions($prediction, true, true);
+
+        // For FORMAT_PLAIN.
+        $fullmessageplaintext  = '';
+
+        // For FORMAT_HTML.
+        $messageactions  = [];
+        $insighturl = null;
+        foreach ($predictionactions as $action) {
+            $actionurl = $action->get_url();
+            if (!$actionurl->get_param('forwardurl')) {
+
+                $actiondoneurl = new \moodle_url('/report/insights/done.php');
+                // Set the forward url to the 'done' script.
+                $actionurl->param('forwardurl', $actiondoneurl->out(false));
+            }
+
+            if (empty($insighturl)) {
+                // We use the primary action url as insight url so we log that the user followed the provided link.
+                $insighturl = $action->get_url();
+            }
+            $actiondata = (object)['url' => $action->get_url()->out(false), 'text' => $action->get_text()];
+            $fullmessageplaintext .= get_string('insightinfomessageaction', 'analytics', $actiondata) . PHP_EOL;
+            $messageactions[] = $actiondata;
+        }
+
+        $fullmessagehtml = $OUTPUT->render_from_template('core_analytics/insight_info_message_prediction',
+            ['actions' => $messageactions]);
+        return [$insighturl, $fullmessageplaintext, $fullmessagehtml];
+    }
+
+    /**
+     * Sets the session language to the language used by the notification receiver.
+     *
+     * @param  \stdClass $user The user who will receive the message
+     * @return null
+     */
+    private function set_notification_language($user) {
+        global $CFG;
+
+        // Copied from current_language().
+        if (!empty($user->lang)) {
+            $lang = $user->lang;
+        } else if (isset($CFG->lang)) {
+            $lang = $CFG->lang;
+        } else {
+            $lang = 'en';
+        }
+        force_current_language($lang);
+    }
+}
index 06b7468..1c65e2c 100644 (file)
@@ -47,13 +47,6 @@ abstract class base {
      */
     protected $target;
 
-    /**
-     * A $this->$target copy loaded with the ongoing analysis analysable.
-     *
-     * @var \core_analytics\local\target\base
-     */
-    protected $analysabletarget;
-
     /**
      * The model indicators.
      *
@@ -118,9 +111,37 @@ abstract class base {
      * \core_analytics\local\analyser\by_course and \core_analytics\local\analyser\sitewide are implementing
      * this method returning site courses (by_course) and the whole system (sitewide) as analysables.
      *
+     * @todo MDL-65284 This will be removed in Moodle 4.1
+     * @deprecated
+     * @see get_analysables_iterator
+     * @throws  \coding_exception
      * @return \core_analytics\analysable[] Array of analysable elements using the analysable id as array key.
      */
-    abstract public function get_analysables();
+    public function get_analysables() {
+        // This function should only be called from get_analysables_iterator and we keep it here until Moodle 4.1
+        // for backwards compatibility.
+        throw new \coding_exception('This method is deprecated in favour of get_analysables_iterator.');
+    }
+
+    /**
+     * Returns the list of analysable elements available on the site.
+     *
+     * A relatively complex SQL query should be set so that we take into account which analysable elements
+     * have already been processed and the order in which they have been processed. Helper methods are available
+     * to ease to implementation of get_analysables_iterator: get_iterator_sql and order_sql.
+     *
+     * @param string|null $action 'prediction', 'training' or null if no specific action needed.
+     * @return \Iterator
+     */
+    public function get_analysables_iterator(?string $action = null) {
+
+        debugging('Please overwrite get_analysables_iterator with your own implementation, we only keep this default
+            implementation for backwards compatibility purposes with get_analysables(). note that $action param will
+            be ignored so the analysable elements will be processed using get_analysables order, regardless of the
+            last time they were processed.');
+
+        return new \ArrayIterator($this->get_analysables());
+    }
 
     /**
      * This function returns this analysable list of samples.
@@ -128,7 +149,7 @@ abstract class base {
      * @param \core_analytics\analysable $analysable
      * @return array array[0] = int[] (sampleids) and array[1] = array (samplesdata)
      */
-    abstract protected function get_all_samples(\core_analytics\analysable $analysable);
+    abstract public function get_all_samples(\core_analytics\analysable $analysable);
 
     /**
      * This function returns the samples data from a list of sample ids.
@@ -174,70 +195,46 @@ abstract class base {
     abstract public function sample_description($sampleid, $contextid, $sampledata);
 
     /**
-     * Main analyser method which processes the site analysables.
-     *
-     * @param bool $includetarget
-     * @return \stored_file[]
+     * Model id getter.
+     * @return int
      */
-    public function get_analysable_data($includetarget) {
-        global $DB;
-
-        // Time limit control.
-        $modeltimelimit = intval(get_config('analytics', 'modeltimelimit'));
-
-        $filesbytimesplitting = array();
-
-        list($analysables, $processedanalysables) = $this->get_sorted_analysables($includetarget);
-
-        $inittime = time();
-        foreach ($analysables as $key => $analysable) {
-
-            $files = $this->process_analysable($analysable, $includetarget);
-
-            // Later we will need to aggregate data by time splitting method.
-            foreach ($files as $timesplittingid => $file) {
-                $filesbytimesplitting[$timesplittingid][] = $file;
-            }
-
-            $this->update_analysable_analysed_time($processedanalysables, $analysable->get_id(), $includetarget);
-
-            // Apply time limit.
-            if (!$this->options['evaluation']) {
-                $timespent = time() - $inittime;
-                if ($modeltimelimit <= $timespent) {
-                    break;
-                }
-            }
-
-            unset($analysables[$key]);
-        }
-
-        if ($this->options['evaluation'] === false) {
-            // Look for previous training and prediction files we generated and couldn't be used
-            // by machine learning backends because they weren't big enough.
+    public function get_modelid(): int {
+        return $this->modelid;
+    }
 
-            $pendingfiles = \core_analytics\dataset_manager::get_pending_files($this->modelid, $includetarget,
-                array_keys($filesbytimesplitting));
-            foreach ($pendingfiles as $timesplittingid => $files) {
-                foreach ($files as $file) {
-                    $filesbytimesplitting[$timesplittingid][] = $file;
-                }
-            }
-        }
+    /**
+     * Options getter.
+     * @return array
+     */
+    public function get_options(): array {
+        return $this->options;
+    }
 
-        // We join the datasets by time splitting method.
-        $timesplittingfiles = $this->merge_analysable_files($filesbytimesplitting, $includetarget);
+    /**
+     * Returns the analysed target.
+     *
+     * @return \core_analytics\local\target\base
+     */
+    public function get_target(): \core_analytics\local\target\base {
+        return $this->target;
+    }
 
-        if (!empty($pendingfiles)) {
-            // We must remove them now as they are already part of another dataset.
-            foreach ($pendingfiles as $timesplittingid => $files) {
-                foreach ($files as $file) {
-                    $file->delete();
-                }
-            }
-        }
+    /**
+     * Getter for time splittings.
+     *
+     * @return \core_analytics\local\time_splitting\base
+     */
+    public function get_timesplittings(): array {
+        return $this->timesplittings;
+    }
 
-        return $timesplittingfiles;
+    /**
+     * Getter for indicators.
+     *
+     * @return \core_analytics\local\indicator\base
+     */
+    public function get_indicators(): array {
+        return $this->indicators;
     }
 
     /**
@@ -252,19 +249,39 @@ abstract class base {
     /**
      * Returns labelled data (training and evaluation).
      *
-     * @return array
+     * @return \stored_file[]
      */
     public function get_labelled_data() {
-        return $this->get_analysable_data(true);
+        // Delegates all processing to the analysis.
+        $result = new \core_analytics\local\analysis\result_file($this->get_modelid(), true, $this->get_options());
+        $analysis = new \core_analytics\analysis($this, true, $result);
+        $analysis->run();
+        return $result->get();
     }
 
     /**
      * Returns unlabelled data (prediction).
      *
-     * @return array
+     * @return \stored_file[]
      */
     public function get_unlabelled_data() {
-        return $this->get_analysable_data(false);
+        // Delegates all processing to the analysis.
+        $result = new \core_analytics\local\analysis\result_file($this->get_modelid(), false, $this->get_options());
+        $analysis = new \core_analytics\analysis($this, false, $result);
+        $analysis->run();
+        return $result->get();
+    }
+
+    /**
+     * Returns indicator calculations as an array.
+     * @return array
+     */
+    public function get_static_data() {
+        // Delegates all processing to the analysis.
+        $result = new \core_analytics\local\analysis\result_array($this->get_modelid(), false, $this->get_options());
+        $analysis = new \core_analytics\analysis($this, false, $result);
+        $analysis->run();
+        return $result->get();
     }
 
     /**
@@ -284,36 +301,6 @@ abstract class base {
         }
     }
 
-    /**
-     * Merges analysable dataset files into 1.
-     *
-     * @param array $filesbytimesplitting
-     * @param bool $includetarget
-     * @return \stored_file[]
-     */
-    protected function merge_analysable_files($filesbytimesplitting, $includetarget) {
-
-        $timesplittingfiles = array();
-        foreach ($filesbytimesplitting as $timesplittingid => $files) {
-
-            if ($this->options['evaluation'] === true) {
-                // Delete the previous copy. Only when evaluating.
-                \core_analytics\dataset_manager::delete_previous_evaluation_file($this->modelid, $timesplittingid);
-            }
-
-            // Merge all course files into one.
-            if ($includetarget) {
-                $filearea = \core_analytics\dataset_manager::LABELLED_FILEAREA;
-            } else {
-                $filearea = \core_analytics\dataset_manager::UNLABELLED_FILEAREA;
-            }
-            $timesplittingfiles[$timesplittingid] = \core_analytics\dataset_manager::merge_datasets($files,
-                $this->modelid, $timesplittingid, $filearea, $this->options['evaluation']);
-        }
-
-        return $timesplittingfiles;
-    }
-
     /**
      * Checks that this analyser satisfies the provided indicator requirements.
      *
@@ -338,83 +325,6 @@ abstract class base {
         return $missingrequired;
     }
 
-    /**
-     * Processes an analysable
-     *
-     * This method returns the general analysable status, an array of files by time splitting method and
-     * an error message if there is any problem.
-     *
-     * @param \core_analytics\analysable $analysable
-     * @param bool $includetarget
-     * @return \stored_file[] Files by time splitting method
-     */
-    public function process_analysable($analysable, $includetarget) {
-
-        // Default returns.
-        $files = array();
-        $message = null;
-
-        // Target instances scope is per-analysable (it can't be lower as calculations run once per
-        // analysable, not time splitting method nor time range).
-        $this->analysabletarget = call_user_func(array($this->target, 'instance'));
-
-        // We need to check that the analysable is valid for the target even if we don't include targets
-        // as we still need to discard invalid analysables for the target.
-        $result = $this->analysabletarget->is_valid_analysable($analysable, $includetarget);
-        if ($result !== true) {
-            $a = new \stdClass();
-            $a->analysableid = $analysable->get_name();
-            $a->result = $result;
-            $this->add_log(get_string('analysablenotvalidfortarget', 'analytics', $a));
-            return array();
-        }
-
-        // Process all provided time splitting methods.
-        $results = array();
-        foreach ($this->timesplittings as $timesplitting) {
-
-            // For evaluation purposes we don't need to be that strict about how updated the data is,
-            // if this analyser was analysed less that 1 week ago we skip generating a new one. This
-            // helps scale the evaluation process as sites with tons of courses may a lot of time to
-            // complete an evaluation.
-            if (!empty($this->options['evaluation']) && !empty($this->options['reuseprevanalysed'])) {
-
-                $previousanalysis = \core_analytics\dataset_manager::get_evaluation_analysable_file($this->modelid,
-                    $analysable->get_id(), $timesplitting->get_id());
-                // 1 week is a partly random time interval, no need to worry about DST.
-                $boundary = time() - WEEKSECS;
-                if ($previousanalysis && $previousanalysis->get_timecreated() > $boundary) {
-                    // Recover the previous analysed file and avoid generating a new one.
-
-                    // Don't bother filling a result object as it is only useful when there are no files generated.
-                    $files[$timesplitting->get_id()] = $previousanalysis;
-                    continue;
-                }
-            }
-
-            $result = $this->process_time_splitting($timesplitting, $analysable, $includetarget);
-
-            if (!empty($result->file)) {
-                $files[$timesplitting->get_id()] = $result->file;
-            }
-            $results[] = $result;
-        }
-
-        if (empty($files)) {
-            $errors = array();
-            foreach ($results as $timesplittingid => $result) {
-                $errors[] = $timesplittingid . ': ' . $result->message;
-            }
-
-            $a = new \stdClass();
-            $a->analysableid = $analysable->get_name();
-            $a->errors = implode(', ', $errors);
-            $this->add_log(get_string('analysablenotused', 'analytics', $a));
-        }
-
-        return $files;
-    }
-
     /**
      * Adds a register to the analysis log.
      *
@@ -482,427 +392,83 @@ abstract class base {
     }
 
     /**
-     * Processes the analysable samples using the provided time splitting method.
+     * Do this analyser's analysables have 1 single sample each?
      *
-     * @param \core_analytics\local\time_splitting\base $timesplitting
-     * @param \core_analytics\analysable $analysable
-     * @param bool $includetarget
-     * @return \stdClass Results object.
-     */
-    protected function process_time_splitting($timesplitting, $analysable, $includetarget = false) {
-
-        $result = new \stdClass();
-
-        if (!$timesplitting->is_valid_analysable($analysable)) {
-            $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
-            $result->message = get_string('invalidanalysablefortimesplitting', 'analytics',
-                $timesplitting->get_name());
-            return $result;
-        }
-        $timesplitting->set_analysable($analysable);
-
-        if (CLI_SCRIPT && !PHPUNIT_TEST) {
-            mtrace('Analysing id "' . $analysable->get_id() . '" with "' . $timesplitting->get_name() .
-                '" time splitting method...');
-        }
-
-        // What is a sample is defined by the analyser, it can be an enrolment, a course, a user, a question
-        // attempt... it is on what we will base indicators calculations.
-        list($sampleids, $samplesdata) = $this->get_all_samples($analysable);
-
-        if (count($sampleids) === 0) {
-            $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
-            $result->message = get_string('nodata', 'analytics');
-            return $result;
-        }
-
-        if ($includetarget) {
-            // All ranges are used when we are calculating data for training.
-            $ranges = $timesplitting->get_all_ranges();
-        } else {
-            // The latest range that has not yet been used for prediction (it depends on the time range where we are right now).
-            $ranges = $this->get_most_recent_prediction_range($timesplitting);
-        }
-
-        // There is no need to keep track of the evaluated samples and ranges as we always evaluate the whole dataset.
-        if ($this->options['evaluation'] === false) {
-
-            if (empty($ranges)) {
-                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
-                $result->message = get_string('noranges', 'analytics');
-                return $result;
-            }
-
-            // We skip all samples that are already part of a training dataset, even if they have not been used for prediction.
-            $this->filter_out_train_samples($sampleids, $timesplitting);
-
-            if (count($sampleids) === 0) {
-                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
-                $result->message = get_string('nonewdata', 'analytics');
-                return $result;
-            }
-
-            // Only when processing data for predictions.
-            if (!$includetarget) {
-                // We also filter out samples and ranges that have already been used for predictions.
-                $this->filter_out_prediction_samples_and_ranges($sampleids, $ranges, $timesplitting);
-            }
-
-            if (count($sampleids) === 0) {
-                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
-                $result->message = get_string('nonewdata', 'analytics');
-                return $result;
-            }
-
-            if (count($ranges) === 0) {
-                $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
-                $result->message = get_string('nonewranges', 'analytics');
-                return $result;
-            }
-        }
-
-        if (!empty($includetarget)) {
-            $filearea = \core_analytics\dataset_manager::LABELLED_FILEAREA;
-        } else {
-            $filearea = \core_analytics\dataset_manager::UNLABELLED_FILEAREA;
-        }
-        $dataset = new \core_analytics\dataset_manager($this->modelid, $analysable->get_id(), $timesplitting->get_id(),
-            $filearea, $this->options['evaluation']);
-
-        // Flag the model + analysable + timesplitting as being analysed (prevent concurrent executions).
-        if (!$dataset->init_process()) {
-            // If this model + analysable + timesplitting combination is being analysed we skip this process.
-            $result->status = \core_analytics\model::NO_DATASET;
-            $result->message = get_string('analysisinprogress', 'analytics');
-            return $result;
-        }
-
-        try {
-            // Remove samples the target consider invalid.
-            $this->analysabletarget->add_sample_data($samplesdata);
-            $this->analysabletarget->filter_out_invalid_samples($sampleids, $analysable, $includetarget);
-        } catch (\Throwable $e) {
-            $dataset->close_process();
-            throw $e;
-        }
-
-        if (!$sampleids) {
-            $result->status = \core_analytics\model::NO_DATASET;
-            $result->message = get_string('novalidsamples', 'analytics');
-            $dataset->close_process();
-            return $result;
-        }
-
-        try {
-            foreach ($this->indicators as $key => $indicator) {
-                // The analyser attaches the main entities the sample depends on and are provided to the
-                // indicator to calculate the sample.
-                $this->indicators[$key]->add_sample_data($samplesdata);
-            }
-
-            // Here we start the memory intensive process that will last until $data var is
-            // unset (until the method is finished basically).
-            if ($includetarget) {
-                $data = $timesplitting->calculate($sampleids, $this->get_samples_origin(), $this->indicators, $ranges,
-                    $this->analysabletarget);
-            } else {
-                $data = $timesplitting->calculate($sampleids, $this->get_samples_origin(), $this->indicators, $ranges);
-            }
-        } catch (\Throwable $e) {
-            $dataset->close_process();
-            throw $e;
-        }
-
-        if (!$data) {
-            $result->status = \core_analytics\model::ANALYSABLE_REJECTED_TIME_SPLITTING_METHOD;
-            $result->message = get_string('novaliddata', 'analytics');
-            $dataset->close_process();
-            return $result;
-        }
-
-        try {
-            // Add extra metadata.
-            $this->add_model_metadata($data);
-
-            // Write all calculated data to a file.
-            $file = $dataset->store($data);
-        } catch (\Throwable $e) {
-            $dataset->close_process();
-            throw $e;
-        }
-
-        // Flag the model + analysable + timesplitting as analysed.
-        $dataset->close_process();
-
-        // No need to keep track of analysed stuff when evaluating.
-        if ($this->options['evaluation'] === false) {
-            // Save the samples that have been already analysed so they are not analysed again in future.
-
-            if ($includetarget) {
-                $this->save_train_samples($sampleids, $timesplitting, $file);
-            } else {
-                $this->save_prediction_samples($sampleids, $ranges, $timesplitting);
-            }
-        }
-
-        $result->status = \core_analytics\model::OK;
-        $result->message = get_string('successfullyanalysed', 'analytics');
-        $result->file = $file;
-        return $result;
-    }
-
-    /**
-     * Returns the most recent range that can be used to predict.
+     * Overwrite and return true if your analysables only have
+     * one sample. The insights generated by models using this
+     * analyser will then include the suggested actions in the
+     * notification.
      *
-     * @param \core_analytics\local\time_splitting\base $timesplitting
-     * @return array
+     * @return bool
      */
-    protected function get_most_recent_prediction_range($timesplitting) {
-
-        $now = time();
-        $ranges = $timesplitting->get_all_ranges();
-
-        // Opposite order as we are interested in the last range that can be used for prediction.
-        krsort($ranges);
-
-        // We already provided the analysable to the time splitting method, there is no need to feed it back.
-        foreach ($ranges as $rangeindex => $range) {
-            if ($timesplitting->ready_to_predict($range)) {
-                // We need to maintain the same indexes.
-                return array($rangeindex => $range);
-            }
-        }
-
-        return array();
+    public static function one_sample_per_analysable() {
+        return false;
     }
 
     /**
-     * Filters out samples that have already been used for training.
+     * Get the sql of a default implementation of the iterator.
      *
-     * @param int[] $sampleids
-     * @param \core_analytics\local\time_splitting\base $timesplitting
-     */
-    protected function filter_out_train_samples(&$sampleids, $timesplitting) {
-        global $DB;
-
-        $params = array('modelid' => $this->modelid, 'analysableid' => $timesplitting->get_analysable()->get_id(),
-            'timesplitting' => $timesplitting->get_id());
-
-        $trainingsamples = $DB->get_records('analytics_train_samples', $params);
-
-        // Skip each file trained samples.
-        foreach ($trainingsamples as $trainingfile) {
-
-            $usedsamples = json_decode($trainingfile->sampleids, true);
-
-            if (!empty($usedsamples)) {
-                // Reset $sampleids to $sampleids minus this file's $usedsamples.
-                $sampleids = array_diff_key($sampleids, $usedsamples);
-            }
-        }
-    }
-
-    /**
-     * Filters out samples that have already been used for prediction.
+     * This method only works for analysers that return analysable elements which ids map to a context instance ids.
      *
-     * @param int[] $sampleids
-     * @param array $ranges
-     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param  string      $tablename    The name of the table
+     * @param  int         $contextlevel The context level of the analysable
+     * @param  string|null $action
+     * @param  string|null $tablealias   The table alias
+     * @return array                     [0] => sql and [1] => params array
      */
-    protected function filter_out_prediction_samples_and_ranges(&$sampleids, &$ranges, $timesplitting) {
-        global $DB;
+    protected function get_iterator_sql(string $tablename, int $contextlevel, ?string $action = null, ?string $tablealias = null) {
 
-        if (count($ranges) > 1) {
-            throw new \coding_exception('$ranges argument should only contain one range');
+        if (!$tablealias) {
+            $tablealias = 'analysable';
         }
 
-        $rangeindex = key($ranges);
+        $params = ['contextlevel' => $contextlevel, 'modelid' => $this->get_modelid()];
+        $select = $tablealias . '.*, ' . \context_helper::get_preload_record_columns_sql('ctx');
 
-        $params = array('modelid' => $this->modelid, 'analysableid' => $timesplitting->get_analysable()->get_id(),
-            'timesplitting' => $timesplitting->get_id(), 'rangeindex' => $rangeindex);
-        $predictedrange = $DB->get_record('analytics_predict_samples', $params);
+        // We add the action filter on ON instead of on WHERE because otherwise records are not returned if there are existing
+        // records for another action or model.
+        $usedanalysablesjoin = ' LEFT JOIN {analytics_used_analysables} aua ON ' . $tablealias . '.id = aua.analysableid AND ' .
+            '(aua.modelid = :modelid OR aua.modelid IS NULL)';
 
-        if (!$predictedrange) {
-            // Nothing to filter out.
-            return;
+        if ($action) {
+            $usedanalysablesjoin .= " AND aua.action = :action";
+            $params = $params + ['action' => $action];
         }
 
-        $predictedrange->sampleids = json_decode($predictedrange->sampleids, true);
-        $missingsamples = array_diff_key($sampleids, $predictedrange->sampleids);
-        if (count($missingsamples) === 0) {
-            // All samples already calculated.
-            unset($ranges[$rangeindex]);
-            return;
-        }
-
-        // Replace the list of samples by the one excluding samples that already got predictions at this range.
-        $sampleids = $missingsamples;
-    }
-
-    /**
-     * Saves samples that have just been used for training.
-     *
-     * @param int[] $sampleids
-     * @param \core_analytics\local\time_splitting\base $timesplitting
-     * @param \stored_file $file
-     * @return void
-     */
-    protected function save_train_samples($sampleids, $timesplitting, $file) {
-        global $DB;
-
-        $trainingsamples = new \stdClass();
-        $trainingsamples->modelid = $this->modelid;
-        $trainingsamples->analysableid = $timesplitting->get_analysable()->get_id();
-        $trainingsamples->timesplitting = $timesplitting->get_id();
-        $trainingsamples->fileid = $file->get_id();
-
-        $trainingsamples->sampleids = json_encode($sampleids);
-        $trainingsamples->timecreated = time();
+        // Adding the 1 = 1 just to have the WHERE part so that all further conditions added by callers can be
+        // appended to $sql with and ' AND'.
+        $sql = 'SELECT ' . $select . '
+                  FROM {' . $tablename . '} ' . $tablealias . '
+                  ' . $usedanalysablesjoin . '
+                  JOIN {context} ctx ON (ctx.contextlevel = :contextlevel AND ctx.instanceid = ' . $tablealias . '.id)
+                  WHERE 1 = 1';
 
-        $DB->insert_record('analytics_train_samples', $trainingsamples);
+        return [$sql, $params];
     }
 
     /**
-     * Saves samples that have just been used for prediction.
+     * Returns the order by clause.
      *
-     * @param int[] $sampleids
-     * @param array $ranges
-     * @param \core_analytics\local\time_splitting\base $timesplitting
-     * @return void
+     * @param  string|null $fieldname  The field name
+     * @param  string      $order      'ASC' or 'DESC'
+     * @param  string|null $tablealias The table alias of the field
+     * @return string
      */
-    protected function save_prediction_samples($sampleids, $ranges, $timesplitting) {
-        global $DB;
+    protected function order_sql(?string $fieldname = null, string $order = 'ASC', ?string $tablealias = null) {
 
-        if (count($ranges) > 1) {
-            throw new \coding_exception('$ranges argument should only contain one range');
+        if (!$tablealias) {
+            $tablealias = 'analysable';
         }
 
-        $rangeindex = key($ranges);
-
-        $params = array('modelid' => $this->modelid, 'analysableid' => $timesplitting->get_analysable()->get_id(),
-            'timesplitting' => $timesplitting->get_id(), 'rangeindex' => $rangeindex);
-        if ($predictionrange = $DB->get_record('analytics_predict_samples', $params)) {
-            // Append the new samples used for prediction.
-            $prevsamples = json_decode($predictionrange->sampleids, true);
-            $predictionrange->sampleids = json_encode($prevsamples + $sampleids);
-            $predictionrange->timemodified = time();
-            $DB->update_record('analytics_predict_samples', $predictionrange);
-        } else {
-            $predictionrange = (object)$params;
-            $predictionrange->sampleids = json_encode($sampleids);
-            $predictionrange->timecreated = time();
-            $predictionrange->timemodified = $predictionrange->timecreated;
-            $DB->insert_record('analytics_predict_samples', $predictionrange);
+        if ($order != 'ASC' && $order != 'DESC') {
+            throw new \coding_exception('The order can only be ASC or DESC');
         }
-    }
 
-    /**
-     * Adds target metadata to the dataset.
-     *
-     * @param array $data
-     * @return void
-     */
-    protected function add_model_metadata(&$data) {
-        global $CFG;
-
-        $metadata = array(
-            'moodleversion' => $CFG->version,
-            'targetcolumn' => $this->analysabletarget->get_id()
-        );
-        if ($this->analysabletarget->is_linear()) {
-            $metadata['targettype'] = 'linear';
-            $metadata['targetmin'] = $this->analysabletarget::get_min_value();
-            $metadata['targetmax'] = $this->analysabletarget::get_max_value();
-        } else {
-            $metadata['targettype'] = 'discrete';
-            $metadata['targetclasses'] = json_encode($this->analysabletarget::get_classes());
-        }
-
-        foreach ($metadata as $varname => $value) {
-            $data[0][] = $varname;
-            $data[1][] = $value;
+        $ordersql = ' ORDER BY (CASE WHEN aua.timeanalysed IS NULL THEN 0 ELSE aua.timeanalysed END) ASC';
+        if ($fieldname) {
+            $ordersql .= ', ' . $tablealias . '.' . $fieldname .' ' . $order;
         }
-    }
 
-    /**
-     * Returns the list of analysables sorted in processing priority order.
-     *
-     * It will first return analysables that have never been analysed before
-     * and it will continue with the ones we have already seen by timeanalysed DESC
-     * order.
-     *
-     * @param bool $includetarget
-     * @return array(0 => \core_analytics\analysable[], 1 => \stdClass[])
-     */
-    protected function get_sorted_analysables($includetarget) {
-
-        $analysables = $this->get_analysables();
-
-        // Get the list of analysables that have been already processed.
-        $processedanalysables = $this->get_processed_analysables($includetarget);
-
-        // We want to start processing analysables we have not yet processed and later continue
-        // with analysables that we already processed.
-        $unseen = array_diff_key($analysables, $processedanalysables);
-
-        // Var $processed first as we want to respect its timeanalysed DESC order so analysables that
-        // have recently been processed are on the bottom of the stack.
-        $seen = array_intersect_key($processedanalysables, $analysables);
-        array_walk($seen, function(&$value, $analysableid) use ($analysables) {
-            // We replace the analytics_used_analysables record by the analysable object.
-            $value = $analysables[$analysableid];
-        });
-
-        return array($unseen + $seen, $processedanalysables);
-    }
-
-    /**
-     * Get analysables that have been already processed.
-     *
-     * @param bool $includetarget
-     * @return \stdClass[]
-     */
-    protected function get_processed_analysables($includetarget) {
-        global $DB;
-
-        $params = array('modelid' => $this->modelid);
-        $params['action'] = ($includetarget) ? 'training' : 'prediction';
-        $select = 'modelid = :modelid and action = :action';
-
-        // Weird select fields ordering for performance (analysableid key matching, analysableid is also unique by modelid).
-        return $DB->get_records_select('analytics_used_analysables', $select,
-            $params, 'timeanalysed DESC', 'analysableid, modelid, action, timeanalysed, id AS primarykey');
-    }
-
-    /**
-     * Updates the analysable analysis time.
-     *
-     * @param array $processedanalysables
-     * @param int $analysableid
-     * @param bool $includetarget
-     * @return null
-     */
-    protected function update_analysable_analysed_time($processedanalysables, $analysableid, $includetarget) {
-        global $DB;
-
-        if (!empty($processedanalysables[$analysableid])) {
-            $obj = $processedanalysables[$analysableid];
-
-            $obj->id = $obj->primarykey;
-            unset($obj->primarykey);
-
-            $obj->timeanalysed = time();
-            $DB->update_record('analytics_used_analysables', $obj);
-
-        } else {
-
-            $obj = new \stdClass();
-            $obj->modelid = $this->modelid;
-            $obj->action = ($includetarget) ? 'training' : 'prediction';
-            $obj->analysableid = $analysableid;
-            $obj->timeanalysed = time();
-
-            $DB->insert_record('analytics_used_analysables', $obj);
-        }
+        return $ordersql;
     }
 }
index bbda69a..99e70c1 100644 (file)
@@ -38,34 +38,43 @@ abstract class by_course extends base {
     /**
      * Return the list of courses to analyse.
      *
-     * @return \core_analytics\course[]
+     * @param string|null $action 'prediction', 'training' or null if no specific action needed.
+     * @return \Iterator
      */
-    public function get_analysables() {
+    public function get_analysables_iterator(?string $action = null) {
+        global $DB;
 
-        // Default to all system courses.
+        list($sql, $params) = $this->get_iterator_sql('course', CONTEXT_COURSE, $action, 'c');
+
+        // This will be updated to filter by context as part of MDL-64739.
         if (!empty($this->options['filter'])) {
             $courses = array();
             foreach ($this->options['filter'] as $courseid) {
                 $courses[$courseid] = new \stdClass();
                 $courses[$courseid]->id = $courseid;
             }
-        } else {
-            // Iterate through all potentially valid courses.
-            $courses = get_courses('all', 'c.sortorder ASC', 'c.id');
-        }
-        unset($courses[SITEID]);
 
-        $analysables = array();
-        foreach ($courses as $course) {
-            // Skip the frontpage course.
-            $analysable = \core_analytics\course::instance($course->id);
-            $analysables[$analysable->get_id()] = $analysable;
+            list($coursesql, $courseparams) = $DB->get_in_or_equal($courses, SQL_PARAMS_NAMED);
+            $sql .= " AND c.id IN $coursesql";
+            $params = $params + $courseparams;
         }
 
-        if (empty($analysables)) {
-            $this->log[] = get_string('nocourses', 'analytics');
+        $ordersql = $this->order_sql('sortorder', 'ASC', 'c');
+
+        $recordset = $DB->get_recordset_sql($sql . $ordersql, $params);
+
+        if (!$recordset->valid()) {
+            $this->add_log(get_string('nocourses', 'analytics'));
+            return new \ArrayIterator([]);
         }
 
-        return $analysables;
+        return new \core\dml\recordset_walk($recordset, function($record) {
+
+            if ($record->id == SITEID) {
+                return false;
+            }
+            $context = \context_helper::preload_from_record($record);
+            return \core_analytics\course::instance($record, $context);
+        });
     }
-}
+}
\ No newline at end of file
index 075b930..da6ea71 100644 (file)
@@ -36,12 +36,13 @@ defined('MOODLE_INTERNAL') || die();
 abstract class sitewide extends base {
 
     /**
-     * Returns one single analysable element, the site.
+     * Return the list of analysables to analyse.
      *
-     * @return \core_analytics\analysable[]
+     * @param string|null $action 'prediction', 'training' or null if no specific action needed.
+     * @return \Iterator
      */
-    public function get_analysables() {
-        $analysable = new \core_analytics\site();
-        return array(SYSCONTEXTID => $analysable);
+    public function get_analysables_iterator(?string $action = null) {
+        // We can safely ignore $action as we have 1 single analysable element in this analyser.
+        return new \ArrayIterator([new \core_analytics\site()]);
     }
 }
diff --git a/analytics/classes/local/analysis/result.php b/analytics/classes/local/analysis/result.php
new file mode 100644 (file)
index 0000000..d829261
--- /dev/null
@@ -0,0 +1,102 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Keeps track of the analysis results.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics\local\analysis;
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Keeps track of the analysis results.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+abstract class result {
+
+    /**
+     * @var int
+     */
+    protected $modelid;
+
+    /**
+     * @var bool
+     */
+    protected $includetarget;
+
+    /**
+     * @var array Analysis options
+     */
+    protected $options;
+
+    /**
+     * Stores analysis data at instance level.
+     * @param int   $modelid
+     * @param bool  $includetarget
+     * @param array $options
+     */
+    public function __construct(int $modelid, bool $includetarget, array $options) {
+        $this->modelid = $modelid;
+        $this->includetarget = $includetarget;
+        $this->options = $options;
+    }
+
+    /**
+     * Retrieves cached results during evaluation.
+     *
+     * @param  \core_analytics\local\time_splitting\base $timesplitting
+     * @param  \core_analytics\analysable                $analysable
+     * @return mixed It can be in whatever format the result uses.
+     */
+    public function retrieve_cached_result(\core_analytics\local\time_splitting\base $timesplitting,
+        \core_analytics\analysable $analysable) {
+        return false;
+    }
+
+    /**
+     * Stores the analysis results.
+     *
+     * @param  array $results
+     * @return bool            True if anything was successfully analysed
+     */
+    abstract public function add_analysable_results(array $results): bool;
+
+    /**
+     * Formats the result.
+     *
+     * @param  array                                     $data
+     * @param  \core_analytics\local\target\base         $target
+     * @param  \core_analytics\local\time_splitting\base $timesplitting
+     * @param  \core_analytics\analysable                $analysable
+     * @return mixed It can be in whatever format the result uses
+     */
+    abstract public function format_result(array $data, \core_analytics\local\target\base $target,
+            \core_analytics\local\time_splitting\base $timesplitting, \core_analytics\analysable $analysable);
+
+    /**
+     * Returns the results of the analysis.
+     * @return array
+     */
+    abstract public function get(): array;
+}
\ No newline at end of file
diff --git a/analytics/classes/local/analysis/result_array.php b/analytics/classes/local/analysis/result_array.php
new file mode 100644 (file)
index 0000000..0a8e21e
--- /dev/null
@@ -0,0 +1,100 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Keeps track of the analysis results by storing the results in an array.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics\local\analysis;
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Keeps track of the analysis results by storing the results in an array.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class result_array extends result {
+
+    /**
+     * Stores the analysis results by time-splitting method.
+     * @var array
+     */
+    private $resultsbytimesplitting = [];
+
+    /**
+     * Stores the analysis results.
+     * @param  array $results
+     * @return bool            True if anything was successfully analysed
+     */
+    public function add_analysable_results(array $results): bool {
+
+        $any = false;
+
+        // Process all provided time splitting methods.
+        foreach ($results as $timesplittingid => $result) {
+            if (!empty($result->result)) {
+                if (empty($this->resultsbytimesplitting[$timesplittingid])) {
+                    $this->resultsbytimesplitting[$timesplittingid] = [];
+                }
+                $this->resultsbytimesplitting[$timesplittingid] += $result->result;
+                $any = true;
+            }
+        }
+        if (empty($any)) {
+            return false;
+        }
+        return true;
+    }
+
+    /**
+     * Formats the result.
+     *
+     * @param  array                                     $data
+     * @param  \core_analytics\local\target\base         $target
+     * @param  \core_analytics\local\time_splitting\base $timesplitting
+     * @param  \core_analytics\analysable                $analysable
+     * @return mixed The data as it comes
+     */
+    public function format_result(array $data, \core_analytics\local\target\base $target,
+            \core_analytics\local\time_splitting\base $timesplitting, \core_analytics\analysable $analysable) {
+        return $data;
+    }
+
+    /**
+     * Returns the results of the analysis.
+     * @return array
+     */
+    public function get(): array {
+
+        // We join the datasets by time splitting method.
+        $timesplittingresults = array();
+        foreach ($this->resultsbytimesplitting as $timesplittingid => $results) {
+            if (empty($timesplittingresults[$timesplittingid])) {
+                $timesplittingresults[$timesplittingid] = [];
+            }
+            $timesplittingresults[$timesplittingid] += $results;
+        }
+
+        return $timesplittingresults;
+    }
+}
\ No newline at end of file
diff --git a/analytics/classes/local/analysis/result_file.php b/analytics/classes/local/analysis/result_file.php
new file mode 100644 (file)
index 0000000..7a6b61e
--- /dev/null
@@ -0,0 +1,228 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Keeps track of the analysis results by storing the results in files.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics\local\analysis;
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Keeps track of the analysis results by storing the results in files.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class result_file extends result {
+
+    /**
+     * Stores the analysis results by time-splitting method.
+     * @var array
+     */
+    private $filesbytimesplitting = [];
+
+    /**
+     * Stores the analysis results.
+     * @param  array $results
+     * @return bool            True if anything was successfully analysed
+     */
+    public function add_analysable_results(array $results): bool {
+
+        $any = false;
+
+        // Process all provided time splitting methods.
+        foreach ($results as $timesplittingid => $result) {
+            if (!empty($result->result)) {
+                $this->filesbytimesplitting[$timesplittingid][] = $result->result;
+                $any = true;
+            }
+        }
+
+        if (empty($any)) {
+            return false;
+        }
+        return true;
+    }
+
+    /**
+     * Retrieves cached results during evaluation.
+     *
+     * @param  \core_analytics\local\time_splitting\base $timesplitting
+     * @param  \core_analytics\analysable                $analysable
+     * @return mixed A \stored_file in this case.
+     */
+    public function retrieve_cached_result(\core_analytics\local\time_splitting\base $timesplitting,
+        \core_analytics\analysable $analysable) {
+
+        // For evaluation purposes we don't need to be that strict about how updated the data is,
+        // if this analyser was analysed less that 1 week ago we skip generating a new one. This
+        // helps scale the evaluation process as sites with tons of courses may need a lot of time to
+        // complete an evaluation.
+        if (!empty($options['evaluation']) && !empty($options['reuseprevanalysed'])) {
+
+            $previousanalysis = \core_analytics\dataset_manager::get_evaluation_analysable_file($this->analyser->get_modelid(),
+                $analysable->get_id(), $timesplitting->get_id());
+            // 1 week is a partly random time interval, no need to worry about DST.
+            $boundary = time() - WEEKSECS;
+            if ($previousanalysis && $previousanalysis->get_timecreated() > $boundary) {
+                // Recover the previous analysed file and avoid generating a new one.
+                return $previousanalysis;
+            }
+        }
+
+        return false;
+    }
+
+    /**
+     * Formats the result.
+     *
+     * @param  array                                     $data
+     * @param  \core_analytics\local\target\base         $target
+     * @param  \core_analytics\local\time_splitting\base $timesplitting
+     * @param  \core_analytics\analysable                $analysable
+     * @return mixed A \stored_file in this case
+     */
+    public function format_result(array $data, \core_analytics\local\target\base $target,
+            \core_analytics\local\time_splitting\base $timesplitting, \core_analytics\analysable $analysable) {
+
+        if (!empty($this->includetarget)) {
+            $filearea = \core_analytics\dataset_manager::LABELLED_FILEAREA;
+        } else {
+            $filearea = \core_analytics\dataset_manager::UNLABELLED_FILEAREA;
+        }
+        $dataset = new \core_analytics\dataset_manager($this->modelid, $analysable->get_id(),
+            $timesplitting->get_id(), $filearea, $this->options['evaluation']);
+
+        // Add extra metadata.
+        $this->add_model_metadata($data, $timesplitting, $target);
+
+        // Write all calculated data to a file.
+        if (!$result = $dataset->store($data)) {
+            return false;
+        }
+
+        return $result;
+    }
+
+    /**
+     * Returns the results of the analysis.
+     * @return array
+     */
+    public function get(): array {
+
+        if ($this->options['evaluation'] === false) {
+            // Look for previous training and prediction files we generated and couldn't be used
+            // by machine learning backends because they weren't big enough.
+
+            $pendingfiles = \core_analytics\dataset_manager::get_pending_files($this->modelid, $this->includetarget,
+                array_keys($this->filesbytimesplitting));
+            foreach ($pendingfiles as $timesplittingid => $files) {
+                foreach ($files as $file) {
+                    $this->filesbytimesplitting[$timesplittingid][] = $file;
+                }
+            }
+        }
+
+        // We join the datasets by time splitting method.
+        $timesplittingfiles = array();
+        foreach ($this->filesbytimesplitting as $timesplittingid => $files) {
+
+            if ($this->options['evaluation'] === true) {
+                // Delete the previous copy. Only when evaluating.
+                \core_analytics\dataset_manager::delete_previous_evaluation_file($this->modelid, $timesplittingid);
+            }
+
+            // Merge all course files into one.
+            if ($this->includetarget) {
+                $filearea = \core_analytics\dataset_manager::LABELLED_FILEAREA;
+            } else {
+                $filearea = \core_analytics\dataset_manager::UNLABELLED_FILEAREA;
+            }
+            $timesplittingfiles[$timesplittingid] = \core_analytics\dataset_manager::merge_datasets($files,
+                $this->modelid, $timesplittingid, $filearea, $this->options['evaluation']);
+        }
+
+        if (!empty($pendingfiles)) {
+            // We must remove them now as they are already part of another dataset.
+            foreach ($pendingfiles as $timesplittingid => $files) {
+                foreach ($files as $file) {
+                    $file->delete();
+                }
+            }
+        }
+
+        return $timesplittingfiles;
+    }
+
+    /**
+     * Adds target metadata to the dataset.
+     *
+     * The final dataset document will look like this:
+     * ----------------------------------------------------
+     * metadata1,metadata2,metadata3,.....
+     * value1, value2, value3,.....
+     *
+     * header1,header2,header3,header4,.....
+     * stud1value1,stud1value2,stud1value3,stud1value4,.....
+     * stud2value1,stud2value2,stud2value3,stud2value4,.....
+     * .....
+     * ----------------------------------------------------
+     *
+     * @param array $data
+     * @param \core_analytics\local\time_splitting\base $timesplitting
+     * @param \core_analytics\local\target\base         $target
+     * @return null
+     */
+    private function add_model_metadata(array &$data, \core_analytics\local\time_splitting\base $timesplitting,
+            \core_analytics\local\target\base $target) {
+        global $CFG;
+
+        // If no target the first column is the sampleid, if target the last column is the target.
+        // This will need to be updated when we support unsupervised learning models.
+        $metadata = array(
+            'timesplitting' => $timesplitting->get_id(),
+            'nfeatures' => count(current($data)) - 1,
+            'moodleversion' => $CFG->version,
+            'targetcolumn' => $target->get_id()
+        );
+        if ($target->is_linear()) {
+            $metadata['targettype'] = 'linear';
+            $metadata['targetmin'] = $target::get_min_value();
+            $metadata['targetmax'] = $target::get_max_value();
+        } else {
+            $metadata['targettype'] = 'discrete';
+            $metadata['targetclasses'] = json_encode($target::get_classes());
+        }
+
+        // The first 2 samples will be used to store metadata about the dataset.
+        $metadatacolumns = [];
+        $metadatavalues = [];
+        foreach ($metadata as $key => $value) {
+            $metadatacolumns[] = $key;
+            $metadatavalues[] = $value;
+        }
+
+        // This will also reset samples' dataset keys.
+        array_unshift($data, $metadatacolumns, $metadatavalues);
+    }
+}
index 142518e..0ea5e8b 100644 (file)
@@ -104,14 +104,29 @@ abstract class base extends \core_analytics\calculable {
         return false;
     }
 
+    /**
+     * Update the last analysis time on analysable processed or always.
+     *
+     * If you overwrite this method to return false the last analysis time
+     * will only be recorded in DB when the element successfully analysed. You can
+     * safely return false for lightweight targets.
+     *
+     * @return bool
+     */
+    public function always_update_analysis_time(): bool {
+        return true;
+    }
+
     /**
      * Suggested actions for a user.
      *
      * @param \core_analytics\prediction $prediction
      * @param bool $includedetailsaction
+     * @param bool $isinsightuser
      * @return \core_analytics\prediction_action[]
      */
-    public function prediction_actions(\core_analytics\prediction $prediction, $includedetailsaction = false) {
+    public function prediction_actions(\core_analytics\prediction $prediction, $includedetailsaction = false,
+            $isinsightuser = false) {
         global $PAGE;
 
         $predictionid = $prediction->get_prediction_data()->id;
@@ -122,12 +137,12 @@ abstract class base extends \core_analytics\calculable {
 
         if ($includedetailsaction) {
 
-            $predictionurl = new \moodle_url('/report/insights/prediction.php',
-                array('id' => $predictionid));
+            $predictionurl = new \moodle_url('/report/insights/prediction.php', array('id' => $predictionid));
+            $detailstext = $this->get_view_details_text();
 
             $actions[] = new \core_analytics\prediction_action(\core_analytics\prediction::ACTION_PREDICTION_DETAILS, $prediction,
-                $predictionurl, new \pix_icon('t/preview', get_string('viewprediction', 'analytics')),
-                get_string('viewprediction', 'analytics'));
+                $predictionurl, new \pix_icon('t/preview', $detailstext),
+                $detailstext);
         }
 
         // Flag as fixed / solved.
@@ -151,6 +166,25 @@ abstract class base extends \core_analytics\calculable {
         return $actions;
     }
 
+    /**
+     * Returns the view details link text.
+     * @return string
+     */
+    private function get_view_details_text() {
+        if ($this->based_on_assumptions()) {
+            $analyserclass = $this->get_analyser_class();
+            if ($analyserclass::one_sample_per_analysable()) {
+                $detailstext = get_string('viewinsightdetails', 'analytics');
+            } else {
+                $detailstext = get_string('viewdetails', 'analytics');
+            }
+        } else {
+            $detailstext = get_string('viewprediction', 'analytics');
+        }
+
+        return $detailstext;
+    }
+
     /**
      * Callback to execute once a prediction has been returned from the predictions processor.
      *
@@ -173,61 +207,28 @@ abstract class base extends \core_analytics\calculable {
      *
      * @param int $modelid
      * @param \context[] $samplecontexts
+     * @param  \core_analytics\prediction[] $predictions
      * @return void
      */
-    public function generate_insight_notifications($modelid, $samplecontexts) {
-
-        foreach ($samplecontexts as $context) {
-
-            $insightinfo = new \stdClass();
-            $insightinfo->insightname = $this->get_name();
-            $insightinfo->contextname = $context->get_context_name();
-            $subject = get_string('insightmessagesubject', 'analytics', $insightinfo);
-
-            $users = $this->get_insights_users($context);
-
-            if (!$coursecontext = $context->get_course_context(false)) {
-                $coursecontext = \context_course::instance(SITEID);
-            }
-
-            foreach ($users as $user) {
-
-                $message = new \core\message\message();
-                $message->component = 'moodle';
-                $message->name = 'insights';
-
-                $message->userfrom = \core_user::get_noreply_user();
-                $message->userto = $user;
-
-                $insighturl = new \moodle_url('/report/insights/insights.php?modelid=' . $modelid . '&contextid=' . $context->id);
-                $message->subject = $subject;
-                // Same than the subject.
-                $message->contexturlname = $message->subject;
-                $message->courseid = $coursecontext->instanceid;
-
-                $message->fullmessage = get_string('insightinfomessage', 'analytics', $insighturl->out(false));
-                $message->fullmessageformat = FORMAT_PLAIN;
-                $message->fullmessagehtml = get_string('insightinfomessagehtml', 'analytics', $insighturl->out());
-                $message->smallmessage = get_string('insightinfomessage', 'analytics', $insighturl->out(false));
-                $message->contexturl = $insighturl->out(false);
-
-                message_send($message);
-            }
-        }
-
+    public function generate_insight_notifications($modelid, $samplecontexts, array $predictions = []) {
+        // Delegate the processing of insights to the insights_generator.
+        $insightsgenerator = new \core_analytics\insights_generator($modelid, $this);
+        $insightsgenerator->generate($samplecontexts, $predictions);
     }
 
     /**
      * Returns the list of users that will receive insights notifications.
      *
      * Feel free to overwrite if you need to but keep in mind that moodle/analytics:listinsights
-     * capability is required to access the list of insights.
+     * or moodle/analytics:listowninsights capability is required to access the list of insights.
      *
      * @param \context $context
      * @return array
      */
-    protected function get_insights_users(\context $context) {
-        if ($context->contextlevel >= CONTEXT_COURSE) {
+    public function get_insights_users(\context $context) {
+        if ($context->contextlevel === CONTEXT_USER) {
+            $users = [$context->instanceid => \core_user::get_user($context->instanceid)];
+        } else if ($context->contextlevel >= CONTEXT_COURSE) {
             // At course level or below only enrolled users although this is not ideal for
             // teachers assigned at category level.
             $users = get_enrolled_users($context, 'moodle/analytics:listinsights');
@@ -237,6 +238,30 @@ abstract class base extends \core_analytics\calculable {
         return $users;
     }
 
+    /**
+     * URL to the insight.
+     *
+     * @param  int $modelid
+     * @param  \context $context
+     * @return \moodle_url
+     */
+    public function get_insight_context_url($modelid, $context) {
+        return new \moodle_url('/report/insights/insights.php?modelid=' . $modelid . '&contextid=' . $context->id);
+    }
+
+    /**
+     * The insight notification subject.
+     *
+     * This is just a default message, you should overwrite it for a custom insight message.
+     *
+     * @param  int $modelid
+     * @param  \context $context
+     * @return string
+     */
+    public function get_insight_subject(int $modelid, \context $context) {
+        return get_string('insightmessagesubject', 'analytics', $context->get_context_name());
+    }
+
     /**
      * Returns an instance of the child class.
      *
index f8c3b04..97e9a3f 100644 (file)
@@ -60,7 +60,7 @@ abstract class binary extends discrete {
      *
      * @return array
      */
-    protected function ignored_predicted_classes() {
+    public function ignored_predicted_classes() {
         // Zero-value class is usually ignored in binary classifiers.
         return array(0);
     }
index 26044c7..8332ee3 100644 (file)
@@ -145,7 +145,7 @@ abstract class discrete extends base {
      *
      * @return array List of values that will be ignored (array keys are ignored).
      */
-    protected function ignored_predicted_classes() {
+    public function ignored_predicted_classes() {
         // Coding exception as this will only be called if this target have non-linear values.
         throw new \coding_exception('Overwrite ignored_predicted_classes() and return an array with the classes that should not ' .
             'trigger the callback');
index 1ee6dfb..3eef63c 100644 (file)
@@ -41,41 +41,28 @@ abstract class base {
     protected $id;
 
     /**
-     * @var \core_analytics\analysable
-     */
-    protected $analysable;
-
-
-    /**
-     * @var int[]
+     * The model id.
+     *
+     * @var int
      */
-    protected $sampleids;
+    protected $modelid;
 
     /**
-     * @var string
+     * @var \core_analytics\analysable
      */
-    protected $samplesorigin;
+    protected $analysable;
 
     /**
      * @var array
      */
     protected $ranges = [];
 
-    /**
-     * @var \core_analytics\local\indicator\base
-     */
-    protected static $indicators = [];
-
-    /**
-     * @var bool
-     */
-    protected $evaluation = false;
-
     /**
      * Define the time splitting methods ranges.
      *
      * 'time' value defines when predictions are executed, their values will be compared with
-     * the current time in ready_to_predict
+     * the current time in ready_to_predict. The ranges should be sorted by 'time' in
+     * ascending order.
      *
      * @return array('start' => time(), 'end' => time(), 'time' => time())
      */
@@ -101,24 +88,6 @@ abstract class base {
         return '\\' . get_class($this);
     }
 
-    /**
-     * Returns current evaluation value.
-     *
-     * @return bool
-     */
-    public function is_evaluating() {
-        return $this->evaluation;
-    }
-
-    /**
-     * Sets the evaluation flag.
-     *
-     * @param bool $evaluation
-     */
-    public function set_evaluating($evaluation) {
-        $this->evaluation = (bool)$evaluation;
-    }
-
     /**
      * Assigns the analysable and updates the time ranges according to the analysable start and end dates.
      *
@@ -164,261 +133,73 @@ abstract class base {
     }
 
     /**
-     * Calculates indicators and targets.
+     * Should we use this time range for training?
      *
-     * @param array $sampleids
-     * @param string $samplesorigin
-     * @param \core_analytics\local\indicator\base[] $indicators
-     * @param array $ranges
-     * @param \core_analytics\local\target\base $target
-     * @return array|bool
+     * @param array $range
+     * @return bool
      */
-    public function calculate(&$sampleids, $samplesorigin, $indicators, $ranges, $target = false) {
-
-        $calculatedtarget = false;
-        if ($target) {
-            // We first calculate the target because analysable data may still be invalid or none
-            // of the analysable samples may be valid ($sampleids is also passed by reference).
-            $calculatedtarget = $target->calculate($sampleids, $this->analysable);
-
-            // We remove samples we can not calculate their target.
-            $sampleids = array_filter($sampleids, function($sampleid) use ($calculatedtarget) {
-                if (is_null($calculatedtarget[$sampleid])) {
-                    return false;
-                }
-                return true;
-            });
-        }
-
-        // No need to continue calculating if the target couldn't be calculated for any sample.
-        if (empty($sampleids)) {
-            return false;
-        }
-
-        $dataset = $this->calculate_indicators($sampleids, $samplesorigin, $indicators, $ranges);
-
-        if (empty($dataset)) {
-            return false;
-        }
-
-        // Now that we have the indicators in place we can add the time range indicators (and target if provided) to each of them.
-        $this->fill_dataset($dataset, $calculatedtarget);
-
-        $this->add_metadata($dataset, $indicators, $target);
-
-        if (!PHPUNIT_TEST && CLI_SCRIPT) {
-            echo PHP_EOL;
+    public function ready_to_train($range) {
+        $now = time();
+        if ($range['time'] <= $now && $range['end'] <= $now) {
+            return true;
         }
-
-        return $dataset;
+        return false;
     }
 
     /**
-     * Calculates indicators.
+     * Returns the ranges used by this time splitting method.
      *
-     * @param array $sampleids
-     * @param string $samplesorigin
-     * @param \core_analytics\local\indicator\base[] $indicators
-     * @param array $ranges
      * @return array
      */
-    protected function calculate_indicators($sampleids, $samplesorigin, $indicators, $ranges) {
-        global $DB;
-
-        $dataset = array();
-
-        // Faster to run 1 db query per range.
-        $existingcalculations = array();
-        foreach ($ranges as $rangeindex => $range) {
-            // Load existing calculations.
-            $existingcalculations[$rangeindex] = \core_analytics\manager::get_indicator_calculations($this->analysable,
-                $range['start'], $range['end'], $samplesorigin);
-        }
-
-        // Here we store samples which calculations are not all null.
-        $notnulls = array();
-
-        // Fill the dataset samples with indicators data.
-        $newcalculations = array();
-        foreach ($indicators as $indicator) {
-
-            // Hook to allow indicators to store analysable-dependant data.
-            $indicator->fill_per_analysable_caches($this->analysable);
-
-            // Per-range calculations.
-            foreach ($ranges as $rangeindex => $range) {
-
-                // Indicator instances are per-range.
-                $rangeindicator = clone $indicator;
-
-                $prevcalculations = array();
-                if (!empty($existingcalculations[$rangeindex][$rangeindicator->get_id()])) {
-                    $prevcalculations = $existingcalculations[$rangeindex][$rangeindicator->get_id()];
-                }
-
-                // Calculate the indicator for each sample in this time range.
-                list($samplesfeatures, $newindicatorcalculations, $indicatornotnulls) = $rangeindicator->calculate($sampleids,
-                    $samplesorigin, $range['start'], $range['end'], $prevcalculations);
-
-                // Copy the features data to the dataset.
-                foreach ($samplesfeatures as $analysersampleid => $features) {
-
-                    $uniquesampleid = $this->append_rangeindex($analysersampleid, $rangeindex);
-
-                    if (!isset($notnulls[$uniquesampleid]) && !empty($indicatornotnulls[$analysersampleid])) {
-                        $notnulls[$uniquesampleid] = $uniquesampleid;
-                    }
-
-                    // Init the sample if it is still empty.
-                    if (!isset($dataset[$uniquesampleid])) {
-                        $dataset[$uniquesampleid] = array();
-                    }
-
-                    // Append the features indicator features at the end of the sample.
-                    $dataset[$uniquesampleid] = array_merge($dataset[$uniquesampleid], $features);
-                }
-
-                if (!$this->is_evaluating()) {
-                    $timecreated = time();
-                    foreach ($newindicatorcalculations as $sampleid => $calculatedvalue) {
-                        // Prepare the new calculations to be stored into DB.
-
-                        $indcalc = new \stdClass();
-                        $indcalc->contextid = $this->analysable->get_context()->id;
-                        $indcalc->starttime = $range['start'];
-                        $indcalc->endtime = $range['end'];
-                        $indcalc->sampleid = $sampleid;
-                        $indcalc->sampleorigin = $samplesorigin;
-                        $indcalc->indicator = $rangeindicator->get_id();
-                        $indcalc->value = $calculatedvalue;
-                        $indcalc->timecreated = $timecreated;
-                        $newcalculations[] = $indcalc;
-                    }
-                }
-            }
-
-            if (!$this->is_evaluating()) {
-                $batchsize = self::get_insert_batch_size();
-                if (count($newcalculations) > $batchsize) {
-                    // We don't want newcalculations array to grow too much as we already keep the
-                    // system memory busy storing $dataset contents.
-
-                    // Insert from the beginning.
-                    $remaining = array_splice($newcalculations, $batchsize);
-
-                    // Sorry mssql and oracle, this will be slow.
-                    $DB->insert_records('analytics_indicator_calc', $newcalculations);
-                    $newcalculations = $remaining;
-                }
-            }
-        }
-
-        if (!$this->is_evaluating() && $newcalculations) {
-            // Insert the remaining records.
-            $DB->insert_records('analytics_indicator_calc', $newcalculations);
-        }
-
-        // Delete rows where all calculations are null.
-        // We still store the indicator calculation and we still store the sample id as
-        // processed so we don't have to process this sample again, but we exclude it
-        // from the dataset because it is not useful.
-        $nulls = array_diff_key($dataset, $notnulls);
-        foreach ($nulls as $uniqueid => $ignoredvalues) {
-            unset($dataset[$uniqueid]);
-        }
-
-        return $dataset;
+    public function get_all_ranges() {
+        return $this->ranges;
     }
 
     /**
-     * Adds time range indicators and the target to each sample.
-     *
-     * This will identify the sample as belonging to a specific range.
+     * By default all ranges are for training.
      *
-     * @param array $dataset
-     * @param array $calculatedtarget
-     * @return void
+     * @return array
      */
-    protected function fill_dataset(&$dataset, $calculatedtarget = false) {
-
-        $nranges = count($this->get_all_ranges());
-
-        foreach ($dataset as $uniquesampleid => $unmodified) {
-
-            list($analysersampleid, $rangeindex) = $this->infer_sample_info($uniquesampleid);
-
-            // No need to add range features if this time splitting method only defines one time range.
-            if ($nranges > 1) {
-
-                // 1 column for each range.
-                $timeindicators = array_fill(0, $nranges, 0);
-
-                $timeindicators[$rangeindex] = 1;
-
-                $dataset[$uniquesampleid] = array_merge($timeindicators, $dataset[$uniquesampleid]);
-            }
-
-            if ($calculatedtarget) {
-                // Add this sampleid's calculated target and the end.
-                $dataset[$uniquesampleid][] = $calculatedtarget[$analysersampleid];
-
-            } else {
-                // Add this sampleid, it will be used to identify the prediction that comes back from
-                // the predictions processor.
-                array_unshift($dataset[$uniquesampleid], $uniquesampleid);
-            }
-        }
+    public function get_training_ranges() {
+        return $this->ranges;
     }
 
     /**
-     * Adds dataset context info.
-     *
-     * The final dataset document will look like this:
-     * ----------------------------------------------------
-     * metadata1,metadata2,metadata3,.....
-     * value1, value2, value3,.....
-     *
-     * indicator1,indicator2,indicator3,indicator4,.....
-     * stud1value1,stud1value2,stud1value3,stud1value4,.....
-     * stud2value1,stud2value2,stud2value3,stud2value4,.....
-     * .....
-     * ----------------------------------------------------
+     * Returns the distinct range indexes in this time splitting method.
      *
-     * @param array $dataset
-     * @param \core_analytics\local\indicator\base[] $indicators
-     * @param \core_analytics\local\target\base|false $target
-     * @return void
+     * @return int[]
      */
-    protected function add_metadata(&$dataset, $indicators, $target = false) {
-
-        $metadata = array(
-            'timesplitting' => $this->get_id(),
-            // If no target the first column is the sampleid, if target the last column is the target.
-            // This will need to be updated when we support unsupervised learning models.
-            'nfeatures' => count(current($dataset)) - 1
-        );
-
-        // The first 2 samples will be used to store metadata about the dataset.
-        $metadatacolumns = [];
-        $metadatavalues = [];
-        foreach ($metadata as $key => $value) {
-            $metadatacolumns[] = $key;
-            $metadatavalues[] = $value;
+    public function get_distinct_ranges() {
+        if ($this->include_range_info_in_training_data()) {
+            return array_keys($this->ranges);
+        } else {
+            return [0];
         }
-
-        $headers = $this->get_headers($indicators, $target);
-
-        // This will also reset samples' dataset keys.
-        array_unshift($dataset, $metadatacolumns, $metadatavalues, $headers);
     }
 
     /**
-     * Returns the ranges used by this time splitting method.
+     * Returns the most recent range that can be used to predict.
+     *
+     * This method is only called when calculating predictions.
      *
      * @return array
      */
-    public function get_all_ranges() {
-        return $this->ranges;
+    public function get_most_recent_prediction_range() {
+
+        $ranges = $this->get_all_ranges();
+
+        // Opposite order as we are interested in the last range that can be used for prediction.
+        krsort($ranges);
+
+        // We already provided the analysable to the time splitting method, there is no need to feed it back.
+        foreach ($ranges as $rangeindex => $range) {
+            if ($this->ready_to_predict($range)) {
+                // We need to maintain the same indexes.
+                return array($rangeindex => $range);
+            }
+        }
+
+        return array();
     }
 
     /**
@@ -441,7 +222,7 @@ abstract class base {
      * @param int $rangeindex
      * @return string
      */
-    public function append_rangeindex($sampleid, $rangeindex) {
+    public final function append_rangeindex($sampleid, $rangeindex) {
         return $sampleid . '-' . $rangeindex;
     }
 
@@ -451,46 +232,47 @@ abstract class base {
      * @param string $uniquesampleid
      * @return array array($sampleid, $rangeindex)
      */
-    public function infer_sample_info($uniquesampleid) {
+    public final function infer_sample_info($uniquesampleid) {
         return explode('-', $uniquesampleid);
     }
 
     /**
-     * Returns the headers for the csv file based on the indicators and the target.
+     * Whether to include the range index in the training data or not.
+     *
+     * By default, we consider that the different time ranges included in a time splitting method may not be
+     * compatible between them (i.e. the indicators calculated at the end of the course can easily
+     * differ from indicators calculated at the beginning of the course). So we include the range index as
+     * one of the variables that the machine learning backend uses to generate predictions.
      *
-     * @param \core_analytics\local\indicator\base[] $indicators
-     * @param \core_analytics\local\target\base|false $target
-     * @return string[]
+     * If the indicators calculated using the different time ranges available in this time splitting method
+     * are comparable you can overwrite this method to return false.
+     *
+     * Note that:
+     *  - This is only relevant for models whose predictions are not based on assumptions
+     *    (i.e. the ones using a machine learning backend to generate predictions).
+     *  - The ranges can only be included in the training data when
+     *    we know the final number of ranges the time splitting method will have. E.g.
+     *    We can not know the final number of ranges of a 'daily' time splitting method
+     *    as we will have one new range every day.
+     * @return bool
      */
-    protected function get_headers($indicators, $target = false) {
-        // 3rd column will contain the indicator ids.
-        $headers = array();
-
-        if (!$target) {
-            // The first column is the sampleid.
-            $headers[] = 'sampleid';
-        }
-
-        // We always have 1 column for each time splitting method range, it does not depend on how
-        // many ranges we calculated.
-        $ranges = $this->get_all_ranges();
-        if (count($ranges) > 1) {
-            foreach ($ranges as $rangeindex => $range) {
-                $headers[] = 'range/' . $rangeindex;
-            }
-        }
-
-        // Model indicators.
-        foreach ($indicators as $indicator) {
-            $headers = array_merge($headers, $indicator::get_feature_headers());
-        }
-
-        // The target as well.
-        if ($target) {
-            $headers[] = $target->get_id();
-        }
+    public function include_range_info_in_training_data() {
+        return true;
+    }
 
-        return $headers;
+    /**
+     * Whether to cache or not the indicator calculations.
+     *
+     * Indicator calculations are stored to be reused across models. The calculations
+     * are indexed by the calculation start and end time, and these times depend on the
+     * time-splitting method. You should overwrite this method and return false if the time
+     * frames generated by your time-splitting method are unique and / or can hardly be
+     * reused by further models.
+     *
+     * @return bool
+     */
+    public function cache_indicator_calculations(): bool {
+        return true;
     }
 
     /**
@@ -508,32 +290,4 @@ abstract class base {
             }
         }
     }
-
-    /**
-     * Returns the batch size used for insert_records.
-     *
-     * This method tries to find the best batch size without getting
-     * into dml internals. Maximum 1000 records to save memory.
-     *
-     * @return int
-     */
-    private static function get_insert_batch_size() {
-        global $DB;
-
-        // 500 is pgsql default so using 1000 is fine, no other db driver uses a hardcoded value.
-        if (empty($DB->dboptions['bulkinsertsize'])) {
-            return 1000;
-        }
-
-        $bulkinsert = $DB->dboptions['bulkinsertsize'];
-        if ($bulkinsert < 1000) {
-            return $bulkinsert;
-        }
-
-        while ($bulkinsert > 1000) {
-            $bulkinsert = round($bulkinsert / 2, 0);
-        }
-
-        return (int)$bulkinsert;
-    }
 }
diff --git a/analytics/classes/local/time_splitting/periodic.php b/analytics/classes/local/time_splitting/periodic.php
new file mode 100644 (file)
index 0000000..4a52370
--- /dev/null
@@ -0,0 +1,143 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Time splitting method that generates predictions regularly.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics\local\time_splitting;
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Time splitting method that generates predictions periodically.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+abstract class periodic extends base {
+
+    /**
+     * The periodicity of the predictions / training data generation.
+     *
+     * @return \DateInterval
+     */
+    abstract protected function periodicity();
+
+    /**
+     * Returns whether the analysable can be processed by this time splitting method or not.
+     *
+     * @param \core_analytics\analysable $analysable
+     * @return bool
+     */
+    public function is_valid_analysable(\core_analytics\analysable $analysable) {
+        if (!$analysable->get_start()) {
+            return false;
+        }
+        return true;
+    }
+
+    /**
+     * define_ranges
+     *
+     * @return array
+     */
+    protected function define_ranges() {
+
+        $periodicity = $this->periodicity();
+
+        $now = new \DateTimeImmutable('now', \core_date::get_server_timezone_object());
+
+        if ($this->analysable->get_end()) {
+            $end = (new \DateTimeImmutable())->setTimestamp($this->analysable->get_end());
+        }
+        $next = (new \DateTimeImmutable())->setTimestamp($this->analysable->get_start());
+
+        $ranges = [];
+        while ($next < $now &&
+                (empty($end) || $next < $end)) {
+            $range = $this->get_next_range($next);
+            if ($range) {
+                $ranges[] = $range;
+            }
+            $next = $next->add($periodicity);
+        }
+
+        $nextrange = $this->get_next_range($next);
+        if ($this->ready_to_predict($nextrange) && (empty($end) || $next < $end)) {
+            // Add the next one if we have not reached the analysable end yet.
+            // It will be used to get predictions.
+            $ranges[] = $nextrange;
+        }
+
+        return $ranges;
+    }
+
+    /**
+     * Overwritten as all generated rows are comparable.
+     *
+     * @return bool
+     */
+    public function include_range_info_in_training_data() {
+        return false;
+    }
+
+    /**
+     * Overwritting as the last range may be for prediction.
+     *
+     * @return array
+     */
+    public function get_training_ranges() {
+        // Cloning the array.
+        $trainingranges = $this->ranges;
+
+        foreach ($trainingranges as $rangeindex => $range) {
+            if (!$this->ready_to_train($range)) {
+                unset($trainingranges[$rangeindex]);
+            }
+        }
+
+        return $trainingranges;
+    }
+
+    /**
+     * The next range is based on the past period.
+     *
+     * @param  \DateTimeImmutable $next
+     * @return array
+     */
+    protected function get_next_range(\DateTimeImmutable $next) {
+
+        $end = $next->getTimestamp();
+        $start = $next->sub($this->periodicity())->getTimestamp();
+
+        if ($start < $this->analysable->get_start()) {
+            // We skip the first range generated as its start is prior to the analysable start.
+            return false;
+        }
+
+        return [
+            'start' => $start,
+            'end' => $end,
+            'time' => $end
+        ];
+    }
+}
diff --git a/analytics/classes/local/time_splitting/upcoming_periodic.php b/analytics/classes/local/time_splitting/upcoming_periodic.php
new file mode 100644 (file)
index 0000000..d8b2598
--- /dev/null
@@ -0,0 +1,62 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Time splitting method that generates predictions periodically.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics\local\time_splitting;
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Time splitting method that generates predictions periodically.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+abstract class upcoming_periodic extends periodic {
+
+    /**
+     * The next range indicator calculations should be based on upcoming dates.
+     *
+     * @param  \DateTimeImmutable $next
+     * @return array
+     */
+    protected function get_next_range(\DateTimeImmutable $next) {
+
+        $start = $next->getTimestamp();
+        $end = $next->add($this->periodicity())->getTimestamp();
+        return [
+            'start' => $start,
+            'end' => $end,
+            'time' => $start
+        ];
+    }
+
+    /**
+     * Whether to cache or not the indicator calculations.
+     * @return bool
+     */
+    public function cache_indicator_calculations(): bool {
+        return false;
+    }
+}
index da9d26e..3e5bbb8 100644 (file)
@@ -80,10 +80,23 @@ class manager {
      *
      * @throws \required_capability_exception
      * @param \context $context
+     * @param  bool $return The method returns a bool if true.
      * @return void
      */
-    public static function check_can_list_insights(\context $context) {
-        require_capability('moodle/analytics:listinsights', $context);
+    public static function check_can_list_insights(\context $context, bool $return = false) {
+        global $USER;
+
+        if ($context->contextlevel === CONTEXT_USER && $context->instanceid == $USER->id) {
+            $capability = 'moodle/analytics:listowninsights';
+        } else {
+            $capability = 'moodle/analytics:listinsights';
+        }
+
+        if ($return) {
+            return has_capability($capability, $context);
+        } else {
+            require_capability($capability, $context);
+        }
     }
 
     /**
@@ -552,15 +565,19 @@ class manager {
         $models = self::get_all_models();
         foreach ($models as $model) {
             $analyser = $model->get_analyser(array('notimesplitting' => true));
-            $analysables = $analyser->get_analysables();
-            if (!$analysables) {
+            $analysables = $analyser->get_analysables_iterator();
+
+            $analysableids = [];
+            foreach ($analysables as $analysable) {
+                if (!$analysable) {
+                    continue;
+                }
+                $analysableids[] = $analysable->get_id();
+            }
+            if (empty($analysableids)) {
                 continue;
             }
 
-            $analysableids = array_map(function($analysable) {
-                return $analysable->get_id();
-            }, $analysables);
-
             list($notinsql, $params) = $DB->get_in_or_equal($analysableids, SQL_PARAMS_NAMED, 'param', false);
             $params['modelid'] = $model->get_id();
 
index 5ca4f2c..5113a85 100644 (file)
@@ -306,12 +306,6 @@ class model {
             }
         }
 
-        if (!empty($options['evaluation'])) {
-            foreach ($timesplittings as $timesplitting) {
-                $timesplitting->set_evaluating(true);
-            }
-        }
-
         $classname = $target->get_analyser_class();
         if (!class_exists($classname)) {
             throw new \coding_exception($classname . ' class does not exists');
@@ -541,7 +535,7 @@ class model {
             $this->get_analyser()->add_log(get_string('noevaluationbasedassumptions', 'analytics'));
             $result = new \stdClass();
             $result->status = self::NO_DATASET;
-            return array($this->get_time_splitting()->get_id() => $result);
+            return array($result);
         }
 
         $options['evaluation'] = true;
@@ -736,50 +730,67 @@ class model {
         // Before get_unlabelled_data call so we get an early exception if it is not writable.
         $outputdir = $this->get_output_dir(array('execution'));
 
-        // Before get_unlabelled_data call so we get an early exception if it is not ready.
         if (!$this->is_static()) {
-            $predictor = $this->get_predictions_processor();
-        }
-
-        $samplesdata = $this->get_analyser()->get_unlabelled_data();
+            // Predictions using a machine learning backend.
 
-        // Get the prediction samples file.
-        if (empty($samplesdata) || empty($samplesdata[$this->model->timesplitting])) {
+            // Before get_unlabelled_data call so we get an early exception if it is not ready.
+            $predictor = $this->get_predictions_processor();
 
-            $result = new \stdClass();
-            $result->status = self::NO_DATASET;
-            $result->info = $this->get_analyser()->get_logs();
-            return $result;
-        }
-        $samplesfile = $samplesdata[$this->model->timesplitting];
+            $samplesdata = $this->get_analyser()->get_unlabelled_data();
 
-        // We need to throw an exception if we are trying to predict stuff that was already predicted.
-        $params = array('modelid' => $this->model->id, 'action' => 'predicted', 'fileid' => $samplesfile->get_id());
-        if ($predicted = $DB->get_record('analytics_used_files', $params)) {
-            throw new \moodle_exception('erroralreadypredict', 'analytics', '', $samplesfile->get_id());
-        }
+            // Get the prediction samples file.
+            if (empty($samplesdata) || empty($samplesdata[$this->model->timesplitting])) {
 
-        $indicatorcalculations = \core_analytics\dataset_manager::get_structured_data($samplesfile);
+                $result = new \stdClass();
+                $result->status = self::NO_DATASET;
+                $result->info = $this->get_analyser()->get_logs();
+                return $result;
+            }
+            $samplesfile = $samplesdata[$this->model->timesplitting];
 
-        // Prepare the results object.
-        $result = new \stdClass();
+            // We need to throw an exception if we are trying to predict stuff that was already predicted.
+            $params = array('modelid' => $this->model->id, 'action' => 'predicted', 'fileid' => $samplesfile->get_id());
+            if ($predicted = $DB->get_record('analytics_used_files', $params)) {
+                throw new \moodle_exception('erroralreadypredict', 'analytics', '', $samplesfile->get_id());
+            }
 
-        if ($this->is_static()) {
-            // Prediction based on assumptions.
-            $result->status = self::OK;
-            $result->info = [];
-            $result->predictions = $this->get_static_predictions($indicatorcalculations);
+            $indicatorcalculations = \core_analytics\dataset_manager::get_structured_data($samplesfile);
 
-        } else {
             // Estimation and classification processes run on the machine learning backend side.
             if ($this->get_target()->is_linear()) {
                 $predictorresult = $predictor->estimate($this->get_unique_id(), $samplesfile, $outputdir);
             } else {
                 $predictorresult = $predictor->classify($this->get_unique_id(), $samplesfile, $outputdir);
             }
+
+            // Prepare the results object.
+            $result = new \stdClass();
             $result->status = $predictorresult->status;
             $result->info = $predictorresult->info;
             $result->predictions = $this->format_predictor_predictions($predictorresult);
+
+        } else {
+            // Predictions based on assumptions.
+
+            $indicatorcalculations = $this->get_analyser()->get_static_data();
+            // Get the prediction samples file.
+            if (empty($indicatorcalculations) || empty($indicatorcalculations[$this->model->timesplitting])) {
+
+                $result = new \stdClass();
+                $result->status = self::NO_DATASET;
+                $result->info = $this->get_analyser()->get_logs();
+                return $result;
+            }
+
+            // Same as reset($indicatorcalculations) as models based on assumptions only analyse 1 single
+            // time-splitting method.
+            $indicatorcalculations = $indicatorcalculations[$this->model->timesplitting];
+
+            // Prepare the results object.
+            $result = new \stdClass();
+            $result->status = self::OK;
+            $result->info = [];
+            $result->predictions = $this->get_static_predictions($indicatorcalculations);
         }
 
         if ($result->status !== self::OK) {
@@ -787,14 +798,17 @@ class model {
         }
 
         if ($result->predictions) {
-            $samplecontexts = $this->execute_prediction_callbacks($result->predictions, $indicatorcalculations);
+            list($samplecontexts, $predictionrecords) = $this->execute_prediction_callbacks($result->predictions,
+                $indicatorcalculations);
         }
 
         if (!empty($samplecontexts) && $this->uses_insights()) {
-            $this->trigger_insights($samplecontexts);
+            $this->trigger_insights($samplecontexts, $predictionrecords);
         }
 
-        $this->flag_file_as_used($samplesfile, 'predicted');
+        if (!$this->is_static()) {
+            $this->flag_file_as_used($samplesfile, 'predicted');
+        }
 
         return $result;
     }
@@ -855,7 +869,7 @@ class model {
      * @param array $indicatorcalculations
      * @return array
      */
-    protected function execute_prediction_callbacks($predictions, $indicatorcalculations) {
+    protected function execute_prediction_callbacks(&$predictions, $indicatorcalculations) {
 
         // Here we will store all predictions' contexts, this will be used to limit which users will see those predictions.
         $samplecontexts = array();
@@ -865,7 +879,6 @@ class model {
 
             // The unique sample id contains both the sampleid and the rangeindex.
             list($sampleid, $rangeindex) = $this->get_time_splitting()->infer_sample_info($uniquesampleid);
-
             if ($this->get_target()->triggers_callback($prediction->prediction, $prediction->predictionscore)) {
 
                 // Prepare the record to store the predicted values.
@@ -887,19 +900,38 @@ class model {
             $this->save_predictions($records);
         }
 
-        return $samplecontexts;
+        return [$samplecontexts, $records];
     }
 
     /**
      * Generates insights and updates the cache.
      *
      * @param \context[] $samplecontexts
+     * @param  \stdClass[] $predictionrecords
      * @return void
      */
-    protected function trigger_insights($samplecontexts) {
+    protected function trigger_insights($samplecontexts, $predictionrecords) {
 
         // Notify the target that all predictions have been processed.
-        $this->get_target()->generate_insight_notifications($this->model->id, $samplecontexts);
+        if ($this->get_analyser()::one_sample_per_analysable()) {
+
+            // We need to do something unusual here. self::save_predictions uses the bulk-insert function (insert_records()) for
+            // performance reasons and that function does not return us the inserted ids. We need to retrieve them from
+            // the database, and we need to do it using one single database query (for performance reasons as well).
+            $predictionrecords = $this->add_prediction_ids($predictionrecords);
+
+            // Get \core_analytics\prediction objects also fetching the samplesdata. This costs us
+            // 1 db read, but we have to pay it if we want that our insights include links to the
+            // suggested actions.
+            $predictions = array_map(function($predictionobj) {
+                $prediction = new \core_analytics\prediction($predictionobj, $this->prediction_sample_data($predictionobj));
+                return $prediction;
+            }, $predictionrecords);
+        } else {
+            $predictions = [];
+        }
+
+        $this->get_target()->generate_insight_notifications($this->model->id, $samplecontexts, $predictions);
 
         // Update cache.
         $cache = \cache::make('core', 'contextwithinsights');
@@ -926,12 +958,23 @@ class model {
      */
     protected function get_static_predictions(&$indicatorcalculations) {
 
+        $headers = array_shift($indicatorcalculations);
+
+        // Get rid of the sampleid header.
+        array_shift($headers);
+
         // Group samples by analysable for \core_analytics\local\target::calculate.
         $analysables = array();
         // List all sampleids together.
         $sampleids = array();
 
         foreach ($indicatorcalculations as $uniquesampleid => $indicators) {
+
+            // Get rid of the sampleid column.
+            unset($indicators[0]);
+            $indicators = array_combine($headers, $indicators);
+            $indicatorcalculations[$uniquesampleid] = $indicators;
+
             list($sampleid, $rangeindex) = $this->get_time_splitting()->infer_sample_info($uniquesampleid);
 
             $analysable = $this->get_analyser()->get_sample_analysable($sampleid);
@@ -946,6 +989,7 @@ class model {
                     'sampleids' => array()
                 ];
             }
+
             // Using the sampleid as a key so we can easily merge indicators data later.
             $analysables[$analysableclass][$rangeindex]->indicatorsdata[$sampleid] = $indicators;
             // We could use indicatorsdata keys but the amount of redundant data is not that big and leaves code below cleaner.
@@ -969,16 +1013,20 @@ class model {
                 $this->get_target()->add_sample_data($data->indicatorsdata);
 
                 // Append new elements (we can not get duplicates because sample-analysable relation is N-1).
-                $range = $this->get_time_splitting()->get_range_by_index($rangeindex);
+                $timesplitting = $this->get_time_splitting();
+                $timesplitting->set_analysable($data->analysable);
+                $range = $timesplitting->get_range_by_index($rangeindex);
+
                 $this->get_target()->filter_out_invalid_samples($data->sampleids, $data->analysable, false);
                 $calculations = $this->get_target()->calculate($data->sampleids, $data->analysable, $range['start'], $range['end']);
 
                 // Missing $indicatorcalculations values in $calculations are caused by is_valid_sample. We need to remove
                 // these $uniquesampleid from $indicatorcalculations because otherwise they will be stored as calculated
                 // by self::save_prediction.
-                $indicatorcalculations = array_filter($indicatorcalculations, function($indicators, $uniquesampleid) use ($calculations) {
-                    list($sampleid, $rangeindex) = $this->get_time_splitting()->infer_sample_info($uniquesampleid);
-                    if (!isset($calculations[$sampleid])) {
+                $indicatorcalculations = array_filter($indicatorcalculations, function($indicators, $uniquesampleid)
+                        use ($calculations, $rangeindex) {
+                    list($sampleid, $indicatorsrangeindex) = $this->get_time_splitting()->infer_sample_info($uniquesampleid);
+                    if ($rangeindex == $indicatorsrangeindex && !isset($calculations[$sampleid])) {
                         return false;
                     }
                     return true;
@@ -1642,6 +1690,44 @@ class model {
         $DB->update_record('analytics_models', $this->model);
     }
 
+    /**
+     * Adds the id from {analytics_predictions} db table to the prediction \stdClass objects.
+     *
+     * @param  \stdClass[] $predictionrecords
+     * @return \stdClass[] The prediction records including their ids in {analytics_predictions} db table.
+     */
+    private function add_prediction_ids($predictionrecords) {
+        global $DB;
+
+        $firstprediction = reset($predictionrecords);
+
+        $contextids = array_map(function($predictionobj) {
+            return $predictionobj->contextid;
+        }, $predictionrecords);
+        list($contextsql, $contextparams) = $DB->get_in_or_equal($contextids, SQL_PARAMS_NAMED);
+
+        // We select the fields that will allow us to map ids to $predictionrecords. Given that we already filter by modelid
+        // we have enough with sampleid and rangeindex. The reason is that the sampleid relation to a site is N - 1.
+        $fields = 'id, sampleid, rangeindex';
+
+        // We include the contextid and the timecreated filter to reduce the number of records in $dbpredictions. We can not
+        // add as many OR conditions as records in $predictionrecords.
+        $sql = "SELECT $fields
+                  FROM {analytics_predictions}
+                 WHERE modelid = :modelid
+                       AND contextid $contextsql
+                       AND timecreated >= :firsttimecreated";
+        $params = $contextparams + ['modelid' => $this->model->id, 'firsttimecreated' => $firstprediction->timecreated];
+        $dbpredictions = $DB->get_recordset_sql($sql, $params);
+        foreach ($dbpredictions as $id => $dbprediction) {
+            // The append_rangeindex implementation is the same regardless of the time splitting method in use.
+            $uniqueid = $this->get_time_splitting()->append_rangeindex($dbprediction->sampleid, $dbprediction->rangeindex);
+            $predictionrecords[$uniqueid]->id = $dbprediction->id;
+        }
+
+        return $predictionrecords;
+    }
+
     /**
      * Purges the insights cache.
      */
index 2fb4281..6f3ee33 100644 (file)
@@ -40,6 +40,11 @@ class prediction_action {
      */
     protected $actionname = null;
 
+    /**
+     * @var \moodle_url
+     */
+    protected $url = null;
+
     /**
      * @var \action_menu_link
      */
@@ -50,7 +55,7 @@ class prediction_action {
      *
      * @param string $actionname They should match a-zA-Z_0-9-, as we apply a PARAM_ALPHANUMEXT filter
      * @param \core_analytics\prediction $prediction
-     * @param \moodle_url $actionurl
+     * @param \moodle_url $actionurl The final URL where the user should be forwarded.
      * @param \pix_icon $icon Link icon
      * @param string $text Link text
      * @param bool $primary Primary button or secondary.
@@ -61,16 +66,17 @@ class prediction_action {
                                 $text, $primary = false, $attributes = array()) {
 
         $this->actionname = $actionname;
+        $this->text = $text;
 
         // We want to track how effective are our suggested actions, we pass users through a script that will log these actions.
         $params = array('action' => $this->actionname, 'predictionid' => $prediction->get_prediction_data()->id,
             'forwardurl' => $actionurl->out(false));
-        $url = new \moodle_url('/report/insights/action.php', $params);
+        $this->url = new \moodle_url('/report/insights/action.php', $params);
 
         if ($primary === false) {
-            $this->actionlink = new \action_menu_link_secondary($url, $icon, $text, $attributes);
+            $this->actionlink = new \action_menu_link_secondary($this->url, $icon, $this->text, $attributes);
         } else {
-            $this->actionlink = new \action_menu_link_primary($url, $icon, $text, $attributes);
+            $this->actionlink = new \action_menu_link_primary($this->url, $icon, $this->text, $attributes);
         }
     }
 
@@ -83,6 +89,15 @@ class prediction_action {
         return $this->actionname;
     }
 
+    /**
+     * Returns the url to the action.
+     *
+     * @return \moodle_url
+     */
+    public function get_url() {
+        return $this->url;
+    }
+
     /**
      * Returns the link to the action.
      *
@@ -91,4 +106,12 @@ class prediction_action {
     public function get_action_link() {
         return $this->actionlink;
     }
+
+    /**
+     * Returns the action text.
+     * @return string
+     */
+    public function get_text() {
+        return $this->text;
+    }
 }
diff --git a/analytics/classes/user.php b/analytics/classes/user.php
new file mode 100644 (file)
index 0000000..6dd83c7
--- /dev/null
@@ -0,0 +1,207 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Moodle user analysable
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+namespace core_analytics;
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Moodle user analysable
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class user implements \core_analytics\analysable {
+
+    /**
+     * @var bool Has this user data been already loaded.
+     */
+    protected $loaded = false;
+
+    /**
+     * @var int $cachedid self::$cachedinstance analysable id.
+     */
+    protected static $cachedid = 0;
+
+    /**
+     * @var \core_analytics\user $cachedinstance
+     */
+    protected static $cachedinstance = null;
+
+    /**
+     * User object
+     *
+     * @var \stdClass
+     */
+    protected $user = null;
+
+    /**
+     * The user context.
+     *
+     * @var \context_user
+     */
+    protected $usercontext = null;
+
+    /**
+     * Constructor.
+     *
+     * Use self::instance() instead to get cached copies of the class. Instances obtained
+     * through this constructor will not be cached.
+     *
+     * @param int|\stdClass $user User id
+     * @param \context|null $context
+     * @return void
+     */
+    public function __construct($user, ?\context $context = null) {
+
+        if (is_scalar($user)) {
+            $this->user = new \stdClass();
+            $this->user->id = $user;
+        } else {
+            $this->user = $user;
+        }
+
+        if (!is_null($context)) {
+            $this->usercontext = $context;
+        }
+    }
+
+    /**
+     * Returns an analytics user instance.
+     *
+     * Lazy load of analysable data.
+     *
+     * @param int|\stdClass $user User object or user id
+     * @param \context|null $context
+     * @return \core_analytics\user
+     */
+    public static function instance($user, ?\context $context = null) {
+
+        $userid = $user;
+        if (!is_scalar($userid)) {
+            $userid = $user->id;
+        }
+
+        if (self::$cachedid === $userid) {
+            return self::$cachedinstance;
+        }
+
+        $cachedinstance = new \core_analytics\user($user, $context);
+        self::$cachedinstance = $cachedinstance;
+        self::$cachedid = (int)$userid;
+        return self::$cachedinstance;
+    }
+
+    /**
+     * get_id
+     *
+     * @return int
+     */
+    public function get_id() {
+        return $this->user->id;
+    }
+
+    /**
+     * Loads the analytics user object.
+     *
+     * @return void
+     */
+    protected function load() {
+
+        // The instance constructor could be already loaded with the full user object. Using email
+        // because it is a required user field.
+        if (empty($this->user->email)) {
+            $this->user = \core_user::get_user($this->user->id);
+        }
+
+        $this->usercontext = $this->get_context();
+
+        $this->now = time();
+
+        // Flag the instance as loaded.
+        $this->loaded = true;
+    }
+
+    /**
+     * The user full name.
+     *
+     * @return string
+     */
+    public function get_name() {
+
+        if (!$this->loaded) {
+            $this->load();
+        }
+        return fullname($this->user);
+    }
+
+    /**
+     * get_context
+     *
+     * @return \context
+     */
+    public function get_context() {
+        if ($this->usercontext === null) {
+            $this->usercontext = \context_user::instance($this->user->id);
+        }
+        return $this->usercontext;
+    }
+
+    /**
+     * Get the start timestamp.
+     *
+     * @return int
+     */
+    public function get_start() {
+
+        if (!$this->loaded) {
+            $this->load();
+        }
+        return $this->user->timecreated;
+    }
+
+    /**
+     * Get the end timestamp.
+     *
+     * @return int
+     */
+    public function get_end() {
+        return self::MAX_TIME;
+    }
+
+    /**
+     * Returns a user plain object.
+     *
+     * @return \stdClass
+     */
+    public function get_user_data() {
+
+        if (!$this->loaded) {
+            $this->load();
+        }
+
+        return $this->user;
+    }
+}
diff --git a/analytics/templates/insight_info_message.mustache b/analytics/templates/insight_info_message.mustache
new file mode 100644 (file)
index 0000000..54426a4
--- /dev/null
@@ -0,0 +1,60 @@
+{{!
+    This file is part of Moodle - http://moodle.org/
+
+    Moodle is free software: you can redistribute it and/or modify
+    it under the terms of the GNU General Public License as published by
+    the Free Software Foundation, either version 3 of the License, or
+    (at your option) any later version.
+
+    Moodle is distributed in the hope that it will be useful,
+    but WITHOUT ANY WARRANTY; without even the implied warranty of
+    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+    GNU General Public License for more details.
+
+    You should have received a copy of the GNU General Public License
+    along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+}}
+{{!
+    @template core_analytics/insight_info_message
+
+    HTML message for insights
+
+    Classes required for JS:
+    * none
+
+    Data attributes required for JS:
+    * none
+
+    Example context (json):
+    {
+        "url": "https://moodle.org"
+    }
+}}
+<style>
+
+{{! Default btn-default styles. These styles are not applied to Moodle's web UI as there is a body:not(.dir-ltr):not(.dir-rtl)}}
+
+body:not(.dir-ltr):not(.dir-rtl) .btn-insight {
+    margin-bottom: 1rem!important;
+    margin-right: 1rem!important;
+    color: #212529;
+    background-color: #e9ecef;
+    border-color: #e9ecef
+    display: inline-block;
+    font-weight: 400;
+    text-align: center;
+    white-space: nowrap;
+    vertical-align: middle;
+    user-select: none;
+    border: 1px solid transparent;
+    padding: .375rem .75rem;
+    font-size: .9375rem;
+    line-height: 1.5;
+    border-radius: .25rem;
+    text-decoration: none;
+}
+</style>
+
+{{#str}} insightinfomessagehtml, analytics {{/str}}
+<br/><br/>
+<a class="btn btn-default btn-insight" href="{{url}}">{{#str}} viewinsight, analytics {{/str}}</a>
\ No newline at end of file
diff --git a/analytics/templates/insight_info_message_prediction.mustache b/analytics/templates/insight_info_message_prediction.mustache
new file mode 100644 (file)
index 0000000..9896031
--- /dev/null
@@ -0,0 +1,69 @@
+{{!
+    This file is part of Moodle - http://moodle.org/
+
+    Moodle is free software: you can redistribute it and/or modify
+    it under the terms of the GNU General Public License as published by
+    the Free Software Foundation, either version 3 of the License, or
+    (at your option) any later version.
+
+    Moodle is distributed in the hope that it will be useful,
+    but WITHOUT ANY WARRANTY; without even the implied warranty of
+    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+    GNU General Public License for more details.
+
+    You should have received a copy of the GNU General Public License
+    along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+}}
+{{!
+    @template core_analytics/insight_info_message_prediction
+
+    HTML message for insights with one single prediction
+
+    Classes required for JS:
+    * none
+
+    Data attributes required for JS:
+    * none
+
+    Example context (json):
+    {
+        "actions": [
+            {
+                "url": "https://moodle.org",
+                "text": "Moodle"
+            }, {
+                "url": "https://en.wikipedia.org/wiki/Noodle",
+                "text": "Noodle"
+            }
+        ]
+    }
+}}
+
+{{! Default btn-default styles. These styles are not applied to Moodle's web UI as there is a body:not(.dir-ltr):not(.dir-rtl)}}
+
+<style>
+body:not(.dir-ltr):not(.dir-rtl) .btn-insight {
+    margin-bottom: 1rem!important;
+    margin-right: 1rem!important;
+    color: #212529;
+    background-color: #e9ecef;
+    border-color: #e9ecef
+    display: inline-block;
+    font-weight: 400;
+    text-align: center;
+    white-space: nowrap;
+    vertical-align: middle;
+    user-select: none;
+    border: 1px solid transparent;
+    padding: .375rem .75rem;
+    font-size: .9375rem;
+    line-height: 1.5;
+    border-radius: .25rem;
+    text-decoration: none;
+}
+</style>
+
+<br/>
+{{#actions}}
+    <a class="btn btn-default m-r-1 m-b-1 btn-insight" href="{{url}}">{{text}}</a>
+{{/actions}}
index 760e667..f5c916c 100644 (file)
@@ -56,10 +56,8 @@ class dataset_manager_testcase extends advanced_testcase {
     public function test_create_dataset() {
 
         $dataset1 = new \core_analytics\dataset_manager(1, 1, 'whatever', \core_analytics\dataset_manager::LABELLED_FILEAREA, false);
-        $dataset1->init_process();
         $dataset1data = array_merge($this->sharedtoprows, array(array('yeah', 'yeah', 'yeah')));
         $f1 = $dataset1->store($dataset1data);
-        $dataset1->close_process();
 
         $f1contents = $f1->get_content();
         $this->assertContains('yeah', $f1contents);
@@ -76,16 +74,12 @@ class dataset_manager_testcase extends advanced_testcase {
     public function test_merge_datasets() {
 
         $dataset1 = new \core_analytics\dataset_manager(1, 1, 'whatever', \core_analytics\dataset_manager::LABELLED_FILEAREA, false);
-        $dataset1->init_process();
         $dataset1data = array_merge($this->sharedtoprows, array(array('yeah', 'yeah', 'yeah')));
         $f1 = $dataset1->store($dataset1data);
-        $dataset1->close_process();
 
         $dataset2 = new \core_analytics\dataset_manager(1, 2, 'whatever', \core_analytics\dataset_manager::LABELLED_FILEAREA, false);
-        $dataset2->init_process();
         $dataset2data = array_merge($this->sharedtoprows, array(array('no', 'no', 'no')));
         $f2 = $dataset2->store($dataset2data);
-        $dataset2->close_process();
 
         $files = array($f1, $f2);
         $merged = \core_analytics\dataset_manager::merge_datasets($files, 1, 'whatever',
@@ -123,10 +117,8 @@ class dataset_manager_testcase extends advanced_testcase {
         // merged into training and prediction files).
         $analysabledataset = new \core_analytics\dataset_manager($fakemodelid, 1, 'whatever',
             \core_analytics\dataset_manager::LABELLED_FILEAREA, false);
-        $analysabledataset->init_process();
         $analysabledatasetdata = array_merge($this->sharedtoprows, array(array('yeah', 'yeah', 'yeah')));
         $file = $analysabledataset->store($analysabledatasetdata);
-        $analysabledataset->close_process();
 
         // Evaluation files ignored.
         $evaluationdataset = \core_analytics\dataset_manager::merge_datasets(array($file), $fakemodelid,
similarity index 79%
rename from analytics/tests/fixtures/test_analyser.php
rename to analytics/tests/fixtures/test_analysis.php
index 736388c..6af04d1 100644 (file)
@@ -31,18 +31,17 @@ defined('MOODLE_INTERNAL') || die();
  * @copyright 2017 David Monllaó {@link http://www.davidmonllao.com}
  * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
  */
-class test_analyser extends \core\analytics\analyser\courses {
+class test_analysis extends \core_analytics\analysis {
 
     /**
      * Overwritten to add a delay.
      *
      * @param \core_analytics\analysable $analysable
-     * @param mixed $includetarget
-     * @return null
+     * @return array
      */
-    public function process_analysable($analysable, $includetarget) {
-        // A bit more than 1 second.
-        usleep(1100000);
-        return parent::process_analysable($analysable, $includetarget);
+    public function process_analysable(\core_analytics\analysable $analysable): array {
+        // Half a second.
+        usleep(500000);
+        return parent::process_analysable($analysable);
     }
 }
diff --git a/analytics/tests/fixtures/test_indicator_null.php b/analytics/tests/fixtures/test_indicator_null.php
new file mode 100644 (file)
index 0000000..8b92847
--- /dev/null
@@ -0,0 +1,62 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Test indicator. Always null.
+ *
+ * @package   core_analytics
+ * @copyright 2017 David Monllaó {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Test indicator. Always null.
+ *
+ * @package   core_analytics
+ * @copyright 2017 David Monllaó {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class test_indicator_null extends \core_analytics\local\indicator\binary {
+
+    /**
+     * Returns a lang_string object representing the name for the indicator.
+     *
+     * Used as column identificator.
+     *
+     * If there is a corresponding '_help' string this will be shown as well.
+     *
+     * @return \lang_string
+     */
+    public static function get_name() : \lang_string {
+        // Using a string that exists and contains a corresponding '_help' string.
+        return new \lang_string('allowstealthmodules');
+    }
+
+    /**
+     * calculate_sample
+     *
+     * @param int $sampleid
+     * @param string $samplesorigin
+     * @param int $starttime
+     * @param int $endtime
+     * @return float
+     */
+    protected function calculate_sample($sampleid, $samplesorigin, $starttime, $endtime) {
+        return null;
+    }
+}
index 39bc1f2..ac0e1c0 100644 (file)
@@ -77,7 +77,7 @@ class test_site_users_analyser extends \core_analytics\local\analyser\sitewide {
      * @param \core_analytics\analysable $site
      * @return array
      */
-    protected function get_all_samples(\core_analytics\analysable $site) {
+    public function get_all_samples(\core_analytics\analysable $site) {
         global $DB;
 
         $users = $DB->get_records('user');
@@ -121,7 +121,7 @@ class test_site_users_analyser extends \core_analytics\local\analyser\sitewide {
      * @return array array(string, \renderable)
      */
     public function sample_description($sampleid, $contextid, $sampledata) {
-        $description = fullname($samplesdata['user']);
+        $description = fullname($sampledata['user']);
         $userimage = new \pix_icon('i/user', get_string('user'));
         return array($description, $userimage);
     }
index bd3be06..6e9a715 100644 (file)
@@ -87,7 +87,7 @@ class test_target_shortname extends \core_analytics\local\target\binary {
      * We don't want to discard results.
      * @return array
      */
-    protected function ignored_predicted_classes() {
+    public function ignored_predicted_classes() {
         return array();
     }
 
index 6f8b30b..e78cbf5 100644 (file)
@@ -89,7 +89,7 @@ class test_target_site_users extends \core_analytics\local\target\binary {
      * We don't want to discard results.
      * @return array
      */
-    protected function ignored_predicted_classes() {
+    public function ignored_predicted_classes() {
         return array();
     }
 
diff --git a/analytics/tests/fixtures/test_timesplitting_seconds.php b/analytics/tests/fixtures/test_timesplitting_seconds.php
new file mode 100644 (file)
index 0000000..e4b4f70
--- /dev/null
@@ -0,0 +1,52 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Test time splitting.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllaó {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Test time splitting.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllaó {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class test_timesplitting_seconds extends \core_analytics\local\time_splitting\periodic {
+
+    /**
+     * Every second.
+     * @return \DateInterval
+     */
+    public function periodicity() {
+        return new \DateInterval('PT1S');
+    }
+
+    /**
+     * Just to comply with the interface.
+     *
+     * @return \lang_string
+     */
+    public static function get_name() : \lang_string {
+        return new \lang_string('error');
+    }
+}
diff --git a/analytics/tests/fixtures/test_timesplitting_weekly.php b/analytics/tests/fixtures/test_timesplitting_weekly.php
new file mode 100644 (file)
index 0000000..72403de
--- /dev/null
@@ -0,0 +1,51 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Time splitting method that generates weekly predictions.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+defined('MOODLE_INTERNAL') || die();
+
+/**
+ * Time splitting method that generates weekly predictions.
+ *
+ * @package   core_analytics
+ * @copyright 2019 David Monllao {@link http://www.davidmonllao.com}
+ * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class test_timesplitting_weekly extends \core_analytics\local\time_splitting\periodic {
+
+    /**
+     * The time splitting method name.
+     * @return \lang_string
+     */
+    public static function get_name() : \lang_string {
+        return new \lang_string('error');
+    }
+
+    /**
+     * Once per week.
+     * @return \DateInterval
+     */
+    public function periodicity() {
+        return new \DateInterval('P1W');
+    }
+}
index e685bed..f12af44 100644 (file)
@@ -348,9 +348,11 @@ class analytics_manager_testcase extends advanced_testcase {
 
         $noteaching = \core_analytics\manager::get_target('\core\analytics\target\no_teaching');
         $dropout = \core_analytics\manager::get_target('\core\analytics\target\course_dropout');
+        $upcomingactivities = \core_analytics\manager::get_target('\core_user\analytics\target\upcoming_activities_due');
 
         $this->assertTrue(\core_analytics\model::exists($noteaching));
         $this->assertTrue(\core_analytics\model::exists($dropout));
+        $this->assertTrue(\core_analytics\model::exists($upcomingactivities));
 
         foreach (\core_analytics\manager::get_all_models() as $model) {
             $model->delete();
@@ -358,14 +360,17 @@ class analytics_manager_testcase extends advanced_testcase {
 
         $this->assertFalse(\core_analytics\model::exists($noteaching));
         $this->assertFalse(\core_analytics\model::exists($dropout));
+        $this->assertFalse(\core_analytics\model::exists($upcomingactivities));
 
         $updated = \core_analytics\manager::update_default_models_for_component('moodle');
 
-        $this->assertEquals(2, count($updated));
+        $this->assertEquals(3, count($updated));
+        $this->assertTrue(array_pop($updated) instanceof \core_analytics\model);
         $this->assertTrue(array_pop($updated) instanceof \core_analytics\model);
         $this->assertTrue(array_pop($updated) instanceof \core_analytics\model);
         $this->assertTrue(\core_analytics\model::exists($noteaching));
         $this->assertTrue(\core_analytics\model::exists($dropout));
+        $this->assertTrue(\core_analytics\model::exists($upcomingactivities));
 
         $repeated = \core_analytics\manager::update_default_models_for_component('moodle');
 
index 0e3385a..97a7e3b 100644 (file)
@@ -30,7 +30,7 @@ require_once(__DIR__ . '/fixtures/test_indicator_fullname.php');
 require_once(__DIR__ . '/fixtures/test_target_shortname.php');
 require_once(__DIR__ . '/fixtures/test_static_target_shortname.php');
 require_once(__DIR__ . '/fixtures/test_target_course_level_shortname.php');
-require_once(__DIR__ . '/fixtures/test_analyser.php');
+require_once(__DIR__ . '/fixtures/test_analysis.php');
 
 /**
  * Unit tests for the model.
@@ -292,7 +292,7 @@ class analytics_model_testcase extends advanced_testcase {
 
         $this->resetAfterTest(true);
 
-        set_config('modeltimelimit', 2, 'analytics');
+        set_config('modeltimelimit', 1, 'analytics');
 
         $courses = array();
         for ($i = 0; $i < 5; $i++) {
@@ -302,19 +302,22 @@ class analytics_model_testcase extends advanced_testcase {
         }
 
         $target = new test_target_course_level_shortname();
-        $analyser = new test_analyser(1, $target, [], [], []);
+        $analyser = new \core\analytics\analyser\courses(1, $target, [], [], []);
 
-        // Each analysable element takes 1.1 secs, so the max (and likely) number of analysable
+        $result = new \core_analytics\local\analysis\result_array(1, false, []);
+        $analysis = new test_analysis($analyser, false, $result);
+
+        // Each analysable element takes 0.5 secs minimum (test_analysis), so the max (and likely) number of analysable
         // elements that will be processed is 2.
-        $analyser->get_analysable_data(false);
+        $analysis->run();
         $params = array('modelid' => 1, 'action' => 'prediction');
         $this->assertLessThanOrEqual(2, $DB->count_records('analytics_used_analysables', $params));
 
-        $analyser->get_analysable_data(false);
+        $analysis->run();
         $this->assertLessThanOrEqual(4, $DB->count_records('analytics_used_analysables', $params));
 
         // Check that analysable elements have been processed following the analyser order
-        // (course->sortorder here). We can not check this nicely after next get_analysable_data round
+        // (course->sortorder here). We can not check this nicely after next get_unlabelled_data round
         // because the first analysed element will be analysed again.
         $analysedelems = $DB->get_records('analytics_used_analysables', $params, 'timeanalysed ASC');
         // Just a default for the first checked element.
@@ -326,16 +329,21 @@ class analytics_model_testcase extends advanced_testcase {
             $last = $courses[$analysed->analysableid];
         }
 
-        $analyser->get_analysable_data(false);
-        $this->assertGreaterThanOrEqual(5, $DB->count_records('analytics_used_analysables', $params));
+        // No time limit now to process the rest.
+        set_config('modeltimelimit', 1000, 'analytics');
+
+        $analysis->run();
+        $this->assertEquals(5, $DB->count_records('analytics_used_analysables', $params));
 
         // New analysable elements are immediately pulled.
         $this->getDataGenerator()->create_course();
-        $analyser->get_analysable_data(false);
-        $this->assertGreaterThanOrEqual(6, $DB->count_records('analytics_used_analysables', $params));
+        $analysis->run();
+        $this->assertEquals(6, $DB->count_records('analytics_used_analysables', $params));
 
         // Training and prediction data do not get mixed.
-        $analyser->get_analysable_data(true);
+        $result = new \core_analytics\local\analysis\result_array(1, false, []);
+        $analysis = new test_analysis($analyser, false, $result);
+        $analysis->run();
         $params = array('modelid' => 1, 'action' => 'training');
         $this->assertLessThanOrEqual(2, $DB->count_records('analytics_used_analysables', $params));
     }
index 3dea376..ec85d83 100644 (file)
@@ -27,6 +27,7 @@ defined('MOODLE_INTERNAL') || die();
 global $CFG;
 require_once(__DIR__ . '/fixtures/test_indicator_max.php');
 require_once(__DIR__ . '/fixtures/test_indicator_min.php');
+require_once(__DIR__ . '/fixtures/test_indicator_null.php');
 require_once(__DIR__ . '/fixtures/test_indicator_fullname.php');
 require_once(__DIR__ . '/fixtures/test_indicator_random.php');
 require_once(__DIR__ . '/fixtures/test_target_shortname.php');
@@ -86,18 +87,14 @@ class core_analytics_prediction_testcase extends advanced_testcase {
         // 1 range for each analysable.
         $predictedranges = $DB->get_records('analytics_predict_samples', array('modelid' => $model->get_id()));
         $this->assertCount(2, $predictedranges);
-        $this->assertEquals(1, $DB->count_records('analytics_used_files',
-            array('modelid' => $model->get_id(), 'action' => 'predicted')));
         // 2 predictions for each range.
         $this->assertEquals(2, $DB->count_records('analytics_predictions',
             array('modelid' => $model->get_id())));
 
-        // No new generated files nor records as there are no new courses available.
+        // No new generated records as there are no new courses available.
         $model->predict();
         $predictedranges = $DB->get_records('analytics_predict_samples', array('modelid' => $model->get_id()));
         $this->assertCount(2, $predictedranges);
-        $this->assertEquals(1, $DB->count_records('analytics_used_files',
-            array('modelid' => $model->get_id(), 'action' => 'predicted')));
         $this->assertEquals(2, $DB->count_records('analytics_predictions',
             array('modelid' => $model->get_id())));
     }
@@ -553,8 +550,7 @@ class core_analytics_prediction_testcase extends advanced_testcase {
     public function test_not_null_samples() {
         $this->resetAfterTest(true);
 
-        $classname = '\core\analytics\time_splitting\quarters';
-        $timesplitting = \core_analytics\manager::get_time_splitting($classname);
+        $timesplitting = \core_analytics\manager::get_time_splitting('\core\analytics\time_splitting\quarters');
         $timesplitting->set_analysable(new \core_analytics\site());
 
         $ranges = array(
@@ -563,35 +559,49 @@ class core_analytics_prediction_testcase extends advanced_testcase {
         );
         $samples = array(123 => 123, 321 => 321);
 
-        $indicator1 = $this->getMockBuilder('test_indicator_max')
-            ->setMethods(['calculate_sample'])
-            ->getMock();
-        $indicator1->method('calculate_sample')
-            ->willReturn(null);
+        $target = \core_analytics\manager::get_target('test_target_shortname');
+        $indicators = array('test_indicator_null', 'test_indicator_min');
+        foreach ($indicators as $key => $indicator) {
+            $indicators[$key] = \core_analytics\manager::get_indicator($indicator);
+        }
+        $model = \core_analytics\model::create($target, $indicators, '\core\analytics\time_splitting\no_splitting');
 
-        $indicator2 = \core_analytics\manager::get_indicator('test_indicator_min');
+        $analyser = $model->get_analyser();
+        $result = new \core_analytics\local\analysis\result_array($model->get_id(), false, $analyser->get_options());
+        $analysis = new \core_analytics\analysis($analyser, false, $result);
 
         // Samples with at least 1 not null value are returned.
         $params = array(
+            $timesplitting,
             $samples,
-            'whatever',
-            array($indicator1, $indicator2),
             $ranges
         );
-        $dataset = phpunit_util::call_internal_method($timesplitting, 'calculate_indicators', $params, $classname);
+        $dataset = phpunit_util::call_internal_method($analysis, 'calculate_indicators', $params,
+            '\core_analytics\analysis');
         $this->assertArrayHasKey('123-0', $dataset);
         $this->assertArrayHasKey('123-1', $dataset);
         $this->assertArrayHasKey('321-0', $dataset);
         $this->assertArrayHasKey('321-1', $dataset);
 
+
+        $indicators = array('test_indicator_null');
+        foreach ($indicators as $key => $indicator) {
+            $indicators[$key] = \core_analytics\manager::get_indicator($indicator);
+        }
+        $model = \core_analytics\model::create($target, $indicators, '\core\analytics\time_splitting\no_splitting');
+
+        $analyser = $model->get_analyser();
+        $result = new \core_analytics\local\analysis\result_array($model->get_id(), false, $analyser->get_options());
+        $analysis = new \core_analytics\analysis($analyser, false, $result);
+
         // Samples with only null values are not returned.
         $params = array(
+            $timesplitting,
             $samples,
-            'whatever',
-            array($indicator1),
             $ranges
         );
-        $dataset = phpunit_util::call_internal_method($timesplitting, 'calculate_indicators', $params, $classname);
+        $dataset = phpunit_util::call_internal_method($analysis, 'calculate_indicators', $params,
+            '\core_analytics\analysis');
         $this->assertArrayNotHasKey('123-0', $dataset);
         $this->assertArrayNotHasKey('123-1', $dataset);
         $this->assertArrayNotHasKey('321-0', $dataset);
index eb3a9fe..8b93bc1 100644 (file)
@@ -34,7 +34,6 @@ require_once(__DIR__ . '/fixtures/test_indicator_max.php');
 require_once(__DIR__ . '/fixtures/test_indicator_min.php');
 require_once(__DIR__ . '/fixtures/test_target_site_users.php');
 require_once(__DIR__ . '/fixtures/test_target_course_users.php');
-require_once(__DIR__ . '/fixtures/test_analyser.php');
 
 /**
  * Unit tests for privacy.
index d2036f2..12aa5d9 100644 (file)
@@ -13,6 +13,36 @@ information provided here is intended especially for developers.
   has been replaced with automatic update of models provided by the core moodle component. There
   is no need to call this method explicitly any more. Instead, adding new models can be achieved
   by updating the lib/db/analytics.php file and bumping the core version.
+* \core_analytics\model::execute_prediction_callbacks now returns an array with both sample's contexts
+  and the prediction records.
+* Time splitting methods:
+    * \core_analytics\local\time_splitting\base::append_rangeindex and
+      \core_analytics\local\time_splitting\base::infer_sample_info are now marked as final and can not
+      be overwritten.
+    * Can now overwrite include_range_info_in_training_data() and
+      get_training_ranges() methods. They can be used to create time splitting methods with a pre-defined
+      number of ranges.
+    * Can now overwrite cache_indicator_calculations(). You should return false if the time frames generated
+      by your time-splitting method are unique and / or can hardly be reused by further models.
+    * \core_analytics\local\analyser\base::get_most_recent_prediction_range has been moved to
+      \core_analytics\local\time_splitting\base::get_most_recent_prediction_range and it is not overwritable
+      by time splitting methods.
+* Targets:
+    * The visibility of the following methods must now be public: ignored_predicted_classes()
+      and get_insights_users()
+    * Prediction_actions() has now a 3rd parameter $isinsightuser. This parameter is true
+      when we are listing actions for the user that will receives the insight.
+    * Can now implement a always_update_analysis_time() method so analysable elements' timeanalysed is
+      only updated when analysable elements have been successfully evaluated. It is useful for lightweight targets.
+    * Can not implement two new methods to tune the insights generated by the model: get_insight_subject()
+      and get_insight_context_url().
+* Analysers:
+    * The visibility of get_all_samples() method must now be public.
+    * get_analysables() method has been deprecated in favour of a new get_analysables_interator()
+      for performance reasons.
+    * Can overwrite a new one_sample_per_analysable() method if the analysables they use only have
+      one sample. The insights generated by models will then include the suggested actions in
+      the notification.
 
 === 3.5 ===
 
index 0915c8e..a287a96 100644 (file)
@@ -74,6 +74,12 @@ abstract class backup implements checksumable {
     const MODE_AUTOMATED = 50;
     const MODE_CONVERTED = 60;
 
+    /**
+     * This mode is for asynchronous backups.
+     * These backups will run via adhoc scheduled tasks.
+     */
+    const MODE_ASYNC = 70;
+
     // Target (new/existing/current/adding/deleting)
     const TARGET_CURRENT_DELETING = 0;
     const TARGET_CURRENT_ADDING   = 1;
index c1b1f64..e0606d1 100644 (file)
@@ -30,16 +30,27 @@ require_once('../config.php');
 require_once($CFG->dirroot . '/backup/util/includes/backup_includes.php');
 require_once($CFG->dirroot . '/backup/moodle2/backup_plan_builder.class.php');
 
+// Backup of large courses requires extra memory. Use the amount configured
+// in admin settings.
+raise_memory_limit(MEMORY_EXTRA);
 
 $courseid = required_param('id', PARAM_INT);
 $sectionid = optional_param('section', null, PARAM_INT);
 $cmid = optional_param('cm', null, PARAM_INT);
 $cancel      = optional_param('cancel', '', PARAM_ALPHA);
+$previous = optional_param('previous', false, PARAM_BOOL);
 /**
  * Part of the forms in stages after initial, is POST never GET
  */
 $backupid = optional_param('backup', false, PARAM_ALPHANUM);
 
+// Determine if we are performing realtime for asynchronous backups.
+$backupmode = backup::MODE_GENERAL;
+if (async_helper::is_async_enabled()) {
+    $backupmode = backup::MODE_ASYNC;
+}
+
+$courseurl = new moodle_url('/course/view.php', array('id' => $courseid));
 $url = new moodle_url('/backup/backup.php', array('id'=>$courseid));
 if ($sectionid !== null) {
     $url->param('section', $sectionid);
@@ -53,6 +64,8 @@ $PAGE->set_pagelayout('admin');
 $id = $courseid;
 $cm = null;
 $course = $DB->get_record('course', array('id'=>$courseid), '*', MUST_EXIST);
+$coursecontext = context_course::instance($course->id);
+$contextid = $coursecontext->id;
 $type = backup::TYPE_1COURSE;
 if (!is_null($sectionid)) {
     $section = $DB->get_record('course_sections', array('course'=>$course->id, 'id'=>$sectionid), '*', MUST_EXIST);
@@ -68,11 +81,10 @@ require_login($course, false, $cm);
 
 switch ($type) {
     case backup::TYPE_1COURSE :
-        require_capability('moodle/backup:backupcourse', context_course::instance($course->id));
+        require_capability('moodle/backup:backupcourse', $coursecontext);
         $heading = get_string('backupcourse', 'backup', $course->shortname);
         break;
     case backup::TYPE_1SECTION :
-        $coursecontext = context_course::instance($course->id);
         require_capability('moodle/backup:backupsection', $coursecontext);
         if ((string)$section->name !== '') {
             $sectionname = format_string($section->name, true, array('context' => $coursecontext));
@@ -84,102 +96,145 @@ switch ($type) {
         }
         break;
     case backup::TYPE_1ACTIVITY :
-        require_capability('moodle/backup:backupactivity', context_module::instance($cm->id));
+        $activitycontext = context_module::instance($cm->id);
+        require_capability('moodle/backup:backupactivity', $activitycontext);
+        $contextid = $activitycontext->id;
         $heading = get_string('backupactivity', 'backup', $cm->name);
         break;
     default :
         print_error('unknownbackuptype');
 }
 
-// Backup of large courses requires extra memory. Use the amount configured
-// in admin settings.
-raise_memory_limit(MEMORY_EXTRA);
-
-if (!($bc = backup_ui::load_controller($backupid))) {
-    $bc = new backup_controller($type, $id, backup::FORMAT_MOODLE,
-                            backup::INTERACTIVE_YES, backup::MODE_GENERAL, $USER->id);
-}
-$backup = new backup_ui($bc);
-
 $PAGE->set_title($heading);
 $PAGE->set_heading($heading);
 
-$renderer = $PAGE->get_renderer('core','backup');
 if (empty($cancel)) {
     // Do not print the header if user cancelled the process, as we are going to redirect the user.
     echo $OUTPUT->header();
 }
 
-// Prepare a progress bar which can display optionally during long-running
-// operations while setting up the UI.
-$slowprogress = new \core\progress\display_if_slow(get_string('preparingui', 'backup'));
+// Only let user perform a backup if we aren't in async mode, or if we are
+// and there are no pending backups for this item for this user.
+if (!async_helper::is_async_pending($id, 'course', 'backup')) {
 
-$previous = optional_param('previous', false, PARAM_BOOL);
-if ($backup->get_stage() == backup_ui::STAGE_SCHEMA && !$previous) {
-    // After schema stage, we are probably going to get to the confirmation stage,
-    // The confirmation stage has 2 sets of progress, so this is needed to prevent
-    // it showing 2 progress bars.
-    $twobars = true;
-    $slowprogress->start_progress('', 2);
-} else {
-    $twobars = false;
-}
-$backup->get_controller()->set_progress($slowprogress);
-$backup->process();
+    // The mix of business logic and display elements below makes me sad.
+    // This needs to refactored into the renderer and seperated out.
 
-if ($backup->enforce_changed_dependencies()) {
-    debugging('Your settings have been altered due to unmet dependencies', DEBUG_DEVELOPER);
-}
+    if (!($bc = backup_ui::load_controller($backupid))) {
+        $bc = new backup_controller($type, $id, backup::FORMAT_MOODLE,
+                backup::INTERACTIVE_YES, $backupmode, $USER->id);
+    }
 
-$loghtml = '';
-if ($backup->get_stage() == backup_ui::STAGE_FINAL) {
-    // Display an extra backup step bar so that we can show the 'processing' step first.
-    echo html_writer::start_div('', array('id' => 'executionprogress'));
-    echo $renderer->progress_bar($backup->get_progress_bar());
-    $backup->get_controller()->set_progress(new \core\progress\display());
-
-    // Prepare logger and add to end of chain.
-    $logger = new core_backup_html_logger($CFG->debugdeveloper ? backup::LOG_DEBUG : backup::LOG_INFO);
-    $backup->get_controller()->add_logger($logger);
-
-    // Carry out actual backup.
-    $backup->execute();
-
-    // Backup controller gets saved/loaded so the logger object changes and we
-    // have to retrieve it.
-    $logger = $backup->get_controller()->get_logger();
-    while (!is_a($logger, 'core_backup_html_logger')) {
-        $logger = $logger->get_next();
+    // Prepare a progress bar which can display optionally during long-running
+    // operations while setting up the UI.
+    $slowprogress = new \core\progress\display_if_slow(get_string('preparingui', 'backup'));
+    $renderer = $PAGE->get_renderer('core', 'backup');
+    $backup = new backup_ui($bc);
+
+    if ($backup->get_stage() == backup_ui::STAGE_SCHEMA && !$previous) {
+        // After schema stage, we are probably going to get to the confirmation stage,
+        // The confirmation stage has 2 sets of progress, so this is needed to prevent
+        // it showing 2 progress bars.
+        $twobars = true;
+        $slowprogress->start_progress('', 2);
+    } else {
+        $twobars = false;
     }
+    $backup->get_controller()->set_progress($slowprogress);
+    $backup->process();
 
-    // Get HTML from logger.
-    if ($CFG->debugdisplay) {
-        $loghtml = $logger->get_html();
+    if ($backup->enforce_changed_dependencies()) {
+        debugging('Your settings have been altered due to unmet dependencies', DEBUG_DEVELOPER);
     }
 
-    // Hide the progress display and first backup step bar (the 'finished' step will show next).
-    echo html_writer::end_div();
-    echo html_writer::script('document.getElementById("executionprogress").style.display = "none";');
-} else {
-    $backup->save_controller();
-}
+    $loghtml = '';
+    if ($backup->get_stage() == backup_ui::STAGE_FINAL) {
 
-// Displaying UI can require progress reporting, so do it here before outputting
-// the backup stage bar (as part of the existing progress bar, if required).
-$ui = $backup->display($renderer);
-if ($twobars) {
-    $slowprogress->end_progress();
-}
+        if ($backupmode != backup::MODE_ASYNC) {
+            // Synchronous backup handling.
+
+            // Display an extra backup step bar so that we can show the 'processing' step first.
+            echo html_writer::start_div('', array('id' => 'executionprogress'));
+            echo $renderer->progress_bar($backup->get_progress_bar());
+            $backup->get_controller()->set_progress(new \core\progress\display());
+
+            // Prepare logger and add to end of chain.
+            $logger = new core_backup_html_logger($CFG->debugdeveloper ? backup::LOG_DEBUG : backup::LOG_INFO);
+            $backup->get_controller()->add_logger($logger);
+
+            // Carry out actual backup.
+            $backup->execute();
+
+            // Backup controller gets saved/loaded so the logger object changes and we
+            // have to retrieve it.
+            $logger = $backup->get_controller()->get_logger();
+            while (!is_a($logger, 'core_backup_html_logger')) {
+                $logger = $logger->get_next();
+            }
+
+            // Get HTML from logger.
+            if ($CFG->debugdisplay) {
+                $loghtml = $logger->get_html();
+            }
+
+            // Hide the progress display and first backup step bar (the 'finished' step will show next).
+            echo html_writer::end_div();
+            echo html_writer::script('document.getElementById("executionprogress").style.display = "none";');
+        } else {
+            // Async backup handling.
+            $backup->get_controller()->finish_ui();
+
+            echo html_writer::start_div('', array('id' => 'executionprogress'));
+            echo $renderer->progress_bar($backup->get_progress_bar());
+            echo html_writer::end_div();
+
+            // Create adhoc task for backup.
+            $asynctask = new \core\task\asynchronous_backup_task();
+            $asynctask->set_blocking(false);
+            $asynctask->set_custom_data(array('backupid' => $backupid));
+            \core\task\manager::queue_adhoc_task($asynctask);
+
+            // Add ajax progress bar and initiate ajax via a template.
+            $restoreurl = new moodle_url('/backup/restorefile.php', array('contextid' => $contextid));
+            $progresssetup = array(
+                    'backupid' => $backupid,
+                    'contextid' => $contextid,
+                    'courseurl' => $courseurl->out(),
+                    'restoreurl' => $restoreurl->out(),
+                    'headingident' => 'backup'
+            );
+            echo $renderer->render_from_template('core/async_backup_status', $progresssetup);
+        }
 
-echo $renderer->progress_bar($backup->get_progress_bar());
+    } else {
+        $backup->save_controller();
+    }
+
+    if ($backup->get_stage() != backup_ui::STAGE_FINAL) {
+
+        // Displaying UI can require progress reporting, so do it here before outputting
+        // the backup stage bar (as part of the existing progress bar, if required).
+        $ui = $backup->display($renderer);
+        if ($twobars) {
+            $slowprogress->end_progress();
+        }
+
+        echo $renderer->progress_bar($backup->get_progress_bar());
+        echo $ui;
+
+        // Display log data if there was any.
+        if ($loghtml != '' && $backupmode != backup::MODE_ASYNC) {
+            echo $renderer->log_display($loghtml);
+        }
+    }
 
-echo $ui;
-$backup->destroy();
-unset($backup);
+    $backup->destroy();
+    unset($backup);
 
-// Display log data if there was any.
-if ($loghtml != '') {
-    echo $renderer->log_display($loghtml);
+} else { // User has a pending async operation.
+    echo $OUTPUT->notification(get_string('pendingasyncerror', 'backup'), 'error');
+    echo $OUTPUT->container(get_string('pendingasyncdetail', 'backup'));
+    echo $OUTPUT->continue_button($courseurl);
 }
 
 echo $OUTPUT->footer();
index 35edd9c..8ea8d51 100644 (file)
@@ -58,7 +58,11 @@ class backup_controller extends base_controller {
     protected $plan;   // Backup execution plan
     protected $includefiles; // Whether this backup includes files or not.
 
-    protected $execution;     // inmediate/delayed
+    /**
+     * Immediate/delayed execution type.
+     * @var integer
+     */
+    protected $execution;
     protected $executiontime; // epoch time when we want the backup to be executed (requires cron to run)
 
     protected $destination; // Destination chain object (fs_moodle, fs_os, db, email...)
@@ -85,11 +89,17 @@ class backup_controller extends base_controller {
         $this->userid = $userid;
 
         // Apply some defaults
-        $this->execution = backup::EXECUTION_INMEDIATE;
         $this->operation = backup::OPERATION_BACKUP;
         $this->executiontime = 0;
         $this->checksum = '';
 
+        // Set execution based on backup mode.
+        if ($mode == backup::MODE_ASYNC) {
+            $this->execution = backup::EXECUTION_DELAYED;
+        } else {
+            $this->execution = backup::EXECUTION_INMEDIATE;
+        }
+
         // Apply current backup version and release if necessary
         backup_controller_dbops::apply_version_and_release();
 
@@ -112,7 +122,7 @@ class backup_controller extends base_controller {
         // display progress must set it.
         $this->progress = new \core\progress\none();
 
-        // Instantiate the output_controller singleton and active it if interactive and inmediate
+        // Instantiate the output_controller singleton and active it if interactive and immediate.
         $oc = output_controller::get_instance();
         if ($this->interactive == backup::INTERACTIVE_YES && $this->execution == backup::EXECUTION_INMEDIATE) {
             $oc->set_active(true);
@@ -182,7 +192,8 @@ class backup_controller extends base_controller {
         // TODO: Check it's a correct status.
         $this->status = $status;
         // Ensure that, once set to backup::STATUS_AWAITING, controller is stored in DB.
-        if ($status == backup::STATUS_AWAITING) {
+        // Also save if executing so we can better track progress.
+        if ($status == backup::STATUS_AWAITING || $status == backup::STATUS_EXECUTING) {
             $this->save_controller();
             $tbc = self::load_controller($this->backupid);
             $this->logger = $tbc->logger; // wakeup loggers
@@ -192,14 +203,18 @@ class backup_controller extends base_controller {
             // If the operation has ended without error (backup::STATUS_FINISHED_OK)
             // proceed by cleaning the object from database. MDL-29262.
             $this->save_controller(false, true);
+        } else if ($status == backup::STATUS_FINISHED_ERR) {
+            // If the operation has ended with an error save the controller
+            // preserving the object in the database. We may want it for debugging.
+            $this->save_controller();
         }
     }
 
     public function set_execution($execution, $executiontime = 0) {
         $this->log('setting controller execution', backup::LOG_DEBUG);
-        // TODO: Check valid execution mode
-        // TODO: Check time in future
-        // TODO: Check time = 0 if inmediate
+        // TODO: Check valid execution mode.
+        // TODO: Check time in future.
+        // TODO: Check time = 0 if immediate.
         $this->execution = $execution;
         $this->executiontime = $executiontime;
 
@@ -333,8 +348,8 @@ class backup_controller extends base_controller {
      * @param bool $cleanobj to decide if the object itself must be cleaned (true) or no (false)
      */
     public function save_controller($includeobj = true, $cleanobj = false) {
-        // Going to save controller to persistent storage, calculate checksum for later checks and save it
-        // TODO: flag the controller as NA. Any operation on it should be forbidden util loaded back
+        // Going to save controller to persistent storage, calculate checksum for later checks and save it.
+        // TODO: flag the controller as NA. Any operation on it should be forbidden until loaded back.
         $this->log('saving controller to db', backup::LOG_DEBUG);
         if ($includeobj ) {  // Only calculate checksum if we are going to include the object.
             $this->checksum = $this->calculate_checksum();
@@ -399,6 +414,7 @@ class backup_controller extends base_controller {
         $this->log("setting file inclusion to {$this->includefiles}", backup::LOG_DEBUG);
         return $this->includefiles;
     }
+
 }
 
 /*
index 2e994f4..cc5b869 100644 (file)
@@ -53,7 +53,11 @@ class restore_controller extends base_controller {
     /** @var restore_plan */
     protected $plan;   // Restore execution plan
 
-    protected $execution;     // inmediate/delayed
+    /**
+     * Immediate/delayed execution type.
+     * @var integer
+     */
+    protected $execution;
     protected $executiontime; // epoch time when we want the restore to be executed (requires cron to run)
 
     protected $checksum; // Cache @checksumable results for lighter @is_checksum_correct() uses
@@ -88,7 +92,6 @@ class restore_controller extends base_controller {
         // Apply some defaults
         $this->type = '';
         $this->format = backup::FORMAT_UNKNOWN;
-        $this->execution = backup::EXECUTION_INMEDIATE;
         $this->operation = backup::OPERATION_RESTORE;
         $this->executiontime = 0;
         $this->samesite = false;
@@ -110,6 +113,13 @@ class restore_controller extends base_controller {
         // Default logger chain (based on interactive/execution)
         $this->logger = backup_factory::get_logger_chain($this->interactive, $this->execution, $this->restoreid);
 
+        // Set execution based on backup mode.
+        if ($mode == backup::MODE_ASYNC) {
+            $this->execution = backup::EXECUTION_DELAYED;
+        } else {
+            $this->execution = backup::EXECUTION_INMEDIATE;
+        }
+
         // By default there is no progress reporter unless you specify one so it
         // can be used during loading of the plan.
         if ($progress) {
@@ -119,7 +129,7 @@ class restore_controller extends base_controller {
         }
         $this->progress->start_progress('Constructing restore_controller');
 
-        // Instantiate the output_controller singleton and active it if interactive and inmediate
+        // Instantiate the output_controller singleton and active it if interactive and immediate.
         $oc = output_controller::get_instance();
         if ($this->interactive == backup::INTERACTIVE_YES && $this->execution == backup::EXECUTION_INMEDIATE) {
             $oc->set_active(true);
@@ -198,7 +208,8 @@ class restore_controller extends base_controller {
         // TODO: Check it's a correct status.
         $this->status = $status;
         // Ensure that, once set to backup::STATUS_AWAITING | STATUS_NEED_PRECHECK, controller is stored in DB.
-        if ($status == backup::STATUS_AWAITING || $status == backup::STATUS_NEED_PRECHECK) {
+        // Also save if executing so we can better track progress.
+        if ($status == backup::STATUS_AWAITING || $status == backup::STATUS_NEED_PRECHECK || $status == backup::STATUS_EXECUTING) {
             $this->save_controller();
             $tbc = self::load_controller($this->restoreid);
             $this->logger = $tbc->logger; // wakeup loggers
@@ -208,14 +219,18 @@ class restore_controller extends base_controller {
             // If the operation has ended without error (backup::STATUS_FINISHED_OK)
             // proceed by cleaning the object from database. MDL-29262.
             $this->save_controller(false, true);
+        } else if ($status == backup::STATUS_FINISHED_ERR) {
+            // If the operation has ended with an error save the controller
+            // preserving the object in the database. We may want it for debugging.
+            $this->save_controller();
         }
     }
 
     public function set_execution($execution, $executiontime = 0) {
         $this->log('setting controller execution', backup::LOG_DEBUG);
-        // TODO: Check valid execution mode
-        // TODO: Check time in future
-        // TODO: Check time = 0 if inmediate
+        // TODO: Check valid execution mode.
+        // TODO: Check time in future.
+        // TODO: Check time = 0 if immediate.
         $this->execution = $execution;
         $this->executiontime = $executiontime;
 
diff --git a/backup/externallib.php b/backup/externallib.php
new file mode 100644 (file)
index 0000000..98119ec
--- /dev/null
@@ -0,0 +1,240 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+
+/**
+ * External backup API.
+ *
+ * @package    core_backup
+ * @category   external
+ * @copyright  2018 Matt Porritt <mattp@catalyst-au.net>
+ * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+defined('MOODLE_INTERNAL') || die;
+
+require_once("$CFG->libdir/externallib.php");
+require_once($CFG->dirroot . '/backup/util/includes/backup_includes.php');
+
+/**
+ * Backup external functions.
+ *
+ * @package    core_backup
+ * @category   external
+ * @copyright  2018 Matt Porritt <mattp@catalyst-au.net>
+ * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ * @since Moodle 3.7
+ */
+class core_backup_external extends external_api {
+
+    /**
+     * Returns description of method parameters
+     *
+     * @return external_function_parameters
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_progress_parameters() {
+        return new external_function_parameters(
+            array(
+                'backupids' => new external_multiple_structure(
+                        new external_value(PARAM_ALPHANUM, 'Backup id to get progress for', VALUE_REQUIRED, null, NULL_ALLOWED),
+                        'Backup id to get progress for', VALUE_REQUIRED
+                 ),
+                'contextid' => new external_value(PARAM_INT, 'Context id', VALUE_REQUIRED, null, NULL_NOT_ALLOWED),
+            )
+        );
+    }
+
+    /**
+     * Get asynchronous backup progress.
+     *
+     * @param string $backupids The ids of the backup to get progress for.
+     * @param int $contextid The context the backup relates to.
+     * @return array $results The array of results.
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_progress($backupids, $contextid) {
+        global $CFG;
+        require_once($CFG->dirroot . '/backup/util/includes/backup_includes.php');
+        require_once($CFG->dirroot . '/backup/util/includes/restore_includes.php');
+
+        // Parameter validation.
+        self::validate_parameters(
+                self::get_async_backup_progress_parameters(),
+                array(
+                    'backupids' => $backupids,
+                    'contextid' => $contextid
+                )
+        );
+
+        // Context validation.
+        list($context, $course, $cm) = get_context_info_array($contextid);
+        self::validate_context($context);
+
+        if ($cm) {
+            require_capability('moodle/backup:backupactivity', $context);
+        } else {
+            require_capability('moodle/backup:backupcourse', $context);
+            $instanceid = $course->id;
+        }
+
+        $results = array();
+        foreach ($backupids as $backupid) {
+            $results[] = backup_controller_dbops::get_progress($backupid);
+        }
+
+        return $results;
+    }
+
+    /**
+     * Returns description of method result value
+     *
+     * @return external_description
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_progress_returns() {
+        return new external_multiple_structure(
+            new external_single_structure(
+                array(
+                    'status'   => new external_value(PARAM_INT, 'Backup Status'),
+                    'progress' => new external_value(PARAM_FLOAT, 'Backup progress'),
+                    'backupid' => new external_value(PARAM_ALPHANUM, 'Backup id'),
+                    'operation' => new external_value(PARAM_ALPHANUM, 'operation type'),
+                ), 'Backup completion status'
+          ), 'Backup data'
+        );
+    }
+
+    /**
+     * Returns description of method parameters
+     *
+     * @return external_function_parameters
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_links_backup_parameters() {
+        return new external_function_parameters(
+                array(
+                    'filename' => new external_value(PARAM_FILE, 'Backup filename', VALUE_REQUIRED, null, NULL_NOT_ALLOWED),
+                    'contextid' => new external_value(PARAM_INT, 'Context id', VALUE_REQUIRED, null, NULL_NOT_ALLOWED),
+                )
+         );
+    }
+
+    /**
+     * Get the data to be used when generating the table row for an asynchronous backup,
+     * the table row updates via ajax when backup is complete.
+     *
+     * @param string $filename The file name of the backup file.
+     * @param int $contextid The context the backup relates to.
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_links_backup($filename, $contextid) {
+        // Parameter validation.
+        self::validate_parameters(
+                self::get_async_backup_links_backup_parameters(),
+                    array(
+                        'filename' => $filename,
+                        'contextid' => $contextid
+                    )
+                );
+
+        // Context validation.
+        list($context, $course, $cm) = get_context_info_array($contextid);
+        self::validate_context($context);
+        require_capability('moodle/backup:backupcourse', $context);
+
+        if ($cm) {
+            $filearea = 'activity';
+        } else {
+            $filearea = 'course';
+        }
+
+        $results = \async_helper::get_backup_file_info($filename, $filearea, $contextid);
+
+        return $results;
+    }
+
+    /**
+     * Returns description of method result value.
+     *
+     * @return external_description
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_links_backup_returns() {
+        return new external_single_structure(
+            array(
+               'filesize'   => new external_value(PARAM_TEXT, 'Backup file size'),
+               'fileurl' => new external_value(PARAM_URL, 'Backup file URL'),
+               'restoreurl' => new external_value(PARAM_URL, 'Backup restore URL'),
+        ), 'Table row data.');
+    }
+    /**
+     * Returns description of method parameters
+     *
+     * @return external_function_parameters
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_links_restore_parameters() {
+        return new external_function_parameters(
+                array(
+                    'backupid' => new external_value(PARAM_ALPHANUMEXT, 'Backup id', VALUE_REQUIRED, null, NULL_NOT_ALLOWED),
+                    'contextid' => new external_value(PARAM_INT, 'Context id', VALUE_REQUIRED, null, NULL_NOT_ALLOWED),
+                )
+        );
+    }
+
+    /**
+     * Get the data to be used when generating the table row for an asynchronous restore,
+     * the table row updates via ajax when restore is complete.
+     *
+     * @param string $backupid The id of the backup record.
+     * @param int $contextid The context the restore relates to.
+     * @return array $results The array of results.
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_links_restore($backupid, $contextid) {
+        // Parameter validation.
+        self::validate_parameters(
+                self::get_async_backup_links_restore_parameters(),
+                    array(
+                        'backupid' => $backupid,
+                        'contextid' => $contextid
+                    )
+                );
+
+        // Context validation.
+        $context = context::instance_by_id($contextid);
+        self::validate_context($context);
+        require_capability('moodle/restore:restorecourse', $context);
+
+        $results = \async_helper::get_restore_url($backupid);
+
+        return $results;
+    }
+
+    /**
+     * Returns description of method result value.
+     *
+     * @return external_description
+     * @since Moodle 3.7
+     */
+    public static function get_async_backup_links_restore_returns() {
+        return new external_single_structure(
+                array(
+                    'restoreurl' => new external_value(PARAM_URL, 'Restore url'),
+                ), 'Table row data.');
+    }
+}
index 06f58e6..4ee134e 100644 (file)
@@ -28,10 +28,20 @@ define('NO_OUTPUT_BUFFERING', true);
 require_once('../config.php');
 require_once($CFG->dirroot . '/backup/util/includes/restore_includes.php');
 
+// Restore of large courses requires extra memory. Use the amount configured
+// in admin settings.
+raise_memory_limit(MEMORY_EXTRA);
+
 $contextid   = required_param('contextid', PARAM_INT);
 $stage       = optional_param('stage', restore_ui::STAGE_CONFIRM, PARAM_INT);
 $cancel      = optional_param('cancel', '', PARAM_ALPHA);
 
+// Determine if we are performing realtime for asynchronous backups.
+$backupmode = backup::MODE_GENERAL;
+if (async_helper::is_async_enabled()) {
+    $backupmode = backup::MODE_ASYNC;
+}
+
 list($context, $course, $cm) = get_context_info_array($contextid);
 
 navigation_node::override_active_url(new moodle_url('/backup/restorefile.php', array('contextid'=>$contextid)));
@@ -70,10 +80,6 @@ $slowprogress->start_progress('', 10);
 // This progress section counts for loading the restore controller.
 $slowprogress->start_progress('', 1, 1);
 
-// Restore of large courses requires extra memory. Use the amount configured
-// in admin settings.
-raise_memory_limit(MEMORY_EXTRA);
-
 if ($stage & restore_ui::STAGE_CONFIRM + restore_ui::STAGE_DESTINATION) {
     $restore = restore_ui::engage_independent_stage($stage, $contextid);
 } else {
@@ -83,7 +89,7 @@ if ($stage & restore_ui::STAGE_CONFIRM + restore_ui::STAGE_DESTINATION) {
         $restore = restore_ui::engage_independent_stage($stage/2, $contextid);
         if ($restore->process()) {
             $rc = new restore_controller($restore->get_filepath(), $restore->get_course_id(), backup::INTERACTIVE_YES,
-                                backup::MODE_GENERAL, $USER->id, $restore->get_target());
+                    $backupmode, $USER->id, $restore->get_target());
         }
     }
     if ($rc) {
@@ -120,7 +126,7 @@ if (!$restore->is_independent()) {
     // Use a temporary (disappearing) progress bar to show the precheck progress if any.
     $precheckprogress = new \core\progress\display_if_slow(get_string('preparingdata', 'backup'));
     $restore->get_controller()->set_progress($precheckprogress);
-    if ($restore->get_stage() == restore_ui::STAGE_PROCESS && !$restore->requires_substage()) {
+    if ($restore->get_stage() == restore_ui::STAGE_PROCESS && !$restore->requires_substage() && $backupmode != backup::MODE_ASYNC) {
         try {
             // Div used to hide the 'progress' step once the page gets onto 'finished'.
             echo html_writer::start_div('', array('id' => 'executionprogress'));
@@ -150,7 +156,35 @@ if (!$restore->is_independent()) {
 }
 
 echo $renderer->progress_bar($restore->get_progress_bar());
-echo $restore->display($renderer);
+
+if ($restore->get_stage() != restore_ui::STAGE_PROCESS) {
+    echo $restore->display($renderer);
+} else if ($restore->get_stage() == restore_ui::STAGE_PROCESS && $restore->requires_substage()) {
+    echo $restore->display($renderer);
+} else if ($restore->get_stage() == restore_ui::STAGE_PROCESS
+        && !$restore->requires_substage()
+        && $backupmode == backup::MODE_ASYNC) {
+    // Asynchronous restore.
+    // Create adhoc task for restore.
+    $restoreid = $restore->get_restoreid();
+    $asynctask = new \core\task\asynchronous_restore_task();
+    $asynctask->set_blocking(false);
+    $asynctask->set_custom_data(array('backupid' => $restoreid));
+    \core\task\manager::queue_adhoc_task($asynctask);
+
+    // Add ajax progress bar and initiate ajax via a template.
+    $courseurl = new moodle_url('/course/view.php', array('id' => $course->id));
+    $restoreurl = new moodle_url('/backup/restorefile.php', array('contextid' => $contextid));
+    $progresssetup = array(
+            'backupid' => $restoreid,
+            'contextid' => $contextid,
+            'courseurl' => $courseurl->out(),
+            'restoreurl' => $restoreurl->out()
+    );
+    echo $renderer->render_from_template('core/async_backup_status', $progresssetup);
+
+}
+
 $restore->destroy();
 unset($restore);
 
index 2a745a8..eef560b 100644 (file)
@@ -114,6 +114,7 @@ $PAGE->set_context($context);
 $PAGE->set_title(get_string('course') . ': ' . $coursefullname);
 $PAGE->set_heading($heading);
 $PAGE->set_pagelayout('admin');
+$PAGE->requires->js_call_amd('core_backup/async_backup', 'asyncBackupAllStatus', array($context->id));
 
 $form = new course_restore_form(null, array('contextid'=>$contextid));
 $data = $form->get_data();
@@ -128,8 +129,6 @@ if ($data && has_capability('moodle/restore:uploadfile', $context)) {
     die;
 }
 
-
-
 echo $OUTPUT->header();
 
 // require uploadfile cap to use file picker
@@ -196,4 +195,13 @@ if (!empty($automatedbackups)) {
     echo $OUTPUT->container_end();
 }
 
+// In progress course restores.
+if (async_helper::is_async_enabled()) {
+    echo $OUTPUT->heading_with_help(get_string('asyncrestoreinprogress', 'backup'), 'asyncrestoreinprogress', 'backup');
+    echo $OUTPUT->container_start();
+    $renderer = $PAGE->get_renderer('core', 'backup');
+    echo $renderer->restore_progress_viewer($USER->id, $context);
+    echo $OUTPUT->container_end();
+}
+
 echo $OUTPUT->footer();
diff --git a/backup/tests/async_backup_test.php b/backup/tests/async_backup_test.php
new file mode 100644 (file)
index 0000000..f982a6d
--- /dev/null
@@ -0,0 +1,118 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Asyncronhous backup tests.
+ *
+ * @package    core_backup
+ * @copyright  2018 Matt Porritt <mattp@catalyst-au.net>
+ * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+defined('MOODLE_INTERNAL') || die();
+
+global $CFG;
+require_once($CFG->dirroot . '/backup/util/includes/backup_includes.php');
+require_once($CFG->dirroot . '/backup/util/includes/restore_includes.php');
+require_once($CFG->libdir . '/completionlib.php');
+
+/**
+ * Asyncronhous backup tests.
+ *
+ * @copyright  2018 Matt Porritt <mattp@catalyst-au.net>
+ * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class core_backup_async_backup_testcase extends \core_privacy\tests\provider_testcase {
+
+    /**
+     * Tests the asynchronous backup.
+     */
+    public function test_async_backup() {
+        global $DB, $CFG, $USER;
+
+        $this->resetAfterTest(true);
+        $this->setAdminUser();
+        $CFG->enableavailability = true;
+        $CFG->enablecompletion = true;
+
+        // Create a course with some availability data set.
+        $generator = $this->getDataGenerator();
+        $course = $generator->create_course(
+                array('format' => 'topics', 'numsections' => 3,
+                        'enablecompletion' => COMPLETION_ENABLED),
+                array('createsections' => true));
+        $forum = $generator->create_module('forum', array(
+                'course' => $course->id));
+        $forum2 = $generator->create_module('forum', array(
+                'course' => $course->id, 'completion' => COMPLETION_TRACKING_MANUAL));
+
+        // We need a grade, easiest is to add an assignment.
+        $assignrow = $generator->create_module('assign', array(
+                'course' => $course->id));
+        $assign = new assign(context_module::instance($assignrow->cmid), false, false);
+        $item = $assign->get_grade_item();
+
+        // Make a test grouping as well.
+        $grouping = $generator->create_grouping(array('courseid' => $course->id,
+                'name' => 'Grouping!'));
+
+        $availability = '{"op":"|","show":false,"c":[' .
+                '{"type":"completion","cm":' . $forum2->cmid .',"e":1},' .
+                '{"type":"grade","id":' . $item->id . ',"min":4,"max":94},' .
+                '{"type":"grouping","id":' . $grouping->id . '}' .
+                ']}';
+        $DB->set_field('course_modules', 'availability', $availability, array(
+                'id' => $forum->cmid));
+        $DB->set_field('course_sections', 'availability', $availability, array(
+                'course' => $course->id, 'section' => 1));
+
+        // Start backup process.
+
+        // Make the backup controller for an async backup.
+        $bc = new backup_controller(backup::TYPE_1COURSE, $course->id, backup::FORMAT_MOODLE,
+                backup::INTERACTIVE_YES, backup::MODE_ASYNC, $USER->id);
+        $bc->finish_ui();
+        $backupid = $bc->get_backupid();
+
+        $prebackuprec = $DB->get_record('backup_controllers', array('backupid' => $backupid));
+
+        // Check the initial backup controller was created correctly.
+        $this->assertEquals(backup::STATUS_AWAITING, $prebackuprec->status);
+        $this->assertEquals(2, $prebackuprec->execution);
+
+        // Create the adhoc task.
+        $asynctask = new \core\task\asynchronous_backup_task();
+        $asynctask->set_blocking(false);
+        $asynctask->set_custom_data(array('backupid' => $backupid));
+        \core\task\manager::queue_adhoc_task($asynctask);
+
+        // We are expecting trace output during this test.
+        $this->expectOutputRegex("/$backupid/");
+
+        // Execute adhoc task.
+        $now = time();
+        $task = \core\task\manager::get_next_adhoc_task($now);
+        $this->assertInstanceOf('\\core\\task\\asynchronous_backup_task', $task);
+        $task->execute();
+        \core\task\manager::adhoc_task_complete($task);
+
+        $postbackuprec = $DB->get_record('backup_controllers', array('backupid' => $backupid));
+
+        // Check backup was created successfully.
+        $this->assertEquals(backup::STATUS_FINISHED_OK, $postbackuprec->status);
+        $this->assertEquals(1.0, $postbackuprec->progress);
+    }
+}
diff --git a/backup/tests/async_restore_test.php b/backup/tests/async_restore_test.php
new file mode 100644 (file)
index 0000000..1121e37
--- /dev/null
@@ -0,0 +1,140 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Asyncronhous restore tests.
+ *
+ * @package    core_backup
+ * @copyright  2018 Matt Porritt <mattp@catalyst-au.net>
+ * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+defined('MOODLE_INTERNAL') || die();
+
+global $CFG;
+require_once($CFG->dirroot . '/backup/util/includes/backup_includes.php');
+require_once($CFG->dirroot . '/backup/util/includes/restore_includes.php');
+require_once($CFG->libdir . '/completionlib.php');
+
+/**
+ * Asyncronhous restore tests.
+ *
+ * @copyright  2018 Matt Porritt <mattp@catalyst-au.net>
+ * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class core_backup_async_restore_testcase extends \core_privacy\tests\provider_testcase {
+
+    /**
+     * Tests the asynchronous backup.
+     */
+    public function test_async_restore() {
+        global $DB, $CFG, $USER;
+
+        $this->resetAfterTest(true);
+        $this->setAdminUser();
+        $CFG->enableavailability = true;
+        $CFG->enablecompletion = true;
+
+        // Create a course with some availability data set.
+        $generator = $this->getDataGenerator();
+        $course = $generator->create_course(
+                array('format' => 'topics', 'numsections' => 3,
+                        'enablecompletion' => COMPLETION_ENABLED),
+                array('createsections' => true));
+        $forum = $generator->create_module('forum', array(
+                'course' => $course->id));
+        $forum2 = $generator->create_module('forum', array(
+                'course' => $course->id, 'completion' => COMPLETION_TRACKING_MANUAL));
+
+        // We need a grade, easiest is to add an assignment.
+        $assignrow = $generator->create_module('assign', array(
+                'course' => $course->id));
+        $assign = new assign(context_module::instance($assignrow->cmid), false, false);
+        $item = $assign->get_grade_item();
+
+        // Make a test grouping as well.
+        $grouping = $generator->create_grouping(array('courseid' => $course->id,
+                'name' => 'Grouping!'));
+
+        $availability = '{"op":"|","show":false,"c":[' .
+                '{"type":"completion","cm":' . $forum2->cmid .',"e":1},' .
+                '{"type":"grade","id":' . $item->id . ',"min":4,"max":94},' .
+                '{"type":"grouping","id":' . $grouping->id . '}' .
+                ']}';
+        $DB->set_field('course_modules', 'availability', $availability, array(
+                'id' => $forum->cmid));
+        $DB->set_field('course_sections', 'availability', $availability, array(
+                'course' => $course->id, 'section' => 1));
+
+        // Backup the course.
+        $bc = new backup_controller(backup::TYPE_1COURSE, $course->id, backup::FORMAT_MOODLE,
+                backup::INTERACTIVE_YES, backup::MODE_GENERAL, $USER->id);
+        $bc->finish_ui();
+        $backupid = $bc->get_backupid();
+        $bc->execute_plan();
+        $bc->destroy();
+
+        // Get the backup file.
+        $coursecontext = context_course::instance($course->id);
+        $fs = get_file_storage();
+        $files = $fs->get_area_files($coursecontext->id, 'backup', 'course', false, 'id ASC');
+        $backupfile = reset($files);
+
+        // Extract backup file.
+        $backupdir = "restore_" . uniqid();
+        $path = $CFG->tempdir . DIRECTORY_SEPARATOR . "backup" . DIRECTORY_SEPARATOR . $backupdir;
+
+        $fp = get_file_packer('application/vnd.moodle.backup');
+        $fp->extract_to_pathname($backupfile, $path);
+
+        // Create restore controller.
+        $newcourseid = restore_dbops::create_new_course(
+                $course->fullname, $course->shortname . '_2', $course->category);
+        $rc = new restore_controller($backupdir, $newcourseid,
+                backup::INTERACTIVE_NO, backup::MODE_ASYNC, $USER->id,
+                backup::TARGET_NEW_COURSE);
+
+        $this->assertTrue($rc->execute_precheck());
+        $restoreid = $rc->get_restoreid();
+
+        $prerestorerec = $DB->get_record('backup_controllers', array('backupid' => $restoreid));
+        $prerestorerec->controller = '';
+
+        $rc->destroy();
+
+        // Create the adhoc task.
+        $asynctask = new \core\task\asynchronous_restore_task();
+        $asynctask->set_blocking(false);
+        $asynctask->set_custom_data(array('backupid' => $restoreid));
+        \core\task\manager::queue_adhoc_task($asynctask);
+
+        // We are expecting trace output during this test.
+        $this->expectOutputRegex("/$restoreid/");
+
+        // Execute adhoc task.
+        $now = time();
+        $task = \core\task\manager::get_next_adhoc_task($now);
+        $this->assertInstanceOf('\\core\\task\\asynchronous_restore_task', $task);
+        $task->execute();
+        \core\task\manager::adhoc_task_complete($task);
+
+        $postrestorerec = $DB->get_record('backup_controllers', array('backupid' => $restoreid));
+
+        // Check backup was created successfully.
+        $this->assertEquals(backup::STATUS_FINISHED_OK, $postrestorerec->status);
+        $this->assertEquals(1.0, $postrestorerec->progress);
+    }
+}
index d203db4..3f94cd0 100644 (file)
@@ -641,4 +641,31 @@ abstract class backup_controller_dbops extends backup_dbops {
             }
         }
     }
+
+    /**
+     * Get the progress details of a backup operation.
+     * Get backup records directly from database, if the backup has successfully completed
+     * there will be no controller object to load.
+     *
+     * @param string $backupid The backup id to query.
+     * @return array $progress The backup progress details.
+     */
+    public static function get_progress($backupid) {
+        global $DB;
+
+        $progress = array();
+        $backuprecord = $DB->get_record(
+            'backup_controllers',
+            array('backupid' => $backupid),
+            'status, progress, operation',
+            MUST_EXIST);
+
+        $status = $backuprecord->status;
+        $progress = $backuprecord->progress;
+        $operation = $backuprecord->operation;
+
+        $progress = array('status' => $status, 'progress' => $progress, 'backupid' => $backupid, 'operation' => $operation);
+
+        return $progress;
+    }
 }
diff --git a/backup/util/helper/async_helper.class.php b/backup/util/helper/async_helper.class.php
new file mode 100644 (file)
index 0000000..3cf391f
--- /dev/null
@@ -0,0 +1,367 @@
+<?php
+// This file is part of Moodle - http://moodle.org/
+//
+// Moodle is free software: you can redistribute it and/or modify
+// it under the terms of the GNU General Public License as published by
+// the Free Software Foundation, either version 3 of the License, or
+// (at your option) any later version.
+//
+// Moodle is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
+//
+// You should have received a copy of the GNU General Public License
+// along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
+
+/**
+ * Helper functions for asynchronous backups and restores.
+ *
+ * @package    core
+ * @copyright  2019 Matt Porritt <mattp@catalyst-au.net>
+ * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+
+defined('MOODLE_INTERNAL') || die();
+
+require_once($CFG->dirroot . '/user/lib.php');
+
+/**
+ * Helper functions for asynchronous backups and restores.
+ *
+ * @package     core
+ * @copyright   2019 Matt Porritt <mattp@catalyst-au.net>
+ * @license     http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
+ */
+class async_helper  {
+
+    /**
+     * @var string $type The type of async operation.
+     */
+    protected $type = 'backup';
+
+    /**
+     * @var string $backupid The id of the backup or restore.
+     */
+    protected $backupid;
+
+    /**
+     * @var object $user The user who created the backup record.
+     */
+    protected $user;
+
+    /**
+     * @var object $backuprec The backup controller record from the database.
+     */
+    protected $backuprec;
+
+    /**
+     * Class constructor.
+     *
+     * @param string $type The type of async operation.
+     * @param string $id The id of the backup or restore.
+     */
+    public function __construct($type, $id) {
+        $this->type = $type;
+        $this->backupid = $id;
+        $this->backuprec = $this->get_backup_record($id);
+        $this->user = $this->get_user();
+    }
+
+    /**
+     * Given a backup id return a the record from the database.
+     * We use this method rather than 'load_controller' as the controller may
+     * not exist if this backup/restore has completed.
+     *
+     * @param int $id The backup id to get.
+     * @return object $backuprec The backup controller record.
+     */
+    private function get_backup_record($id) {
+        global $DB;
+
+        $backuprec = $DB->get_record('backup_controllers', array('backupid' => $id), '*', MUST_EXIST);
+
+        return $backuprec;
+    }
+
+    /**
+     * Given a user id return a user object.
+     *
+     * @return object $user The limited user record.
+     */
+    private function get_user() {
+        $userid = $this->backuprec->userid;
+        $user = core_user::get_user($userid, '*', MUST_EXIST);
+
+        return $user;
+    }
+
+    /**
+     * Callback for preg_replace_callback.
+     * Replaces message placeholders with real values.
+     *
+     * @param array $matches The match array from from preg_replace_callback.
+     * @return string $match The replaced string.
+     */
+    private function lookup_message_variables($matches) {
+        $options = array(
+                'operation' => $this->type,
+                'backupid' => $this->backupid,
+                'user_username' => $this->user->username,
+                'user_email' => $this->user->email,
+                'user_firstname' => $this->user->firstname,
+                'user_lastname' => $this->user->lastname,
+                'link' => $this->get_resource_link(),
+        );
+
+        $match = $options[$matches[1]] ?? $matches[1];
+
+        return $match;
+    }
+
+    /**
+     * Get the link to the resource that is being backuped or restored.
+     *
+     * @return moodle_url $url The link to the resource.
+     */
+    private function get_resource_link() {
+        // Get activity context only for backups.
+        if ($this->backuprec->type == 'activity' && $this->type == 'backup') {
+            $context = context_module::instance($this->backuprec->itemid);
+        } else { // Course or Section which have the same context getter.
+            $context = context_course::instance($this->backuprec->itemid);
+        }
+
+        // Generate link based on operation type.
+        if ($this->type == 'backup') {
+            // For backups simply generate link to restore file area UI.
+            $url = new moodle_url('/backup/restorefile.php', array('contextid' => $context->id));
+        } else {
+            // For restore generate link to the item itself.
+            $url = $context->get_url();
+        }
+
+        return $url;
+    }
+
+    /**
+     * Sends a confirmation message for an aynchronous process.
+     *
+     * @return int $messageid The id of the sent message.
+     */
+    public function send_message() {
+        global $USER;
+
+        $subjectraw = get_config('backup', 'backup_async_message_subject');
+        $subjecttext = preg_replace_callback(
+                '/\{([-_A-Za-z0-9]+)\}/u',
+                array('async_helper', 'lookup_message_variables'),
+                $subjectraw);
+
+        $messageraw = get_config('backup', 'backup_async_message');
+        $messagehtml = preg_replace_callback(
+                '/\{([-_A-Za-z0-9]+)\}/u',
+                array('async_helper', 'lookup_message_variables'),
+                $messageraw);
+        $messagetext = html_to_text($messagehtml);
+
+        $message = new \core\message\message();
+        $message->component = 'moodle';
+        $message->name = 'asyncbackupnotification';
+        $message->userfrom          = $USER;
+        $message->userto            = $this->user;
+        $message->subject           = $subjecttext;
+        $message->fullmessage       = $messagetext;
+        $message->fullmessageformat = FORMAT_HTML;
+        $message->fullmessagehtml   = $messagehtml;
+        $message->smallmessage      = '';
+        $message->notification      = '1';
+
+        $messageid = message_send($message);
+
+        return $messageid;
+    }
+
+    /**
+     * Check if asynchronous backup and restore mode is
+     * enabled at system level.
+     *
+     * @return bool $async True if async mode enabled false otherwise.
+     */
+    static public function is_async_enabled() {
+        global $CFG;
+
+        $async = false;
+        if (!empty($CFG->enableasyncbackup)) {
+            $async = true;
+        }
+
+        return $async;
+    }
+
+    /**
+     * Check if there is a pending async operation for given details.
+     *
+     * @param int $id The item id to check in the backup record.
+     * @param string $type The type of operation: course, activity or section.
+     * @param string $operation Operation backup or restore.
+     * @return boolean $asyncpedning Is there a pending async operation.
+     */
+    public static function is_async_pending($id, $type, $operation) {
+        global $DB, $USER;
+        $asyncpending = false;
+
+        // Only check for pending async operations if async mode is enabled.
+        if (self::is_async_enabled()) {
+            $select = 'userid = ? AND itemid = ? AND type = ? AND operation = ? AND execution = ? AND status < ? AND status > ?';
+            $params = array(
+                $USER->id,
+                $id,
+                $type,
+                $operation,
+                backup::EXECUTION_DELAYED,
+                backup::STATUS_FINISHED_ERR,
+                backup::STATUS_NEED_PRECHECK
+            );
+            $asyncpending = $DB->record_exists_select('backup_controllers', $select, $params);
+        }
+        return $asyncpending;
+    }
+
+    /**
+     * Get the size, url and restore url for a backup file.
+     *
+     * @param string $filename The name of the file to get info for.
+     * @param string $filearea The file area for the file.
+     * @param int $contextid The context ID of the file.
+     * @return array $results The result array containing the size, url and restore url of the file.
+     */
+    public static function get_backup_file_info($filename, $filearea, $contextid) {
+        $fs = get_file_storage();
+        $file = $fs->get_file($contextid, 'backup', $filearea, 0, '/', $filename);
+        $filesize = display_size ($file->get_filesize());
+        $fileurl = moodle_url::make_pluginfile_url(
+            $file->get_contextid(),
+            $file->get_component(),
+            $file->get_filearea(),
+            null,
+            $file->get_filepath(),
+            $file->get_filename(),
+            true
+            );
+
+        $params = array();
+        $params['action'] = 'choosebackupfile';
+        $params['filename'] = $file->get_filename();
+        $params['filepath'] = $file->get_filepath();
+        $params['component'] = $file->get_component();
+        $params['filearea'] = $file->get_filearea();
+        $params['filecontextid'] = $file->get_contextid();
+        $params['contextid'] = $contextid;
+        $params['itemid'] = $file->get_itemid();
+        $restoreurl = new moodle_url('/backup/restorefile.php', $params);
+        $filesize = display_size ($file->get_filesize());
+
+        $results = array(
+            'filesize' => $filesize,
+            'fileurl' => $fileurl->out(false),
+            'restoreurl' => $restoreurl->out(false));
+
+        return $results;
+    }
+
+    /**
+     * Get the url of a restored backup item based on the backup ID.
+     *
+     * @param string $backupid The backup ID to get the restore location url.
+     * @return array $urlarray The restored item URL as an array.
+     */
+    public static function get_restore_url($backupid) {
+        global $DB;
+
+        $backupitemid = $DB->get_field('backup_controllers', 'itemid&#