Merge branch 'master_MDL-67485' of https://github.com/golenkovm/moodle
[moodle.git] / lib / cronlib.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Cron functions.
19  *
20  * @package    core
21  * @subpackage admin
22  * @copyright  1999 onwards Martin Dougiamas  http://dougiamas.com
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
26 /**
27  * Execute cron tasks
28  */
29 function cron_run() {
30     global $DB, $CFG, $OUTPUT;
32     if (CLI_MAINTENANCE) {
33         echo "CLI maintenance mode active, cron execution suspended.\n";
34         exit(1);
35     }
37     if (moodle_needs_upgrading()) {
38         echo "Moodle upgrade pending, cron execution suspended.\n";
39         exit(1);
40     }
42     require_once($CFG->libdir.'/adminlib.php');
44     if (!empty($CFG->showcronsql)) {
45         $DB->set_debug(true);
46     }
47     if (!empty($CFG->showcrondebugging)) {
48         set_debugging(DEBUG_DEVELOPER, true);
49     }
51     core_php_time_limit::raise();
52     $starttime = microtime();
54     // Increase memory limit
55     raise_memory_limit(MEMORY_EXTRA);
57     // Emulate normal session - we use admin accoutn by default
58     cron_setup_user();
60     // Start output log
61     $timenow  = time();
62     mtrace("Server Time: ".date('r', $timenow)."\n\n");
64     // Record start time and interval between the last cron runs.
65     $laststart = get_config('tool_task', 'lastcronstart');
66     set_config('lastcronstart', $timenow, 'tool_task');
67     if ($laststart) {
68         // Record the interval between last two runs (always store at least 1 second).
69         set_config('lastcroninterval', max(1, $timenow - $laststart), 'tool_task');
70     }
72     // Run all scheduled tasks.
73     cron_run_scheduled_tasks($timenow);
75     // Run adhoc tasks.
76     cron_run_adhoc_tasks($timenow);
78     mtrace("Cron script completed correctly");
80     gc_collect_cycles();
81     mtrace('Cron completed at ' . date('H:i:s') . '. Memory used ' . display_size(memory_get_usage()) . '.');
82     $difftime = microtime_diff($starttime, microtime());
83     mtrace("Execution took ".$difftime." seconds");
84 }
86 /**
87  * Execute all queued scheduled tasks, applying necessary concurrency limits and time limits.
88  *
89  * @param   int     $timenow The time this process started.
90  * @throws \moodle_exception
91  */
92 function cron_run_scheduled_tasks(int $timenow) {
93     // Allow a restriction on the number of scheduled task runners at once.
94     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
95     $maxruns = get_config('core', 'task_scheduled_concurrency_limit');
96     $maxruntime = get_config('core', 'task_scheduled_max_runtime');
98     $scheduledlock = null;
99     for ($run = 0; $run < $maxruns; $run++) {
100         // If we can't get a lock instantly it means runner N is already running
101         // so fail as fast as possible and try N+1 so we don't limit the speed at
102         // which we bring new runners into the pool.
103         if ($scheduledlock = $cronlockfactory->get_lock("scheduled_task_runner_{$run}", 0)) {
104             break;
105         }
106     }
108     if (!$scheduledlock) {
109         mtrace("Skipping processing of scheduled tasks. Concurrency limit reached.");
110         return;
111     }
113     $starttime = time();
115     // Run all scheduled tasks.
116     try {
117         while (!\core\task\manager::static_caches_cleared_since($timenow) &&
118                 $task = \core\task\manager::get_next_scheduled_task($timenow)) {
119             cron_run_inner_scheduled_task($task);
120             unset($task);
122             if ((time() - $starttime) > $maxruntime) {
123                 mtrace("Stopping processing of scheduled tasks as time limit has been reached.");
124                 break;
125             }
126         }
127     } finally {
128         // Release the scheduled task runner lock.
129         $scheduledlock->release();
130     }
133 /**
134  * Execute all queued adhoc tasks, applying necessary concurrency limits and time limits.
135  *
136  * @param   int     $timenow The time this process started.
137  * @param   int     $keepalive Keep this function alive for N seconds and poll for new adhoc tasks.
138  * @param   bool    $checklimits Should we check limits?
139  * @throws \moodle_exception
140  */
141 function cron_run_adhoc_tasks(int $timenow, $keepalive = 0, $checklimits = true) {
142     // Allow a restriction on the number of adhoc task runners at once.
143     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
144     $maxruns = get_config('core', 'task_adhoc_concurrency_limit');
145     $maxruntime = get_config('core', 'task_adhoc_max_runtime');
147     if ($checklimits) {
148         $adhoclock = null;
149         for ($run = 0; $run < $maxruns; $run++) {
150             // If we can't get a lock instantly it means runner N is already running
151             // so fail as fast as possible and try N+1 so we don't limit the speed at
152             // which we bring new runners into the pool.
153             if ($adhoclock = $cronlockfactory->get_lock("adhoc_task_runner_{$run}", 0)) {
154                 break;
155             }
156         }
158         if (!$adhoclock) {
159             mtrace("Skipping processing of adhoc tasks. Concurrency limit reached.");
160             return;
161         }
162     }
164     $humantimenow = date('r', $timenow);
165     $finishtime = $timenow + $keepalive;
166     $waiting = false;
167     $taskcount = 0;
169     // Run all adhoc tasks.
170     while (!\core\task\manager::static_caches_cleared_since($timenow)) {
172         if ($checklimits && (time() - $timenow) >= $maxruntime) {
173             if ($waiting) {
174                 $waiting = false;
175                 mtrace('');
176             }
177             mtrace("Stopping processing of adhoc tasks as time limit has been reached.");
178             break;
179         }
181         try {
182             $task = \core\task\manager::get_next_adhoc_task(time(), $checklimits);
183         } catch (Exception $e) {
184             if ($adhoclock) {
185                 // Release the adhoc task runner lock.
186                 $adhoclock->release();
187             }
188             throw $e;
189         }
191         if ($task) {
192             if ($waiting) {
193                 mtrace('');
194             }
195             $waiting = false;
196             cron_run_inner_adhoc_task($task);
197             $taskcount++;
198             unset($task);
199         } else {
200             if (time() >= $finishtime) {
201                 break;
202             }
203             if (!$waiting) {
204                 mtrace('Waiting for more adhoc tasks to be queued ', '');
205             } else {
206                 mtrace('.', '');
207             }
208             $waiting = true;
209             sleep(1);
210         }
211     }
213     if ($waiting) {
214         mtrace('');
215     }
217     mtrace("Ran {$taskcount} adhoc tasks found at {$humantimenow}");
219     if ($adhoclock) {
220         // Release the adhoc task runner lock.
221         $adhoclock->release();
222     }
225 /**
226  * Shared code that handles running of a single scheduled task within the cron.
227  *
228  * Not intended for calling directly outside of this library!
229  *
230  * @param \core\task\task_base $task
231  */
232 function cron_run_inner_scheduled_task(\core\task\task_base $task) {
233     global $CFG, $DB;
235     \core\task\logmanager::start_logging($task);
237     $fullname = $task->get_name() . ' (' . get_class($task) . ')';
238     mtrace('Execute scheduled task: ' . $fullname);
239     cron_trace_time_and_memory();
240     $predbqueries = null;
241     $predbqueries = $DB->perf_get_queries();
242     $pretime = microtime(1);
243     try {
244         get_mailer('buffer');
245         cron_prepare_core_renderer();
246         $task->execute();
247         if ($DB->is_transaction_started()) {
248             throw new coding_exception("Task left transaction open");
249         }
250         if (isset($predbqueries)) {
251             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
252             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
253         }
254         mtrace('Scheduled task complete: ' . $fullname);
255         \core\task\manager::scheduled_task_complete($task);
256     } catch (Exception $e) {
257         if ($DB && $DB->is_transaction_started()) {
258             error_log('Database transaction aborted automatically in ' . get_class($task));
259             $DB->force_transaction_rollback();
260         }
261         if (isset($predbqueries)) {
262             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
263             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
264         }
265         mtrace('Scheduled task failed: ' . $fullname . ',' . $e->getMessage());
266         if ($CFG->debugdeveloper) {
267             if (!empty($e->debuginfo)) {
268                 mtrace("Debug info:");
269                 mtrace($e->debuginfo);
270             }
271             mtrace("Backtrace:");
272             mtrace(format_backtrace($e->getTrace(), true));
273         }
274         \core\task\manager::scheduled_task_failed($task);
275     } finally {
276         cron_prepare_core_renderer(true);
277     }
278     get_mailer('close');
281 /**
282  * Shared code that handles running of a single adhoc task within the cron.
283  *
284  * @param \core\task\adhoc_task $task
285  */
286 function cron_run_inner_adhoc_task(\core\task\adhoc_task $task) {
287     global $DB, $CFG;
289     \core\task\logmanager::start_logging($task);
291     mtrace("Execute adhoc task: " . get_class($task));
292     cron_trace_time_and_memory();
293     $predbqueries = null;
294     $predbqueries = $DB->perf_get_queries();
295     $pretime      = microtime(1);
297     if ($userid = $task->get_userid()) {
298         // This task has a userid specified.
299         if ($user = \core_user::get_user($userid)) {
300             // User found. Check that they are suitable.
301             try {
302                 \core_user::require_active_user($user, true, true);
303             } catch (moodle_exception $e) {
304                 mtrace("User {$userid} cannot be used to run an adhoc task: " . get_class($task) . ". Cancelling task.");
305                 $user = null;
306             }
307         } else {
308             // Unable to find the user for this task.
309             // A user missing in the database will never reappear.
310             mtrace("User {$userid} could not be found for adhoc task: " . get_class($task) . ". Cancelling task.");
311         }
313         if (empty($user)) {
314             // A user missing in the database will never reappear so the task needs to be failed to ensure that locks are removed,
315             // and then removed to prevent future runs.
316             // A task running as a user should only be run as that user.
317             \core\task\manager::adhoc_task_failed($task);
318             $DB->delete_records('task_adhoc', ['id' => $task->get_id()]);
320             return;
321         }
323         cron_setup_user($user);
324     }
326     try {
327         get_mailer('buffer');
328         cron_prepare_core_renderer();
329         $task->execute();
330         if ($DB->is_transaction_started()) {
331             throw new coding_exception("Task left transaction open");
332         }
333         if (isset($predbqueries)) {
334             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
335             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
336         }
337         mtrace("Adhoc task complete: " . get_class($task));
338         \core\task\manager::adhoc_task_complete($task);
339     } catch (Exception $e) {
340         if ($DB && $DB->is_transaction_started()) {
341             error_log('Database transaction aborted automatically in ' . get_class($task));
342             $DB->force_transaction_rollback();
343         }
344         if (isset($predbqueries)) {
345             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
346             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
347         }
348         mtrace("Adhoc task failed: " . get_class($task) . "," . $e->getMessage());
349         if ($CFG->debugdeveloper) {
350             if (!empty($e->debuginfo)) {
351                 mtrace("Debug info:");
352                 mtrace($e->debuginfo);
353             }
354             mtrace("Backtrace:");
355             mtrace(format_backtrace($e->getTrace(), true));
356         }
357         \core\task\manager::adhoc_task_failed($task);
358     } finally {
359         // Reset back to the standard admin user.
360         cron_setup_user();
361         cron_prepare_core_renderer(true);
362     }
363     get_mailer('close');
366 /**
367  * Runs a single cron task. This function assumes it is displaying output in pseudo-CLI mode.
368  *
369  * The function will fail if the task is disabled.
370  *
371  * Warning: Because this function closes the browser session, it may not be safe to continue
372  * with other processing (other than displaying the rest of the page) after using this function!
373  *
374  * @param \core\task\scheduled_task $task Task to run
375  * @return bool True if cron run successful
376  */
377 function cron_run_single_task(\core\task\scheduled_task $task) {
378     global $CFG, $DB, $USER;
380     if (CLI_MAINTENANCE) {
381         echo "CLI maintenance mode active, cron execution suspended.\n";
382         return false;
383     }
385     if (moodle_needs_upgrading()) {
386         echo "Moodle upgrade pending, cron execution suspended.\n";
387         return false;
388     }
390     // Check task and component is not disabled.
391     $taskname = get_class($task);
392     if ($task->get_disabled()) {
393         echo "Task is disabled ($taskname).\n";
394         return false;
395     }
396     $component = $task->get_component();
397     if ($plugininfo = core_plugin_manager::instance()->get_plugin_info($component)) {
398         if ($plugininfo->is_enabled() === false && !$task->get_run_if_component_disabled()) {
399             echo "Component is not enabled ($component).\n";
400             return false;
401         }
402     }
404     // Enable debugging features as per config settings.
405     if (!empty($CFG->showcronsql)) {
406         $DB->set_debug(true);
407     }
408     if (!empty($CFG->showcrondebugging)) {
409         set_debugging(DEBUG_DEVELOPER, true);
410     }
412     // Increase time and memory limits.
413     core_php_time_limit::raise();
414     raise_memory_limit(MEMORY_EXTRA);
416     // Switch to admin account for cron tasks, but close the session so we don't send this stuff
417     // to the browser.
418     session_write_close();
419     $realuser = clone($USER);
420     cron_setup_user(null, null, true);
422     // Get lock for cron task.
423     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
424     if (!$cronlock = $cronlockfactory->get_lock('core_cron', 1)) {
425         echo "Unable to get cron lock.\n";
426         return false;
427     }
428     if (!$lock = $cronlockfactory->get_lock($taskname, 1)) {
429         $cronlock->release();
430         echo "Unable to get task lock for $taskname.\n";
431         return false;
432     }
433     $task->set_lock($lock);
434     if (!$task->is_blocking()) {
435         $cronlock->release();
436     } else {
437         $task->set_cron_lock($cronlock);
438     }
440     // Run actual tasks.
441     cron_run_inner_scheduled_task($task);
443     // Go back to real user account.
444     cron_setup_user($realuser, null, true);
446     return true;
449 /**
450  * Output some standard information during cron runs. Specifically current time
451  * and memory usage. This method also does gc_collect_cycles() (before displaying
452  * memory usage) to try to help PHP manage memory better.
453  */
454 function cron_trace_time_and_memory() {
455     gc_collect_cycles();
456     mtrace('... started ' . date('H:i:s') . '. Current memory use ' . display_size(memory_get_usage()) . '.');
459 /**
460  * Executes cron functions for a specific type of plugin.
461  *
462  * @param string $plugintype Plugin type (e.g. 'report')
463  * @param string $description If specified, will display 'Starting (whatever)'
464  *   and 'Finished (whatever)' lines, otherwise does not display
465  */
466 function cron_execute_plugin_type($plugintype, $description = null) {
467     global $DB;
469     // Get list from plugin => function for all plugins
470     $plugins = get_plugin_list_with_function($plugintype, 'cron');
472     // Modify list for backward compatibility (different files/names)
473     $plugins = cron_bc_hack_plugin_functions($plugintype, $plugins);
475     // Return if no plugins with cron function to process
476     if (!$plugins) {
477         return;
478     }
480     if ($description) {
481         mtrace('Starting '.$description);
482     }
484     foreach ($plugins as $component=>$cronfunction) {
485         $dir = core_component::get_component_directory($component);
487         // Get cron period if specified in version.php, otherwise assume every cron
488         $cronperiod = 0;
489         if (file_exists("$dir/version.php")) {
490             $plugin = new stdClass();
491             include("$dir/version.php");
492             if (isset($plugin->cron)) {
493                 $cronperiod = $plugin->cron;
494             }
495         }
497         // Using last cron and cron period, don't run if it already ran recently
498         $lastcron = get_config($component, 'lastcron');
499         if ($cronperiod && $lastcron) {
500             if ($lastcron + $cronperiod > time()) {
501                 // do not execute cron yet
502                 continue;
503             }
504         }
506         mtrace('Processing cron function for ' . $component . '...');
507         cron_trace_time_and_memory();
508         $pre_dbqueries = $DB->perf_get_queries();
509         $pre_time = microtime(true);
511         $cronfunction();
513         mtrace("done. (" . ($DB->perf_get_queries() - $pre_dbqueries) . " dbqueries, " .
514                 round(microtime(true) - $pre_time, 2) . " seconds)");
516         set_config('lastcron', time(), $component);
517         core_php_time_limit::raise();
518     }
520     if ($description) {
521         mtrace('Finished ' . $description);
522     }
525 /**
526  * Used to add in old-style cron functions within plugins that have not been converted to the
527  * new standard API. (The standard API is frankenstyle_name_cron() in lib.php; some types used
528  * cron.php and some used a different name.)
529  *
530  * @param string $plugintype Plugin type e.g. 'report'
531  * @param array $plugins Array from plugin name (e.g. 'report_frog') to function name (e.g.
532  *   'report_frog_cron') for plugin cron functions that were already found using the new API
533  * @return array Revised version of $plugins that adds in any extra plugin functions found by
534  *   looking in the older location
535  */
536 function cron_bc_hack_plugin_functions($plugintype, $plugins) {
537     global $CFG; // mandatory in case it is referenced by include()d PHP script
539     if ($plugintype === 'report') {
540         // Admin reports only - not course report because course report was
541         // never implemented before, so doesn't need BC
542         foreach (core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
543             $component = $plugintype . '_' . $pluginname;
544             if (isset($plugins[$component])) {
545                 // We already have detected the function using the new API
546                 continue;
547             }
548             if (!file_exists("$dir/cron.php")) {
549                 // No old style cron file present
550                 continue;
551             }
552             include_once("$dir/cron.php");
553             $cronfunction = $component . '_cron';
554             if (function_exists($cronfunction)) {
555                 $plugins[$component] = $cronfunction;
556             } else {
557                 debugging("Invalid legacy cron.php detected in $component, " .
558                         "please use lib.php instead");
559             }
560         }
561     } else if (strpos($plugintype, 'grade') === 0) {
562         // Detect old style cron function names
563         // Plugin gradeexport_frog used to use grade_export_frog_cron() instead of
564         // new standard API gradeexport_frog_cron(). Also applies to gradeimport, gradereport
565         foreach(core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
566             $component = $plugintype.'_'.$pluginname;
567             if (isset($plugins[$component])) {
568                 // We already have detected the function using the new API
569                 continue;
570             }
571             if (!file_exists("$dir/lib.php")) {
572                 continue;
573             }
574             include_once("$dir/lib.php");
575             $cronfunction = str_replace('grade', 'grade_', $plugintype) . '_' .
576                     $pluginname . '_cron';
577             if (function_exists($cronfunction)) {
578                 $plugins[$component] = $cronfunction;
579             }
580         }
581     }
583     return $plugins;
586 /**
587  * Prepare the output renderer for the cron run.
588  *
589  * This involves creating a new $PAGE, and $OUTPUT fresh for each task and prevents any one task from influencing
590  * any other.
591  *
592  * @param   bool    $restore Whether to restore the original PAGE and OUTPUT
593  */
594 function cron_prepare_core_renderer($restore = false) {
595     global $OUTPUT, $PAGE;
597     // Store the original PAGE and OUTPUT values so that they can be reset at a later point to the original.
598     // This should not normally be required, but may be used in places such as the scheduled task tool's "Run now"
599     // functionality.
600     static $page = null;
601     static $output = null;
603     if (null === $page) {
604         $page = $PAGE;
605     }
607     if (null === $output) {
608         $output = $OUTPUT;
609     }
611     if (!empty($restore)) {
612         $PAGE = $page;
613         $page = null;
615         $OUTPUT = $output;
616         $output = null;
617     } else {
618         // Setup a new General renderer.
619         // Cron tasks may produce output to be used in web, so we must use the appropriate renderer target.
620         // This allows correct use of templates, etc.
621         $PAGE = new \moodle_page();
622         $OUTPUT = new \core_renderer($PAGE, RENDERER_TARGET_GENERAL);
623     }