Merge branch 'MDL-67596-cron-ramp-up' of https://github.com/brendanheywood/moodle
[moodle.git] / lib / cronlib.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Cron functions.
19  *
20  * @package    core
21  * @subpackage admin
22  * @copyright  1999 onwards Martin Dougiamas  http://dougiamas.com
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
26 /**
27  * Execute cron tasks
28  */
29 function cron_run() {
30     global $DB, $CFG, $OUTPUT;
32     if (CLI_MAINTENANCE) {
33         echo "CLI maintenance mode active, cron execution suspended.\n";
34         exit(1);
35     }
37     if (moodle_needs_upgrading()) {
38         echo "Moodle upgrade pending, cron execution suspended.\n";
39         exit(1);
40     }
42     require_once($CFG->libdir.'/adminlib.php');
44     if (!empty($CFG->showcronsql)) {
45         $DB->set_debug(true);
46     }
47     if (!empty($CFG->showcrondebugging)) {
48         set_debugging(DEBUG_DEVELOPER, true);
49     }
51     core_php_time_limit::raise();
52     $starttime = microtime();
54     // Increase memory limit
55     raise_memory_limit(MEMORY_EXTRA);
57     // Emulate normal session - we use admin accoutn by default
58     cron_setup_user();
60     // Start output log
61     $timenow  = time();
62     mtrace("Server Time: ".date('r', $timenow)."\n\n");
64     // Record start time and interval between the last cron runs.
65     $laststart = get_config('tool_task', 'lastcronstart');
66     set_config('lastcronstart', $timenow, 'tool_task');
67     if ($laststart) {
68         // Record the interval between last two runs (always store at least 1 second).
69         set_config('lastcroninterval', max(1, $timenow - $laststart), 'tool_task');
70     }
72     // Run all scheduled tasks.
73     cron_run_scheduled_tasks($timenow);
75     // Run adhoc tasks.
76     cron_run_adhoc_tasks($timenow);
78     mtrace("Cron script completed correctly");
80     gc_collect_cycles();
81     mtrace('Cron completed at ' . date('H:i:s') . '. Memory used ' . display_size(memory_get_usage()) . '.');
82     $difftime = microtime_diff($starttime, microtime());
83     mtrace("Execution took ".$difftime." seconds");
84 }
86 /**
87  * Execute all queued scheduled tasks, applying necessary concurrency limits and time limits.
88  *
89  * @param   int     $timenow The time this process started.
90  */
91 function cron_run_scheduled_tasks(int $timenow) {
92     // Allow a restriction on the number of scheduled task runners at once.
93     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
94     $maxruns = get_config('core', 'task_scheduled_concurrency_limit');
95     $maxruntime = get_config('core', 'task_scheduled_max_runtime');
97     $scheduledlock = null;
98     for ($run = 0; $run < $maxruns; $run++) {
99         // If we can't get a lock instantly it means runner N is already running
100         // so fail as fast as possible and try N+1 so we don't limit the speed at
101         // which we bring new runners into the pool.
102         if ($scheduledlock = $cronlockfactory->get_lock("scheduled_task_runner_{$run}", 0)) {
103             break;
104         }
105     }
107     if (!$scheduledlock) {
108         mtrace("Skipping processing of scheduled tasks. Concurrency limit reached.");
109         return;
110     }
112     $starttime = time();
114     // Run all scheduled tasks.
115     while (!\core\task\manager::static_caches_cleared_since($timenow) &&
116             $task = \core\task\manager::get_next_scheduled_task($timenow)) {
117         cron_run_inner_scheduled_task($task);
118         unset($task);
120         if ((time() - $starttime) > $maxruntime) {
121             mtrace("Stopping processing of scheduled tasks as time limit has been reached.");
122             break;
123         }
124     }
126     // Release the scheduled task runner lock.
127     $scheduledlock->release();
130 /**
131  * Execute all queued adhoc tasks, applying necessary concurrency limits and time limits.
132  *
133  * @param   int     $timenow The time this process started.
134  * @param   int     $keepalive Keep this function alive for N seconds and poll for new adhoc tasks.
135  * @param   bool    $checklimits Should we check limits?
136  */
137 function cron_run_adhoc_tasks(int $timenow, $keepalive = 0, $checklimits = true) {
138     // Allow a restriction on the number of adhoc task runners at once.
139     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
140     $maxruns = get_config('core', 'task_adhoc_concurrency_limit');
141     $maxruntime = get_config('core', 'task_adhoc_max_runtime');
143     if ($checklimits) {
144         $adhoclock = null;
145         for ($run = 0; $run < $maxruns; $run++) {
146             // If we can't get a lock instantly it means runner N is already running
147             // so fail as fast as possible and try N+1 so we don't limit the speed at
148             // which we bring new runners into the pool.
149             if ($adhoclock = $cronlockfactory->get_lock("adhoc_task_runner_{$run}", 0)) {
150                 break;
151             }
152         }
154         if (!$adhoclock) {
155             mtrace("Skipping processing of adhoc tasks. Concurrency limit reached.");
156             return;
157         }
158     }
160     $humantimenow = date('r', $timenow);
161     $finishtime = $timenow + $keepalive;
162     $waiting = false;
163     $taskcount = 0;
165     // Run all adhoc tasks.
166     while (!\core\task\manager::static_caches_cleared_since($timenow)) {
168         if ($checklimits && (time() - $timenow) >= $maxruntime) {
169             if ($waiting) {
170                 $waiting = false;
171                 mtrace('');
172             }
173             mtrace("Stopping processing of adhoc tasks as time limit has been reached.");
174             break;
175         }
177         $task = \core\task\manager::get_next_adhoc_task(time(), $checklimits);
179         if ($task) {
180             if ($waiting) {
181                 mtrace('');
182             }
183             $waiting = false;
184             cron_run_inner_adhoc_task($task);
185             $taskcount++;
186             unset($task);
187         } else {
188             if (time() >= $finishtime) {
189                 break;
190             }
191             if (!$waiting) {
192                 mtrace('Waiting for more adhoc tasks to be queued ', '');
193             } else {
194                 mtrace('.', '');
195             }
196             $waiting = true;
197             sleep(1);
198         }
199     }
201     if ($waiting) {
202         mtrace('');
203     }
205     mtrace("Ran {$taskcount} adhoc tasks found at {$humantimenow}");
207     if ($adhoclock) {
208         // Release the adhoc task runner lock.
209         $adhoclock->release();
210     }
213 /**
214  * Shared code that handles running of a single scheduled task within the cron.
215  *
216  * Not intended for calling directly outside of this library!
217  *
218  * @param \core\task\task_base $task
219  */
220 function cron_run_inner_scheduled_task(\core\task\task_base $task) {
221     global $CFG, $DB;
223     \core\task\logmanager::start_logging($task);
225     $fullname = $task->get_name() . ' (' . get_class($task) . ')';
226     mtrace('Execute scheduled task: ' . $fullname);
227     cron_trace_time_and_memory();
228     $predbqueries = null;
229     $predbqueries = $DB->perf_get_queries();
230     $pretime = microtime(1);
231     try {
232         get_mailer('buffer');
233         cron_prepare_core_renderer();
234         $task->execute();
235         if ($DB->is_transaction_started()) {
236             throw new coding_exception("Task left transaction open");
237         }
238         if (isset($predbqueries)) {
239             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
240             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
241         }
242         mtrace('Scheduled task complete: ' . $fullname);
243         \core\task\manager::scheduled_task_complete($task);
244     } catch (Exception $e) {
245         if ($DB && $DB->is_transaction_started()) {
246             error_log('Database transaction aborted automatically in ' . get_class($task));
247             $DB->force_transaction_rollback();
248         }
249         if (isset($predbqueries)) {
250             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
251             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
252         }
253         mtrace('Scheduled task failed: ' . $fullname . ',' . $e->getMessage());
254         if ($CFG->debugdeveloper) {
255             if (!empty($e->debuginfo)) {
256                 mtrace("Debug info:");
257                 mtrace($e->debuginfo);
258             }
259             mtrace("Backtrace:");
260             mtrace(format_backtrace($e->getTrace(), true));
261         }
262         \core\task\manager::scheduled_task_failed($task);
263     } finally {
264         cron_prepare_core_renderer(true);
265     }
266     get_mailer('close');
269 /**
270  * Shared code that handles running of a single adhoc task within the cron.
271  *
272  * @param \core\task\adhoc_task $task
273  */
274 function cron_run_inner_adhoc_task(\core\task\adhoc_task $task) {
275     global $DB, $CFG;
277     \core\task\logmanager::start_logging($task);
279     mtrace("Execute adhoc task: " . get_class($task));
280     cron_trace_time_and_memory();
281     $predbqueries = null;
282     $predbqueries = $DB->perf_get_queries();
283     $pretime      = microtime(1);
285     if ($userid = $task->get_userid()) {
286         // This task has a userid specified.
287         if ($user = \core_user::get_user($userid)) {
288             // User found. Check that they are suitable.
289             try {
290                 \core_user::require_active_user($user, true, true);
291             } catch (moodle_exception $e) {
292                 mtrace("User {$userid} cannot be used to run an adhoc task: " . get_class($task) . ". Cancelling task.");
293                 $user = null;
294             }
295         } else {
296             // Unable to find the user for this task.
297             // A user missing in the database will never reappear.
298             mtrace("User {$userid} could not be found for adhoc task: " . get_class($task) . ". Cancelling task.");
299         }
301         if (empty($user)) {
302             // A user missing in the database will never reappear so the task needs to be failed to ensure that locks are removed,
303             // and then removed to prevent future runs.
304             // A task running as a user should only be run as that user.
305             \core\task\manager::adhoc_task_failed($task);
306             $DB->delete_records('task_adhoc', ['id' => $task->get_id()]);
308             return;
309         }
311         cron_setup_user($user);
312     }
314     try {
315         get_mailer('buffer');
316         cron_prepare_core_renderer();
317         $task->execute();
318         if ($DB->is_transaction_started()) {
319             throw new coding_exception("Task left transaction open");
320         }
321         if (isset($predbqueries)) {
322             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
323             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
324         }
325         mtrace("Adhoc task complete: " . get_class($task));
326         \core\task\manager::adhoc_task_complete($task);
327     } catch (Exception $e) {
328         if ($DB && $DB->is_transaction_started()) {
329             error_log('Database transaction aborted automatically in ' . get_class($task));
330             $DB->force_transaction_rollback();
331         }
332         if (isset($predbqueries)) {
333             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
334             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
335         }
336         mtrace("Adhoc task failed: " . get_class($task) . "," . $e->getMessage());
337         if ($CFG->debugdeveloper) {
338             if (!empty($e->debuginfo)) {
339                 mtrace("Debug info:");
340                 mtrace($e->debuginfo);
341             }
342             mtrace("Backtrace:");
343             mtrace(format_backtrace($e->getTrace(), true));
344         }
345         \core\task\manager::adhoc_task_failed($task);
346     } finally {
347         // Reset back to the standard admin user.
348         cron_setup_user();
349         cron_prepare_core_renderer(true);
350     }
351     get_mailer('close');
354 /**
355  * Runs a single cron task. This function assumes it is displaying output in pseudo-CLI mode.
356  *
357  * The function will fail if the task is disabled.
358  *
359  * Warning: Because this function closes the browser session, it may not be safe to continue
360  * with other processing (other than displaying the rest of the page) after using this function!
361  *
362  * @param \core\task\scheduled_task $task Task to run
363  * @return bool True if cron run successful
364  */
365 function cron_run_single_task(\core\task\scheduled_task $task) {
366     global $CFG, $DB, $USER;
368     if (CLI_MAINTENANCE) {
369         echo "CLI maintenance mode active, cron execution suspended.\n";
370         return false;
371     }
373     if (moodle_needs_upgrading()) {
374         echo "Moodle upgrade pending, cron execution suspended.\n";
375         return false;
376     }
378     // Check task and component is not disabled.
379     $taskname = get_class($task);
380     if ($task->get_disabled()) {
381         echo "Task is disabled ($taskname).\n";
382         return false;
383     }
384     $component = $task->get_component();
385     if ($plugininfo = core_plugin_manager::instance()->get_plugin_info($component)) {
386         if ($plugininfo->is_enabled() === false && !$task->get_run_if_component_disabled()) {
387             echo "Component is not enabled ($component).\n";
388             return false;
389         }
390     }
392     // Enable debugging features as per config settings.
393     if (!empty($CFG->showcronsql)) {
394         $DB->set_debug(true);
395     }
396     if (!empty($CFG->showcrondebugging)) {
397         set_debugging(DEBUG_DEVELOPER, true);
398     }
400     // Increase time and memory limits.
401     core_php_time_limit::raise();
402     raise_memory_limit(MEMORY_EXTRA);
404     // Switch to admin account for cron tasks, but close the session so we don't send this stuff
405     // to the browser.
406     session_write_close();
407     $realuser = clone($USER);
408     cron_setup_user(null, null, true);
410     // Get lock for cron task.
411     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
412     if (!$cronlock = $cronlockfactory->get_lock('core_cron', 1)) {
413         echo "Unable to get cron lock.\n";
414         return false;
415     }
416     if (!$lock = $cronlockfactory->get_lock($taskname, 1)) {
417         $cronlock->release();
418         echo "Unable to get task lock for $taskname.\n";
419         return false;
420     }
421     $task->set_lock($lock);
422     if (!$task->is_blocking()) {
423         $cronlock->release();
424     } else {
425         $task->set_cron_lock($cronlock);
426     }
428     // Run actual tasks.
429     cron_run_inner_scheduled_task($task);
431     // Go back to real user account.
432     cron_setup_user($realuser, null, true);
434     return true;
437 /**
438  * Output some standard information during cron runs. Specifically current time
439  * and memory usage. This method also does gc_collect_cycles() (before displaying
440  * memory usage) to try to help PHP manage memory better.
441  */
442 function cron_trace_time_and_memory() {
443     gc_collect_cycles();
444     mtrace('... started ' . date('H:i:s') . '. Current memory use ' . display_size(memory_get_usage()) . '.');
447 /**
448  * Executes cron functions for a specific type of plugin.
449  *
450  * @param string $plugintype Plugin type (e.g. 'report')
451  * @param string $description If specified, will display 'Starting (whatever)'
452  *   and 'Finished (whatever)' lines, otherwise does not display
453  */
454 function cron_execute_plugin_type($plugintype, $description = null) {
455     global $DB;
457     // Get list from plugin => function for all plugins
458     $plugins = get_plugin_list_with_function($plugintype, 'cron');
460     // Modify list for backward compatibility (different files/names)
461     $plugins = cron_bc_hack_plugin_functions($plugintype, $plugins);
463     // Return if no plugins with cron function to process
464     if (!$plugins) {
465         return;
466     }
468     if ($description) {
469         mtrace('Starting '.$description);
470     }
472     foreach ($plugins as $component=>$cronfunction) {
473         $dir = core_component::get_component_directory($component);
475         // Get cron period if specified in version.php, otherwise assume every cron
476         $cronperiod = 0;
477         if (file_exists("$dir/version.php")) {
478             $plugin = new stdClass();
479             include("$dir/version.php");
480             if (isset($plugin->cron)) {
481                 $cronperiod = $plugin->cron;
482             }
483         }
485         // Using last cron and cron period, don't run if it already ran recently
486         $lastcron = get_config($component, 'lastcron');
487         if ($cronperiod && $lastcron) {
488             if ($lastcron + $cronperiod > time()) {
489                 // do not execute cron yet
490                 continue;
491             }
492         }
494         mtrace('Processing cron function for ' . $component . '...');
495         cron_trace_time_and_memory();
496         $pre_dbqueries = $DB->perf_get_queries();
497         $pre_time = microtime(true);
499         $cronfunction();
501         mtrace("done. (" . ($DB->perf_get_queries() - $pre_dbqueries) . " dbqueries, " .
502                 round(microtime(true) - $pre_time, 2) . " seconds)");
504         set_config('lastcron', time(), $component);
505         core_php_time_limit::raise();
506     }
508     if ($description) {
509         mtrace('Finished ' . $description);
510     }
513 /**
514  * Used to add in old-style cron functions within plugins that have not been converted to the
515  * new standard API. (The standard API is frankenstyle_name_cron() in lib.php; some types used
516  * cron.php and some used a different name.)
517  *
518  * @param string $plugintype Plugin type e.g. 'report'
519  * @param array $plugins Array from plugin name (e.g. 'report_frog') to function name (e.g.
520  *   'report_frog_cron') for plugin cron functions that were already found using the new API
521  * @return array Revised version of $plugins that adds in any extra plugin functions found by
522  *   looking in the older location
523  */
524 function cron_bc_hack_plugin_functions($plugintype, $plugins) {
525     global $CFG; // mandatory in case it is referenced by include()d PHP script
527     if ($plugintype === 'report') {
528         // Admin reports only - not course report because course report was
529         // never implemented before, so doesn't need BC
530         foreach (core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
531             $component = $plugintype . '_' . $pluginname;
532             if (isset($plugins[$component])) {
533                 // We already have detected the function using the new API
534                 continue;
535             }
536             if (!file_exists("$dir/cron.php")) {
537                 // No old style cron file present
538                 continue;
539             }
540             include_once("$dir/cron.php");
541             $cronfunction = $component . '_cron';
542             if (function_exists($cronfunction)) {
543                 $plugins[$component] = $cronfunction;
544             } else {
545                 debugging("Invalid legacy cron.php detected in $component, " .
546                         "please use lib.php instead");
547             }
548         }
549     } else if (strpos($plugintype, 'grade') === 0) {
550         // Detect old style cron function names
551         // Plugin gradeexport_frog used to use grade_export_frog_cron() instead of
552         // new standard API gradeexport_frog_cron(). Also applies to gradeimport, gradereport
553         foreach(core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
554             $component = $plugintype.'_'.$pluginname;
555             if (isset($plugins[$component])) {
556                 // We already have detected the function using the new API
557                 continue;
558             }
559             if (!file_exists("$dir/lib.php")) {
560                 continue;
561             }
562             include_once("$dir/lib.php");
563             $cronfunction = str_replace('grade', 'grade_', $plugintype) . '_' .
564                     $pluginname . '_cron';
565             if (function_exists($cronfunction)) {
566                 $plugins[$component] = $cronfunction;
567             }
568         }
569     }
571     return $plugins;
574 /**
575  * Prepare the output renderer for the cron run.
576  *
577  * This involves creating a new $PAGE, and $OUTPUT fresh for each task and prevents any one task from influencing
578  * any other.
579  *
580  * @param   bool    $restore Whether to restore the original PAGE and OUTPUT
581  */
582 function cron_prepare_core_renderer($restore = false) {
583     global $OUTPUT, $PAGE;
585     // Store the original PAGE and OUTPUT values so that they can be reset at a later point to the original.
586     // This should not normally be required, but may be used in places such as the scheduled task tool's "Run now"
587     // functionality.
588     static $page = null;
589     static $output = null;
591     if (null === $page) {
592         $page = $PAGE;
593     }
595     if (null === $output) {
596         $output = $OUTPUT;
597     }
599     if (!empty($restore)) {
600         $PAGE = $page;
601         $page = null;
603         $OUTPUT = $output;
604         $output = null;
605     } else {
606         // Setup a new General renderer.
607         // Cron tasks may produce output to be used in web, so we must use the appropriate renderer target.
608         // This allows correct use of templates, etc.
609         $PAGE = new \moodle_page();
610         $OUTPUT = new \core_renderer($PAGE, RENDERER_TARGET_GENERAL);
611     }