bea92527e50ce9b44eb458e06a1e9f929312060c
[moodle.git] / lib / cronlib.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Cron functions.
19  *
20  * @package    core
21  * @subpackage admin
22  * @copyright  1999 onwards Martin Dougiamas  http://dougiamas.com
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
26 /**
27  * Execute cron tasks
28  */
29 function cron_run() {
30     global $DB, $CFG, $OUTPUT;
32     if (CLI_MAINTENANCE) {
33         echo "CLI maintenance mode active, cron execution suspended.\n";
34         exit(1);
35     }
37     if (moodle_needs_upgrading()) {
38         echo "Moodle upgrade pending, cron execution suspended.\n";
39         exit(1);
40     }
42     require_once($CFG->libdir.'/adminlib.php');
44     if (!empty($CFG->showcronsql)) {
45         $DB->set_debug(true);
46     }
47     if (!empty($CFG->showcrondebugging)) {
48         set_debugging(DEBUG_DEVELOPER, true);
49     }
51     core_php_time_limit::raise();
52     $starttime = microtime();
54     // Increase memory limit
55     raise_memory_limit(MEMORY_EXTRA);
57     // Emulate normal session - we use admin accoutn by default
58     cron_setup_user();
60     // Start output log
61     $timenow  = time();
62     mtrace("Server Time: ".date('r', $timenow)."\n\n");
64     // Record start time and interval between the last cron runs.
65     $laststart = get_config('tool_task', 'lastcronstart');
66     set_config('lastcronstart', $timenow, 'tool_task');
67     if ($laststart) {
68         // Record the interval between last two runs (always store at least 1 second).
69         set_config('lastcroninterval', max(1, $timenow - $laststart), 'tool_task');
70     }
72     // Run all scheduled tasks.
73     cron_run_scheduled_tasks($timenow);
75     // Run adhoc tasks.
76     cron_run_adhoc_tasks($timenow);
78     mtrace("Cron script completed correctly");
80     gc_collect_cycles();
81     mtrace('Cron completed at ' . date('H:i:s') . '. Memory used ' . display_size(memory_get_usage()) . '.');
82     $difftime = microtime_diff($starttime, microtime());
83     mtrace("Execution took ".$difftime." seconds");
84 }
86 /**
87  * Execute all queued scheduled tasks, applying necessary concurrency limits and time limits.
88  *
89  * @param   int     $timenow The time this process started.
90  * @throws \moodle_exception
91  */
92 function cron_run_scheduled_tasks(int $timenow) {
93     // Allow a restriction on the number of scheduled task runners at once.
94     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
95     $maxruns = get_config('core', 'task_scheduled_concurrency_limit');
96     $maxruntime = get_config('core', 'task_scheduled_max_runtime');
98     $scheduledlock = null;
99     for ($run = 0; $run < $maxruns; $run++) {
100         // If we can't get a lock instantly it means runner N is already running
101         // so fail as fast as possible and try N+1 so we don't limit the speed at
102         // which we bring new runners into the pool.
103         if ($scheduledlock = $cronlockfactory->get_lock("scheduled_task_runner_{$run}", 0)) {
104             break;
105         }
106     }
108     if (!$scheduledlock) {
109         mtrace("Skipping processing of scheduled tasks. Concurrency limit reached.");
110         return;
111     }
113     $starttime = time();
115     // Run all scheduled tasks.
116     try {
117         while (!\core\local\cli\shutdown::should_gracefully_exit() &&
118                 !\core\task\manager::static_caches_cleared_since($timenow) &&
119                 $task = \core\task\manager::get_next_scheduled_task($timenow)) {
120             cron_run_inner_scheduled_task($task);
121             unset($task);
123             if ((time() - $starttime) > $maxruntime) {
124                 mtrace("Stopping processing of scheduled tasks as time limit has been reached.");
125                 break;
126             }
127         }
128     } finally {
129         // Release the scheduled task runner lock.
130         $scheduledlock->release();
131     }
134 /**
135  * Execute all queued adhoc tasks, applying necessary concurrency limits and time limits.
136  *
137  * @param   int     $timenow The time this process started.
138  * @param   int     $keepalive Keep this function alive for N seconds and poll for new adhoc tasks.
139  * @param   bool    $checklimits Should we check limits?
140  * @throws \moodle_exception
141  */
142 function cron_run_adhoc_tasks(int $timenow, $keepalive = 0, $checklimits = true) {
143     // Allow a restriction on the number of adhoc task runners at once.
144     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
145     $maxruns = get_config('core', 'task_adhoc_concurrency_limit');
146     $maxruntime = get_config('core', 'task_adhoc_max_runtime');
148     if ($checklimits) {
149         $adhoclock = null;
150         for ($run = 0; $run < $maxruns; $run++) {
151             // If we can't get a lock instantly it means runner N is already running
152             // so fail as fast as possible and try N+1 so we don't limit the speed at
153             // which we bring new runners into the pool.
154             if ($adhoclock = $cronlockfactory->get_lock("adhoc_task_runner_{$run}", 0)) {
155                 break;
156             }
157         }
159         if (!$adhoclock) {
160             mtrace("Skipping processing of adhoc tasks. Concurrency limit reached.");
161             return;
162         }
163     }
165     $humantimenow = date('r', $timenow);
166     $finishtime = $timenow + $keepalive;
167     $waiting = false;
168     $taskcount = 0;
170     // Run all adhoc tasks.
171     while (!\core\local\cli\shutdown::should_gracefully_exit() &&
172             !\core\task\manager::static_caches_cleared_since($timenow)) {
174         if ($checklimits && (time() - $timenow) >= $maxruntime) {
175             if ($waiting) {
176                 $waiting = false;
177                 mtrace('');
178             }
179             mtrace("Stopping processing of adhoc tasks as time limit has been reached.");
180             break;
181         }
183         try {
184             $task = \core\task\manager::get_next_adhoc_task(time(), $checklimits);
185         } catch (Exception $e) {
186             if ($adhoclock) {
187                 // Release the adhoc task runner lock.
188                 $adhoclock->release();
189             }
190             throw $e;
191         }
193         if ($task) {
194             if ($waiting) {
195                 mtrace('');
196             }
197             $waiting = false;
198             cron_run_inner_adhoc_task($task);
199             $taskcount++;
200             unset($task);
201         } else {
202             if (time() >= $finishtime) {
203                 break;
204             }
205             if (!$waiting) {
206                 mtrace('Waiting for more adhoc tasks to be queued ', '');
207             } else {
208                 mtrace('.', '');
209             }
210             $waiting = true;
211             sleep(1);
212         }
213     }
215     if ($waiting) {
216         mtrace('');
217     }
219     mtrace("Ran {$taskcount} adhoc tasks found at {$humantimenow}");
221     if ($adhoclock) {
222         // Release the adhoc task runner lock.
223         $adhoclock->release();
224     }
227 /**
228  * Shared code that handles running of a single scheduled task within the cron.
229  *
230  * Not intended for calling directly outside of this library!
231  *
232  * @param \core\task\task_base $task
233  */
234 function cron_run_inner_scheduled_task(\core\task\task_base $task) {
235     global $CFG, $DB;
237     \core\task\logmanager::start_logging($task);
239     $fullname = $task->get_name() . ' (' . get_class($task) . ')';
240     mtrace('Execute scheduled task: ' . $fullname);
241     cron_trace_time_and_memory();
242     $predbqueries = null;
243     $predbqueries = $DB->perf_get_queries();
244     $pretime = microtime(1);
245     try {
246         get_mailer('buffer');
247         cron_prepare_core_renderer();
248         $task->execute();
249         if ($DB->is_transaction_started()) {
250             throw new coding_exception("Task left transaction open");
251         }
252         if (isset($predbqueries)) {
253             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
254             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
255         }
256         mtrace('Scheduled task complete: ' . $fullname);
257         \core\task\manager::scheduled_task_complete($task);
258     } catch (Exception $e) {
259         if ($DB && $DB->is_transaction_started()) {
260             error_log('Database transaction aborted automatically in ' . get_class($task));
261             $DB->force_transaction_rollback();
262         }
263         if (isset($predbqueries)) {
264             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
265             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
266         }
267         mtrace('Scheduled task failed: ' . $fullname . ',' . $e->getMessage());
268         if ($CFG->debugdeveloper) {
269             if (!empty($e->debuginfo)) {
270                 mtrace("Debug info:");
271                 mtrace($e->debuginfo);
272             }
273             mtrace("Backtrace:");
274             mtrace(format_backtrace($e->getTrace(), true));
275         }
276         \core\task\manager::scheduled_task_failed($task);
277     } finally {
278         // Reset back to the standard admin user.
279         cron_setup_user();
280         cron_prepare_core_renderer(true);
281     }
282     get_mailer('close');
285 /**
286  * Shared code that handles running of a single adhoc task within the cron.
287  *
288  * @param \core\task\adhoc_task $task
289  */
290 function cron_run_inner_adhoc_task(\core\task\adhoc_task $task) {
291     global $DB, $CFG;
293     \core\task\logmanager::start_logging($task);
295     mtrace("Execute adhoc task: " . get_class($task));
296     cron_trace_time_and_memory();
297     $predbqueries = null;
298     $predbqueries = $DB->perf_get_queries();
299     $pretime      = microtime(1);
301     if ($userid = $task->get_userid()) {
302         // This task has a userid specified.
303         if ($user = \core_user::get_user($userid)) {
304             // User found. Check that they are suitable.
305             try {
306                 \core_user::require_active_user($user, true, true);
307             } catch (moodle_exception $e) {
308                 mtrace("User {$userid} cannot be used to run an adhoc task: " . get_class($task) . ". Cancelling task.");
309                 $user = null;
310             }
311         } else {
312             // Unable to find the user for this task.
313             // A user missing in the database will never reappear.
314             mtrace("User {$userid} could not be found for adhoc task: " . get_class($task) . ". Cancelling task.");
315         }
317         if (empty($user)) {
318             // A user missing in the database will never reappear so the task needs to be failed to ensure that locks are removed,
319             // and then removed to prevent future runs.
320             // A task running as a user should only be run as that user.
321             \core\task\manager::adhoc_task_failed($task);
322             $DB->delete_records('task_adhoc', ['id' => $task->get_id()]);
324             return;
325         }
327         cron_setup_user($user);
328     }
330     try {
331         get_mailer('buffer');
332         cron_prepare_core_renderer();
333         $task->execute();
334         if ($DB->is_transaction_started()) {
335             throw new coding_exception("Task left transaction open");
336         }
337         if (isset($predbqueries)) {
338             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
339             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
340         }
341         mtrace("Adhoc task complete: " . get_class($task));
342         \core\task\manager::adhoc_task_complete($task);
343     } catch (Exception $e) {
344         if ($DB && $DB->is_transaction_started()) {
345             error_log('Database transaction aborted automatically in ' . get_class($task));
346             $DB->force_transaction_rollback();
347         }
348         if (isset($predbqueries)) {
349             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
350             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
351         }
352         mtrace("Adhoc task failed: " . get_class($task) . "," . $e->getMessage());
353         if ($CFG->debugdeveloper) {
354             if (!empty($e->debuginfo)) {
355                 mtrace("Debug info:");
356                 mtrace($e->debuginfo);
357             }
358             mtrace("Backtrace:");
359             mtrace(format_backtrace($e->getTrace(), true));
360         }
361         \core\task\manager::adhoc_task_failed($task);
362     } finally {
363         // Reset back to the standard admin user.
364         cron_setup_user();
365         cron_prepare_core_renderer(true);
366     }
367     get_mailer('close');
370 /**
371  * Output some standard information during cron runs. Specifically current time
372  * and memory usage. This method also does gc_collect_cycles() (before displaying
373  * memory usage) to try to help PHP manage memory better.
374  */
375 function cron_trace_time_and_memory() {
376     gc_collect_cycles();
377     mtrace('... started ' . date('H:i:s') . '. Current memory use ' . display_size(memory_get_usage()) . '.');
380 /**
381  * Executes cron functions for a specific type of plugin.
382  *
383  * @param string $plugintype Plugin type (e.g. 'report')
384  * @param string $description If specified, will display 'Starting (whatever)'
385  *   and 'Finished (whatever)' lines, otherwise does not display
386  */
387 function cron_execute_plugin_type($plugintype, $description = null) {
388     global $DB;
390     // Get list from plugin => function for all plugins
391     $plugins = get_plugin_list_with_function($plugintype, 'cron');
393     // Modify list for backward compatibility (different files/names)
394     $plugins = cron_bc_hack_plugin_functions($plugintype, $plugins);
396     // Return if no plugins with cron function to process
397     if (!$plugins) {
398         return;
399     }
401     if ($description) {
402         mtrace('Starting '.$description);
403     }
405     foreach ($plugins as $component=>$cronfunction) {
406         $dir = core_component::get_component_directory($component);
408         // Get cron period if specified in version.php, otherwise assume every cron
409         $cronperiod = 0;
410         if (file_exists("$dir/version.php")) {
411             $plugin = new stdClass();
412             include("$dir/version.php");
413             if (isset($plugin->cron)) {
414                 $cronperiod = $plugin->cron;
415             }
416         }
418         // Using last cron and cron period, don't run if it already ran recently
419         $lastcron = get_config($component, 'lastcron');
420         if ($cronperiod && $lastcron) {
421             if ($lastcron + $cronperiod > time()) {
422                 // do not execute cron yet
423                 continue;
424             }
425         }
427         mtrace('Processing cron function for ' . $component . '...');
428         cron_trace_time_and_memory();
429         $pre_dbqueries = $DB->perf_get_queries();
430         $pre_time = microtime(true);
432         $cronfunction();
434         mtrace("done. (" . ($DB->perf_get_queries() - $pre_dbqueries) . " dbqueries, " .
435                 round(microtime(true) - $pre_time, 2) . " seconds)");
437         set_config('lastcron', time(), $component);
438         core_php_time_limit::raise();
439     }
441     if ($description) {
442         mtrace('Finished ' . $description);
443     }
446 /**
447  * Used to add in old-style cron functions within plugins that have not been converted to the
448  * new standard API. (The standard API is frankenstyle_name_cron() in lib.php; some types used
449  * cron.php and some used a different name.)
450  *
451  * @param string $plugintype Plugin type e.g. 'report'
452  * @param array $plugins Array from plugin name (e.g. 'report_frog') to function name (e.g.
453  *   'report_frog_cron') for plugin cron functions that were already found using the new API
454  * @return array Revised version of $plugins that adds in any extra plugin functions found by
455  *   looking in the older location
456  */
457 function cron_bc_hack_plugin_functions($plugintype, $plugins) {
458     global $CFG; // mandatory in case it is referenced by include()d PHP script
460     if ($plugintype === 'report') {
461         // Admin reports only - not course report because course report was
462         // never implemented before, so doesn't need BC
463         foreach (core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
464             $component = $plugintype . '_' . $pluginname;
465             if (isset($plugins[$component])) {
466                 // We already have detected the function using the new API
467                 continue;
468             }
469             if (!file_exists("$dir/cron.php")) {
470                 // No old style cron file present
471                 continue;
472             }
473             include_once("$dir/cron.php");
474             $cronfunction = $component . '_cron';
475             if (function_exists($cronfunction)) {
476                 $plugins[$component] = $cronfunction;
477             } else {
478                 debugging("Invalid legacy cron.php detected in $component, " .
479                         "please use lib.php instead");
480             }
481         }
482     } else if (strpos($plugintype, 'grade') === 0) {
483         // Detect old style cron function names
484         // Plugin gradeexport_frog used to use grade_export_frog_cron() instead of
485         // new standard API gradeexport_frog_cron(). Also applies to gradeimport, gradereport
486         foreach(core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
487             $component = $plugintype.'_'.$pluginname;
488             if (isset($plugins[$component])) {
489                 // We already have detected the function using the new API
490                 continue;
491             }
492             if (!file_exists("$dir/lib.php")) {
493                 continue;
494             }
495             include_once("$dir/lib.php");
496             $cronfunction = str_replace('grade', 'grade_', $plugintype) . '_' .
497                     $pluginname . '_cron';
498             if (function_exists($cronfunction)) {
499                 $plugins[$component] = $cronfunction;
500             }
501         }
502     }
504     return $plugins;
507 /**
508  * Prepare the output renderer for the cron run.
509  *
510  * This involves creating a new $PAGE, and $OUTPUT fresh for each task and prevents any one task from influencing
511  * any other.
512  *
513  * @param   bool    $restore Whether to restore the original PAGE and OUTPUT
514  */
515 function cron_prepare_core_renderer($restore = false) {
516     global $OUTPUT, $PAGE;
518     // Store the original PAGE and OUTPUT values so that they can be reset at a later point to the original.
519     // This should not normally be required, but may be used in places such as the scheduled task tool's "Run now"
520     // functionality.
521     static $page = null;
522     static $output = null;
524     if (null === $page) {
525         $page = $PAGE;
526     }
528     if (null === $output) {
529         $output = $OUTPUT;
530     }
532     if (!empty($restore)) {
533         $PAGE = $page;
534         $page = null;
536         $OUTPUT = $output;
537         $output = null;
538     } else {
539         // Setup a new General renderer.
540         // Cron tasks may produce output to be used in web, so we must use the appropriate renderer target.
541         // This allows correct use of templates, etc.
542         $PAGE = new \moodle_page();
543         $OUTPUT = new \core_renderer($PAGE, RENDERER_TARGET_GENERAL);
544     }