MDL-67485 task: Release the task runner lock before throwing exception.
[moodle.git] / lib / cronlib.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Cron functions.
19  *
20  * @package    core
21  * @subpackage admin
22  * @copyright  1999 onwards Martin Dougiamas  http://dougiamas.com
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
26 /**
27  * Execute cron tasks
28  */
29 function cron_run() {
30     global $DB, $CFG, $OUTPUT;
32     if (CLI_MAINTENANCE) {
33         echo "CLI maintenance mode active, cron execution suspended.\n";
34         exit(1);
35     }
37     if (moodle_needs_upgrading()) {
38         echo "Moodle upgrade pending, cron execution suspended.\n";
39         exit(1);
40     }
42     require_once($CFG->libdir.'/adminlib.php');
44     if (!empty($CFG->showcronsql)) {
45         $DB->set_debug(true);
46     }
47     if (!empty($CFG->showcrondebugging)) {
48         set_debugging(DEBUG_DEVELOPER, true);
49     }
51     core_php_time_limit::raise();
52     $starttime = microtime();
54     // Increase memory limit
55     raise_memory_limit(MEMORY_EXTRA);
57     // Emulate normal session - we use admin accoutn by default
58     cron_setup_user();
60     // Start output log
61     $timenow  = time();
62     mtrace("Server Time: ".date('r', $timenow)."\n\n");
64     // Record start time and interval between the last cron runs.
65     $laststart = get_config('tool_task', 'lastcronstart');
66     set_config('lastcronstart', $timenow, 'tool_task');
67     if ($laststart) {
68         // Record the interval between last two runs (always store at least 1 second).
69         set_config('lastcroninterval', max(1, $timenow - $laststart), 'tool_task');
70     }
72     // Run all scheduled tasks.
73     cron_run_scheduled_tasks($timenow);
75     // Run adhoc tasks.
76     cron_run_adhoc_tasks($timenow);
78     mtrace("Cron script completed correctly");
80     gc_collect_cycles();
81     mtrace('Cron completed at ' . date('H:i:s') . '. Memory used ' . display_size(memory_get_usage()) . '.');
82     $difftime = microtime_diff($starttime, microtime());
83     mtrace("Execution took ".$difftime." seconds");
84 }
86 /**
87  * Execute all queued scheduled tasks, applying necessary concurrency limits and time limits.
88  *
89  * @param   int     $timenow The time this process started.
90  * @throws \moodle_exception
91  */
92 function cron_run_scheduled_tasks(int $timenow) {
93     // Allow a restriction on the number of scheduled task runners at once.
94     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
95     $maxruns = get_config('core', 'task_scheduled_concurrency_limit');
96     $maxruntime = get_config('core', 'task_scheduled_max_runtime');
98     $scheduledlock = null;
99     for ($run = 0; $run < $maxruns; $run++) {
100         if ($scheduledlock = $cronlockfactory->get_lock("scheduled_task_runner_{$run}", 1)) {
101             break;
102         }
103     }
105     if (!$scheduledlock) {
106         mtrace("Skipping processing of scheduled tasks. Concurrency limit reached.");
107         return;
108     }
110     $starttime = time();
112     // Run all scheduled tasks.
113     try {
114         while (!\core\task\manager::static_caches_cleared_since($timenow) &&
115                 $task = \core\task\manager::get_next_scheduled_task($timenow)) {
116             cron_run_inner_scheduled_task($task);
117             unset($task);
119             if ((time() - $starttime) > $maxruntime) {
120                 mtrace("Stopping processing of scheduled tasks as time limit has been reached.");
121                 break;
122             }
123         }
124     } finally {
125         // Release the scheduled task runner lock.
126         $scheduledlock->release();
127     }
130 /**
131  * Execute all queued adhoc tasks, applying necessary concurrency limits and time limits.
132  *
133  * @param   int     $timenow The time this process started.
134  * @param   int     $keepalive Keep this function alive for N seconds and poll for new adhoc tasks.
135  * @param   bool    $checklimits Should we check limits?
136  * @throws \moodle_exception
137  */
138 function cron_run_adhoc_tasks(int $timenow, $keepalive = 0, $checklimits = true) {
139     // Allow a restriction on the number of adhoc task runners at once.
140     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
141     $maxruns = get_config('core', 'task_adhoc_concurrency_limit');
142     $maxruntime = get_config('core', 'task_adhoc_max_runtime');
144     if ($checklimits) {
145         $adhoclock = null;
146         for ($run = 0; $run < $maxruns; $run++) {
147             if ($adhoclock = $cronlockfactory->get_lock("adhoc_task_runner_{$run}", 1)) {
148                 break;
149             }
150         }
152         if (!$adhoclock) {
153             mtrace("Skipping processing of adhoc tasks. Concurrency limit reached.");
154             return;
155         }
156     }
158     $humantimenow = date('r', $timenow);
159     $finishtime = $timenow + $keepalive;
160     $waiting = false;
161     $taskcount = 0;
163     // Run all adhoc tasks.
164     while (!\core\task\manager::static_caches_cleared_since($timenow)) {
166         if ($checklimits && (time() - $timenow) >= $maxruntime) {
167             if ($waiting) {
168                 $waiting = false;
169                 mtrace('');
170             }
171             mtrace("Stopping processing of adhoc tasks as time limit has been reached.");
172             break;
173         }
175         try {
176             $task = \core\task\manager::get_next_adhoc_task(time());
177         } catch (Exception $e) {
178             if ($adhoclock) {
179                 // Release the adhoc task runner lock.
180                 $adhoclock->release();
181             }
182             throw $e;
183         }
185         if ($task) {
186             if ($waiting) {
187                 mtrace('');
188             }
189             $waiting = false;
190             cron_run_inner_adhoc_task($task);
191             $taskcount++;
192             unset($task);
193         } else {
194             if (time() >= $finishtime) {
195                 break;
196             }
197             if (!$waiting) {
198                 mtrace('Waiting for more adhoc tasks to be queued ', '');
199             } else {
200                 mtrace('.', '');
201             }
202             $waiting = true;
203             sleep(1);
204         }
205     }
207     if ($waiting) {
208         mtrace('');
209     }
211     mtrace("Ran {$taskcount} adhoc tasks found at {$humantimenow}");
213     if ($adhoclock) {
214         // Release the adhoc task runner lock.
215         $adhoclock->release();
216     }
219 /**
220  * Shared code that handles running of a single scheduled task within the cron.
221  *
222  * Not intended for calling directly outside of this library!
223  *
224  * @param \core\task\task_base $task
225  */
226 function cron_run_inner_scheduled_task(\core\task\task_base $task) {
227     global $CFG, $DB;
229     \core\task\logmanager::start_logging($task);
231     $fullname = $task->get_name() . ' (' . get_class($task) . ')';
232     mtrace('Execute scheduled task: ' . $fullname);
233     cron_trace_time_and_memory();
234     $predbqueries = null;
235     $predbqueries = $DB->perf_get_queries();
236     $pretime = microtime(1);
237     try {
238         get_mailer('buffer');
239         cron_prepare_core_renderer();
240         $task->execute();
241         if ($DB->is_transaction_started()) {
242             throw new coding_exception("Task left transaction open");
243         }
244         if (isset($predbqueries)) {
245             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
246             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
247         }
248         mtrace('Scheduled task complete: ' . $fullname);
249         \core\task\manager::scheduled_task_complete($task);
250     } catch (Exception $e) {
251         if ($DB && $DB->is_transaction_started()) {
252             error_log('Database transaction aborted automatically in ' . get_class($task));
253             $DB->force_transaction_rollback();
254         }
255         if (isset($predbqueries)) {
256             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
257             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
258         }
259         mtrace('Scheduled task failed: ' . $fullname . ',' . $e->getMessage());
260         if ($CFG->debugdeveloper) {
261             if (!empty($e->debuginfo)) {
262                 mtrace("Debug info:");
263                 mtrace($e->debuginfo);
264             }
265             mtrace("Backtrace:");
266             mtrace(format_backtrace($e->getTrace(), true));
267         }
268         \core\task\manager::scheduled_task_failed($task);
269     } finally {
270         cron_prepare_core_renderer(true);
271     }
272     get_mailer('close');
275 /**
276  * Shared code that handles running of a single adhoc task within the cron.
277  *
278  * @param \core\task\adhoc_task $task
279  */
280 function cron_run_inner_adhoc_task(\core\task\adhoc_task $task) {
281     global $DB, $CFG;
283     \core\task\logmanager::start_logging($task);
285     mtrace("Execute adhoc task: " . get_class($task));
286     cron_trace_time_and_memory();
287     $predbqueries = null;
288     $predbqueries = $DB->perf_get_queries();
289     $pretime      = microtime(1);
291     if ($userid = $task->get_userid()) {
292         // This task has a userid specified.
293         if ($user = \core_user::get_user($userid)) {
294             // User found. Check that they are suitable.
295             try {
296                 \core_user::require_active_user($user, true, true);
297             } catch (moodle_exception $e) {
298                 mtrace("User {$userid} cannot be used to run an adhoc task: " . get_class($task) . ". Cancelling task.");
299                 $user = null;
300             }
301         } else {
302             // Unable to find the user for this task.
303             // A user missing in the database will never reappear.
304             mtrace("User {$userid} could not be found for adhoc task: " . get_class($task) . ". Cancelling task.");
305         }
307         if (empty($user)) {
308             // A user missing in the database will never reappear so the task needs to be failed to ensure that locks are removed,
309             // and then removed to prevent future runs.
310             // A task running as a user should only be run as that user.
311             \core\task\manager::adhoc_task_failed($task);
312             $DB->delete_records('task_adhoc', ['id' => $task->get_id()]);
314             return;
315         }
317         cron_setup_user($user);
318     }
320     try {
321         get_mailer('buffer');
322         cron_prepare_core_renderer();
323         $task->execute();
324         if ($DB->is_transaction_started()) {
325             throw new coding_exception("Task left transaction open");
326         }
327         if (isset($predbqueries)) {
328             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
329             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
330         }
331         mtrace("Adhoc task complete: " . get_class($task));
332         \core\task\manager::adhoc_task_complete($task);
333     } catch (Exception $e) {
334         if ($DB && $DB->is_transaction_started()) {
335             error_log('Database transaction aborted automatically in ' . get_class($task));
336             $DB->force_transaction_rollback();
337         }
338         if (isset($predbqueries)) {
339             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
340             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
341         }
342         mtrace("Adhoc task failed: " . get_class($task) . "," . $e->getMessage());
343         if ($CFG->debugdeveloper) {
344             if (!empty($e->debuginfo)) {
345                 mtrace("Debug info:");
346                 mtrace($e->debuginfo);
347             }
348             mtrace("Backtrace:");
349             mtrace(format_backtrace($e->getTrace(), true));
350         }
351         \core\task\manager::adhoc_task_failed($task);
352     } finally {
353         // Reset back to the standard admin user.
354         cron_setup_user();
355         cron_prepare_core_renderer(true);
356     }
357     get_mailer('close');
360 /**
361  * Runs a single cron task. This function assumes it is displaying output in pseudo-CLI mode.
362  *
363  * The function will fail if the task is disabled.
364  *
365  * Warning: Because this function closes the browser session, it may not be safe to continue
366  * with other processing (other than displaying the rest of the page) after using this function!
367  *
368  * @param \core\task\scheduled_task $task Task to run
369  * @return bool True if cron run successful
370  */
371 function cron_run_single_task(\core\task\scheduled_task $task) {
372     global $CFG, $DB, $USER;
374     if (CLI_MAINTENANCE) {
375         echo "CLI maintenance mode active, cron execution suspended.\n";
376         return false;
377     }
379     if (moodle_needs_upgrading()) {
380         echo "Moodle upgrade pending, cron execution suspended.\n";
381         return false;
382     }
384     // Check task and component is not disabled.
385     $taskname = get_class($task);
386     if ($task->get_disabled()) {
387         echo "Task is disabled ($taskname).\n";
388         return false;
389     }
390     $component = $task->get_component();
391     if ($plugininfo = core_plugin_manager::instance()->get_plugin_info($component)) {
392         if ($plugininfo->is_enabled() === false && !$task->get_run_if_component_disabled()) {
393             echo "Component is not enabled ($component).\n";
394             return false;
395         }
396     }
398     // Enable debugging features as per config settings.
399     if (!empty($CFG->showcronsql)) {
400         $DB->set_debug(true);
401     }
402     if (!empty($CFG->showcrondebugging)) {
403         set_debugging(DEBUG_DEVELOPER, true);
404     }
406     // Increase time and memory limits.
407     core_php_time_limit::raise();
408     raise_memory_limit(MEMORY_EXTRA);
410     // Switch to admin account for cron tasks, but close the session so we don't send this stuff
411     // to the browser.
412     session_write_close();
413     $realuser = clone($USER);
414     cron_setup_user(null, null, true);
416     // Get lock for cron task.
417     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
418     if (!$cronlock = $cronlockfactory->get_lock('core_cron', 1)) {
419         echo "Unable to get cron lock.\n";
420         return false;
421     }
422     if (!$lock = $cronlockfactory->get_lock($taskname, 1)) {
423         $cronlock->release();
424         echo "Unable to get task lock for $taskname.\n";
425         return false;
426     }
427     $task->set_lock($lock);
428     if (!$task->is_blocking()) {
429         $cronlock->release();
430     } else {
431         $task->set_cron_lock($cronlock);
432     }
434     // Run actual tasks.
435     cron_run_inner_scheduled_task($task);
437     // Go back to real user account.
438     cron_setup_user($realuser, null, true);
440     return true;
443 /**
444  * Output some standard information during cron runs. Specifically current time
445  * and memory usage. This method also does gc_collect_cycles() (before displaying
446  * memory usage) to try to help PHP manage memory better.
447  */
448 function cron_trace_time_and_memory() {
449     gc_collect_cycles();
450     mtrace('... started ' . date('H:i:s') . '. Current memory use ' . display_size(memory_get_usage()) . '.');
453 /**
454  * Executes cron functions for a specific type of plugin.
455  *
456  * @param string $plugintype Plugin type (e.g. 'report')
457  * @param string $description If specified, will display 'Starting (whatever)'
458  *   and 'Finished (whatever)' lines, otherwise does not display
459  */
460 function cron_execute_plugin_type($plugintype, $description = null) {
461     global $DB;
463     // Get list from plugin => function for all plugins
464     $plugins = get_plugin_list_with_function($plugintype, 'cron');
466     // Modify list for backward compatibility (different files/names)
467     $plugins = cron_bc_hack_plugin_functions($plugintype, $plugins);
469     // Return if no plugins with cron function to process
470     if (!$plugins) {
471         return;
472     }
474     if ($description) {
475         mtrace('Starting '.$description);
476     }
478     foreach ($plugins as $component=>$cronfunction) {
479         $dir = core_component::get_component_directory($component);
481         // Get cron period if specified in version.php, otherwise assume every cron
482         $cronperiod = 0;
483         if (file_exists("$dir/version.php")) {
484             $plugin = new stdClass();
485             include("$dir/version.php");
486             if (isset($plugin->cron)) {
487                 $cronperiod = $plugin->cron;
488             }
489         }
491         // Using last cron and cron period, don't run if it already ran recently
492         $lastcron = get_config($component, 'lastcron');
493         if ($cronperiod && $lastcron) {
494             if ($lastcron + $cronperiod > time()) {
495                 // do not execute cron yet
496                 continue;
497             }
498         }
500         mtrace('Processing cron function for ' . $component . '...');
501         cron_trace_time_and_memory();
502         $pre_dbqueries = $DB->perf_get_queries();
503         $pre_time = microtime(true);
505         $cronfunction();
507         mtrace("done. (" . ($DB->perf_get_queries() - $pre_dbqueries) . " dbqueries, " .
508                 round(microtime(true) - $pre_time, 2) . " seconds)");
510         set_config('lastcron', time(), $component);
511         core_php_time_limit::raise();
512     }
514     if ($description) {
515         mtrace('Finished ' . $description);
516     }
519 /**
520  * Used to add in old-style cron functions within plugins that have not been converted to the
521  * new standard API. (The standard API is frankenstyle_name_cron() in lib.php; some types used
522  * cron.php and some used a different name.)
523  *
524  * @param string $plugintype Plugin type e.g. 'report'
525  * @param array $plugins Array from plugin name (e.g. 'report_frog') to function name (e.g.
526  *   'report_frog_cron') for plugin cron functions that were already found using the new API
527  * @return array Revised version of $plugins that adds in any extra plugin functions found by
528  *   looking in the older location
529  */
530 function cron_bc_hack_plugin_functions($plugintype, $plugins) {
531     global $CFG; // mandatory in case it is referenced by include()d PHP script
533     if ($plugintype === 'report') {
534         // Admin reports only - not course report because course report was
535         // never implemented before, so doesn't need BC
536         foreach (core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
537             $component = $plugintype . '_' . $pluginname;
538             if (isset($plugins[$component])) {
539                 // We already have detected the function using the new API
540                 continue;
541             }
542             if (!file_exists("$dir/cron.php")) {
543                 // No old style cron file present
544                 continue;
545             }
546             include_once("$dir/cron.php");
547             $cronfunction = $component . '_cron';
548             if (function_exists($cronfunction)) {
549                 $plugins[$component] = $cronfunction;
550             } else {
551                 debugging("Invalid legacy cron.php detected in $component, " .
552                         "please use lib.php instead");
553             }
554         }
555     } else if (strpos($plugintype, 'grade') === 0) {
556         // Detect old style cron function names
557         // Plugin gradeexport_frog used to use grade_export_frog_cron() instead of
558         // new standard API gradeexport_frog_cron(). Also applies to gradeimport, gradereport
559         foreach(core_component::get_plugin_list($plugintype) as $pluginname=>$dir) {
560             $component = $plugintype.'_'.$pluginname;
561             if (isset($plugins[$component])) {
562                 // We already have detected the function using the new API
563                 continue;
564             }
565             if (!file_exists("$dir/lib.php")) {
566                 continue;
567             }
568             include_once("$dir/lib.php");
569             $cronfunction = str_replace('grade', 'grade_', $plugintype) . '_' .
570                     $pluginname . '_cron';
571             if (function_exists($cronfunction)) {
572                 $plugins[$component] = $cronfunction;
573             }
574         }
575     }
577     return $plugins;
580 /**
581  * Prepare the output renderer for the cron run.
582  *
583  * This involves creating a new $PAGE, and $OUTPUT fresh for each task and prevents any one task from influencing
584  * any other.
585  *
586  * @param   bool    $restore Whether to restore the original PAGE and OUTPUT
587  */
588 function cron_prepare_core_renderer($restore = false) {
589     global $OUTPUT, $PAGE;
591     // Store the original PAGE and OUTPUT values so that they can be reset at a later point to the original.
592     // This should not normally be required, but may be used in places such as the scheduled task tool's "Run now"
593     // functionality.
594     static $page = null;
595     static $output = null;
597     if (null === $page) {
598         $page = $PAGE;
599     }
601     if (null === $output) {
602         $output = $OUTPUT;
603     }
605     if (!empty($restore)) {
606         $PAGE = $page;
607         $page = null;
609         $OUTPUT = $output;
610         $output = null;
611     } else {
612         // Setup a new General renderer.
613         // Cron tasks may produce output to be used in web, so we must use the appropriate renderer target.
614         // This allows correct use of templates, etc.
615         $PAGE = new \moodle_page();
616         $OUTPUT = new \core_renderer($PAGE, RENDERER_TARGET_GENERAL);
617     }