MDL-68714 cron: Check value of CLI_SCRIPT not existence
[moodle.git] / lib / cronlib.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * Cron functions.
19  *
20  * @package    core
21  * @subpackage admin
22  * @copyright  1999 onwards Martin Dougiamas  http://dougiamas.com
23  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
24  */
26 /**
27  * Execute cron tasks
28  */
29 function cron_run() {
30     global $DB, $CFG, $OUTPUT;
32     if (CLI_MAINTENANCE) {
33         echo "CLI maintenance mode active, cron execution suspended.\n";
34         exit(1);
35     }
37     if (moodle_needs_upgrading()) {
38         echo "Moodle upgrade pending, cron execution suspended.\n";
39         exit(1);
40     }
42     require_once($CFG->libdir.'/adminlib.php');
44     if (!empty($CFG->showcronsql)) {
45         $DB->set_debug(true);
46     }
47     if (!empty($CFG->showcrondebugging)) {
48         set_debugging(DEBUG_DEVELOPER, true);
49     }
51     core_php_time_limit::raise();
52     $starttime = microtime();
54     // Increase memory limit
55     raise_memory_limit(MEMORY_EXTRA);
57     // Emulate normal session - we use admin accoutn by default
58     cron_setup_user();
60     // Start output log
61     $timenow  = time();
62     mtrace("Server Time: ".date('r', $timenow)."\n\n");
64     // Record start time and interval between the last cron runs.
65     $laststart = get_config('tool_task', 'lastcronstart');
66     set_config('lastcronstart', $timenow, 'tool_task');
67     if ($laststart) {
68         // Record the interval between last two runs (always store at least 1 second).
69         set_config('lastcroninterval', max(1, $timenow - $laststart), 'tool_task');
70     }
72     // Run all scheduled tasks.
73     cron_run_scheduled_tasks($timenow);
75     // Run adhoc tasks.
76     cron_run_adhoc_tasks($timenow);
78     mtrace("Cron script completed correctly");
80     gc_collect_cycles();
81     mtrace('Cron completed at ' . date('H:i:s') . '. Memory used ' . display_size(memory_get_usage()) . '.');
82     $difftime = microtime_diff($starttime, microtime());
83     mtrace("Execution took ".$difftime." seconds");
84 }
86 /**
87  * Execute all queued scheduled tasks, applying necessary concurrency limits and time limits.
88  *
89  * @param   int     $timenow The time this process started.
90  * @throws \moodle_exception
91  */
92 function cron_run_scheduled_tasks(int $timenow) {
93     // Allow a restriction on the number of scheduled task runners at once.
94     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
95     $maxruns = get_config('core', 'task_scheduled_concurrency_limit');
96     $maxruntime = get_config('core', 'task_scheduled_max_runtime');
98     $scheduledlock = null;
99     for ($run = 0; $run < $maxruns; $run++) {
100         // If we can't get a lock instantly it means runner N is already running
101         // so fail as fast as possible and try N+1 so we don't limit the speed at
102         // which we bring new runners into the pool.
103         if ($scheduledlock = $cronlockfactory->get_lock("scheduled_task_runner_{$run}", 0)) {
104             break;
105         }
106     }
108     if (!$scheduledlock) {
109         mtrace("Skipping processing of scheduled tasks. Concurrency limit reached.");
110         return;
111     }
113     $starttime = time();
115     // Run all scheduled tasks.
116     try {
117         while (!\core\local\cli\shutdown::should_gracefully_exit() &&
118                 !\core\task\manager::static_caches_cleared_since($timenow) &&
119                 $task = \core\task\manager::get_next_scheduled_task($timenow)) {
120             cron_run_inner_scheduled_task($task);
121             unset($task);
123             if ((time() - $starttime) > $maxruntime) {
124                 mtrace("Stopping processing of scheduled tasks as time limit has been reached.");
125                 break;
126             }
127         }
128     } finally {
129         // Release the scheduled task runner lock.
130         $scheduledlock->release();
131     }
134 /**
135  * Execute all queued adhoc tasks, applying necessary concurrency limits and time limits.
136  *
137  * @param   int     $timenow The time this process started.
138  * @param   int     $keepalive Keep this function alive for N seconds and poll for new adhoc tasks.
139  * @param   bool    $checklimits Should we check limits?
140  * @throws \moodle_exception
141  */
142 function cron_run_adhoc_tasks(int $timenow, $keepalive = 0, $checklimits = true) {
143     // Allow a restriction on the number of adhoc task runners at once.
144     $cronlockfactory = \core\lock\lock_config::get_lock_factory('cron');
145     $maxruns = get_config('core', 'task_adhoc_concurrency_limit');
146     $maxruntime = get_config('core', 'task_adhoc_max_runtime');
148     if ($checklimits) {
149         $adhoclock = null;
150         for ($run = 0; $run < $maxruns; $run++) {
151             // If we can't get a lock instantly it means runner N is already running
152             // so fail as fast as possible and try N+1 so we don't limit the speed at
153             // which we bring new runners into the pool.
154             if ($adhoclock = $cronlockfactory->get_lock("adhoc_task_runner_{$run}", 0)) {
155                 break;
156             }
157         }
159         if (!$adhoclock) {
160             mtrace("Skipping processing of adhoc tasks. Concurrency limit reached.");
161             return;
162         }
163     }
165     $humantimenow = date('r', $timenow);
166     $finishtime = $timenow + $keepalive;
167     $waiting = false;
168     $taskcount = 0;
170     // Run all adhoc tasks.
171     while (!\core\local\cli\shutdown::should_gracefully_exit() &&
172             !\core\task\manager::static_caches_cleared_since($timenow)) {
174         if ($checklimits && (time() - $timenow) >= $maxruntime) {
175             if ($waiting) {
176                 $waiting = false;
177                 mtrace('');
178             }
179             mtrace("Stopping processing of adhoc tasks as time limit has been reached.");
180             break;
181         }
183         try {
184             $task = \core\task\manager::get_next_adhoc_task(time(), $checklimits);
185         } catch (Exception $e) {
186             if ($adhoclock) {
187                 // Release the adhoc task runner lock.
188                 $adhoclock->release();
189             }
190             throw $e;
191         }
193         if ($task) {
194             if ($waiting) {
195                 mtrace('');
196             }
197             $waiting = false;
198             cron_run_inner_adhoc_task($task);
199             cron_set_process_title("Waiting for next adhoc task");
200             $taskcount++;
201             unset($task);
202         } else {
203             $timeleft = $finishtime - time();
204             if ($timeleft <= 0) {
205                 break;
206             }
207             if (!$waiting) {
208                 mtrace('Waiting for more adhoc tasks to be queued ', '');
209             } else {
210                 mtrace('.', '');
211             }
212             $waiting = true;
213             cron_set_process_title("Waiting {$timeleft}s for next adhoc task");
214             sleep(1);
215         }
216     }
218     if ($waiting) {
219         mtrace('');
220     }
222     mtrace("Ran {$taskcount} adhoc tasks found at {$humantimenow}");
224     if ($adhoclock) {
225         // Release the adhoc task runner lock.
226         $adhoclock->release();
227     }
230 /**
231  * Shared code that handles running of a single scheduled task within the cron.
232  *
233  * Not intended for calling directly outside of this library!
234  *
235  * @param \core\task\task_base $task
236  */
237 function cron_run_inner_scheduled_task(\core\task\task_base $task) {
238     global $CFG, $DB;
240     \core\task\logmanager::start_logging($task);
242     $fullname = $task->get_name() . ' (' . get_class($task) . ')';
243     mtrace('Execute scheduled task: ' . $fullname);
244     cron_set_process_title('Scheduled task: ' . get_class($task));
245     cron_trace_time_and_memory();
246     $predbqueries = null;
247     $predbqueries = $DB->perf_get_queries();
248     $pretime = microtime(1);
249     try {
250         get_mailer('buffer');
251         cron_prepare_core_renderer();
252         $task->execute();
253         if ($DB->is_transaction_started()) {
254             throw new coding_exception("Task left transaction open");
255         }
256         if (isset($predbqueries)) {
257             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
258             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
259         }
260         mtrace('Scheduled task complete: ' . $fullname);
261         \core\task\manager::scheduled_task_complete($task);
262     } catch (Exception $e) {
263         if ($DB && $DB->is_transaction_started()) {
264             error_log('Database transaction aborted automatically in ' . get_class($task));
265             $DB->force_transaction_rollback();
266         }
267         if (isset($predbqueries)) {
268             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
269             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
270         }
271         mtrace('Scheduled task failed: ' . $fullname . ',' . $e->getMessage());
272         if ($CFG->debugdeveloper) {
273             if (!empty($e->debuginfo)) {
274                 mtrace("Debug info:");
275                 mtrace($e->debuginfo);
276             }
277             mtrace("Backtrace:");
278             mtrace(format_backtrace($e->getTrace(), true));
279         }
280         \core\task\manager::scheduled_task_failed($task);
281     } finally {
282         // Reset back to the standard admin user.
283         cron_setup_user();
284         cron_set_process_title('Waiting for next scheduled task');
285         cron_prepare_core_renderer(true);
286     }
287     get_mailer('close');
290 /**
291  * Shared code that handles running of a single adhoc task within the cron.
292  *
293  * @param \core\task\adhoc_task $task
294  */
295 function cron_run_inner_adhoc_task(\core\task\adhoc_task $task) {
296     global $DB, $CFG;
298     \core\task\logmanager::start_logging($task);
300     mtrace("Execute adhoc task: " . get_class($task));
301     cron_set_process_title('Adhoc task: ' . $task->get_id() . ' ' . get_class($task));
302     cron_trace_time_and_memory();
303     $predbqueries = null;
304     $predbqueries = $DB->perf_get_queries();
305     $pretime      = microtime(1);
307     if ($userid = $task->get_userid()) {
308         // This task has a userid specified.
309         if ($user = \core_user::get_user($userid)) {
310             // User found. Check that they are suitable.
311             try {
312                 \core_user::require_active_user($user, true, true);
313             } catch (moodle_exception $e) {
314                 mtrace("User {$userid} cannot be used to run an adhoc task: " . get_class($task) . ". Cancelling task.");
315                 $user = null;
316             }
317         } else {
318             // Unable to find the user for this task.
319             // A user missing in the database will never reappear.
320             mtrace("User {$userid} could not be found for adhoc task: " . get_class($task) . ". Cancelling task.");
321         }
323         if (empty($user)) {
324             // A user missing in the database will never reappear so the task needs to be failed to ensure that locks are removed,
325             // and then removed to prevent future runs.
326             // A task running as a user should only be run as that user.
327             \core\task\manager::adhoc_task_failed($task);
328             $DB->delete_records('task_adhoc', ['id' => $task->get_id()]);
330             return;
331         }
333         cron_setup_user($user);
334     }
336     try {
337         get_mailer('buffer');
338         cron_prepare_core_renderer();
339         $task->execute();
340         if ($DB->is_transaction_started()) {
341             throw new coding_exception("Task left transaction open");
342         }
343         if (isset($predbqueries)) {
344             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
345             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
346         }
347         mtrace("Adhoc task complete: " . get_class($task));
348         \core\task\manager::adhoc_task_complete($task);
349     } catch (Exception $e) {
350         if ($DB && $DB->is_transaction_started()) {
351             error_log('Database transaction aborted automatically in ' . get_class($task));
352             $DB->force_transaction_rollback();
353         }
354         if (isset($predbqueries)) {
355             mtrace("... used " . ($DB->perf_get_queries() - $predbqueries) . " dbqueries");
356             mtrace("... used " . (microtime(1) - $pretime) . " seconds");
357         }
358         mtrace("Adhoc task failed: " . get_class($task) . "," . $e->getMessage());
359         if ($CFG->debugdeveloper) {
360             if (!empty($e->debuginfo)) {
361                 mtrace("Debug info:");
362                 mtrace($e->debuginfo);
363             }
364             mtrace("Backtrace:");
365             mtrace(format_backtrace($e->getTrace(), true));
366         }
367         \core\task\manager::adhoc_task_failed($task);
368     } finally {
369         // Reset back to the standard admin user.
370         cron_setup_user();
371         cron_prepare_core_renderer(true);
372     }
373     get_mailer('close');
376 /**
377  * Sets the process title
378  *
379  * This makes it very easy for a sysadmin to immediately see what task
380  * a cron process is running at any given moment.
381  *
382  * @param string $title process status title
383  */
384 function cron_set_process_title(string $title) {
385     global $CFG;
386     if (CLI_SCRIPT) {
387         require_once($CFG->libdir . '/clilib.php');
388         $datetime = userdate(time(), '%b %d, %H:%M:%S');
389         cli_set_process_title_suffix("$datetime $title");
390     }
393 /**
394  * Output some standard information during cron runs. Specifically current time
395  * and memory usage. This method also does gc_collect_cycles() (before displaying
396  * memory usage) to try to help PHP manage memory better.
397  */
398 function cron_trace_time_and_memory() {
399     gc_collect_cycles();
400     mtrace('... started ' . date('H:i:s') . '. Current memory use ' . display_size(memory_get_usage()) . '.');
403 /**
404  * Prepare the output renderer for the cron run.
405  *
406  * This involves creating a new $PAGE, and $OUTPUT fresh for each task and prevents any one task from influencing
407  * any other.
408  *
409  * @param   bool    $restore Whether to restore the original PAGE and OUTPUT
410  */
411 function cron_prepare_core_renderer($restore = false) {
412     global $OUTPUT, $PAGE;
414     // Store the original PAGE and OUTPUT values so that they can be reset at a later point to the original.
415     // This should not normally be required, but may be used in places such as the scheduled task tool's "Run now"
416     // functionality.
417     static $page = null;
418     static $output = null;
420     if (null === $page) {
421         $page = $PAGE;
422     }
424     if (null === $output) {
425         $output = $OUTPUT;
426     }
428     if (!empty($restore)) {
429         $PAGE = $page;
430         $page = null;
432         $OUTPUT = $output;
433         $output = null;
434     } else {
435         // Setup a new General renderer.
436         // Cron tasks may produce output to be used in web, so we must use the appropriate renderer target.
437         // This allows correct use of templates, etc.
438         $PAGE = new \moodle_page();
439         $OUTPUT = new \core_renderer($PAGE, RENDERER_TARGET_GENERAL);
440     }