Merge branch 'MDL-32148-master' of git://github.com/StudiUM/moodle
[moodle.git] / backup / util / helper / backup_cron_helper.class.php
1 <?php
3 // This file is part of Moodle - http://moodle.org/
4 //
5 // Moodle is free software: you can redistribute it and/or modify
6 // it under the terms of the GNU General Public License as published by
7 // the Free Software Foundation, either version 3 of the License, or
8 // (at your option) any later version.
9 //
10 // Moodle is distributed in the hope that it will be useful,
11 // but WITHOUT ANY WARRANTY; without even the implied warranty of
12 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 // GNU General Public License for more details.
14 //
15 // You should have received a copy of the GNU General Public License
16 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
19 /**
20  * Utility helper for automated backups run through cron.
21  *
22  * @package    core
23  * @subpackage backup
24  * @copyright  2010 Sam Hemelryk
25  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
26  */
28 /**
29  * This class is an abstract class with methods that can be called to aid the
30  * running of automated backups over cron.
31  */
32 abstract class backup_cron_automated_helper {
34     /** automated backups are active and ready to run */
35     const STATE_OK = 0;
36     /** automated backups are disabled and will not be run */
37     const STATE_DISABLED = 1;
38     /** automated backups are all ready running! */
39     const STATE_RUNNING = 2;
41     /** Course automated backup completed successfully */
42     const BACKUP_STATUS_OK = 1;
43     /** Course automated backup errored */
44     const BACKUP_STATUS_ERROR = 0;
45     /** Course automated backup never finished */
46     const BACKUP_STATUS_UNFINISHED = 2;
47     /** Course automated backup was skipped */
48     const BACKUP_STATUS_SKIPPED = 3;
49     /** Course automated backup had warnings */
50     const BACKUP_STATUS_WARNING = 4;
52     /** Run if required by the schedule set in config. Default. **/
53     const RUN_ON_SCHEDULE = 0;
54     /** Run immediately. **/
55     const RUN_IMMEDIATELY = 1;
57     const AUTO_BACKUP_DISABLED = 0;
58     const AUTO_BACKUP_ENABLED = 1;
59     const AUTO_BACKUP_MANUAL = 2;
61     /**
62      * Runs the automated backups if required
63      *
64      * @global moodle_database $DB
65      */
66     public static function run_automated_backup($rundirective = self::RUN_ON_SCHEDULE) {
67         global $CFG, $DB;
69         $status = true;
70         $emailpending = false;
71         $now = time();
72         $config = get_config('backup');
74         mtrace("Checking automated backup status",'...');
75         $state = backup_cron_automated_helper::get_automated_backup_state($rundirective);
76         if ($state === backup_cron_automated_helper::STATE_DISABLED) {
77             mtrace('INACTIVE');
78             return $state;
79         } else if ($state === backup_cron_automated_helper::STATE_RUNNING) {
80             mtrace('RUNNING');
81             if ($rundirective == self::RUN_IMMEDIATELY) {
82                 mtrace('Automated backups are already running. If this script is being run by cron this constitues an error. You will need to increase the time between executions within cron.');
83             } else {
84                 mtrace("automated backup are already running. Execution delayed");
85             }
86             return $state;
87         } else {
88             mtrace('OK');
89         }
90         backup_cron_automated_helper::set_state_running();
92         mtrace("Getting admin info");
93         $admin = get_admin();
94         if (!$admin) {
95             mtrace("Error: No admin account was found");
96             $state = false;
97         }
99         if ($status) {
100             mtrace("Checking courses");
101             mtrace("Skipping deleted courses", '...');
102             mtrace(sprintf("%d courses", backup_cron_automated_helper::remove_deleted_courses_from_schedule()));
103         }
105         if ($status) {
107             mtrace('Running required automated backups...');
109             // This could take a while!
110             @set_time_limit(0);
111             raise_memory_limit(MEMORY_EXTRA);
113             $nextstarttime = backup_cron_automated_helper::calculate_next_automated_backup($admin->timezone, $now);
114             $showtime = "undefined";
115             if ($nextstarttime > 0) {
116                 $showtime = date('r', $nextstarttime);
117             }
119             $rs = $DB->get_recordset('course');
120             foreach ($rs as $course) {
121                 $backupcourse = $DB->get_record('backup_courses', array('courseid'=>$course->id));
122                 if (!$backupcourse) {
123                     $backupcourse = new stdClass;
124                     $backupcourse->courseid = $course->id;
125                     $DB->insert_record('backup_courses',$backupcourse);
126                     $backupcourse = $DB->get_record('backup_courses', array('courseid'=>$course->id));
127                 }
129                 // The last backup is considered as successful when OK or SKIPPED.
130                 $lastbackupwassuccessful =  ($backupcourse->laststatus == self::BACKUP_STATUS_SKIPPED ||
131                                             $backupcourse->laststatus == self::BACKUP_STATUS_OK) && (
132                                             $backupcourse->laststarttime > 0 && $backupcourse->lastendtime > 0);
134                 // Skip courses that do not yet need backup.
135                 $skipped = !(($backupcourse->nextstarttime > 0 && $backupcourse->nextstarttime < $now) || $rundirective == self::RUN_IMMEDIATELY);
136                 $skippedmessage = 'Does not require backup';
138                 // If config backup_auto_skip_hidden is set to true, skip courses that are not visible.
139                 if (!$skipped && $config->backup_auto_skip_hidden) {
140                     $skipped = ($config->backup_auto_skip_hidden && !$course->visible);
141                     $skippedmessage = 'Not visible';
142                 }
144                 // If config backup_auto_skip_modif_days is set to true, skip courses
145                 // that have not been modified since the number of days defined.
146                 if (!$skipped && $lastbackupwassuccessful && $config->backup_auto_skip_modif_days) {
147                     $sqlwhere = "course=:courseid AND time>:time AND ".$DB->sql_like('action', ':action', false, true, true);
148                     $timenotmodifsincedays = $now - ($config->backup_auto_skip_modif_days * DAYSECS);
149                     // Check log if there were any modifications to the course content.
150                     $params = array('courseid' => $course->id,
151                                     'time' => $timenotmodifsincedays,
152                                     'action' => '%view%');
153                     $logexists = $DB->record_exists_select('log', $sqlwhere, $params);
155                     $skipped = ($course->timemodified <= $timenotmodifsincedays && !$logexists);
156                     $skippedmessage = 'Not modified in the past '.$config->backup_auto_skip_modif_days.' days';
157                 }
159                 // If config backup_auto_skip_modif_prev is set to true, skip courses
160                 // that have not been modified since previous backup.
161                 if (!$skipped && $lastbackupwassuccessful && $config->backup_auto_skip_modif_prev) {
162                     // Check log if there were any modifications to the course content.
163                     $params = array('courseid' => $course->id,
164                                     'time' => $backupcourse->laststarttime,
165                                     'action' => '%view%');
166                     $logexists = $DB->record_exists_select('log', $sqlwhere, $params);
168                     $skipped = ($course->timemodified <= $backupcourse->laststarttime && !$logexists);
169                     $skippedmessage = 'Not modified since previous backup';
170                 }
172                 // Skip courses not needed for backup.
173                 if ($skipped) {
174                     // Output the next execution time when it has been updated.
175                     if ($backupcourse->nextstarttime != $nextstarttime) {
176                         mtrace('Backup of \'' . $course->fullname . '\' is scheduled on ' . $showtime);
177                     }
178                     $backupcourse->laststatus = self::BACKUP_STATUS_SKIPPED;
179                     $backupcourse->nextstarttime = $nextstarttime;
180                     $DB->update_record('backup_courses', $backupcourse);
181                     mtrace('Skipping '.$course->fullname.' ('.$skippedmessage.')');
182                 } else {
183                     // Backup every non-skipped courses.
184                     mtrace('Backing up '.$course->fullname.'...');
186                     // We have to send an email because we have included at least one backup.
187                     $emailpending = true;
189                     // Only make the backup if laststatus isn't 2-UNFINISHED (uncontrolled error).
190                     if ($backupcourse->laststatus != self::BACKUP_STATUS_UNFINISHED) {
191                         // Set laststarttime.
192                         $starttime = time();
194                         $backupcourse->laststarttime = time();
195                         $backupcourse->laststatus = self::BACKUP_STATUS_UNFINISHED;
196                         $DB->update_record('backup_courses', $backupcourse);
198                         $backupcourse->laststatus = backup_cron_automated_helper::launch_automated_backup($course, $backupcourse->laststarttime, $admin->id);
199                         $backupcourse->lastendtime = time();
200                         $backupcourse->nextstarttime = $nextstarttime;
202                         $DB->update_record('backup_courses', $backupcourse);
204                         if ($backupcourse->laststatus === self::BACKUP_STATUS_OK) {
205                             // Clean up any excess course backups now that we have
206                             // taken a successful backup.
207                             $removedcount = backup_cron_automated_helper::remove_excess_backups($course);
208                         }
209                     }
211                     mtrace("complete - next execution: $showtime");
212                 }
213             }
214             $rs->close();
215         }
217         //Send email to admin if necessary
218         if ($emailpending) {
219             mtrace("Sending email to admin");
220             $message = "";
222             $count = backup_cron_automated_helper::get_backup_status_array();
223             $haserrors = ($count[self::BACKUP_STATUS_ERROR] != 0 || $count[self::BACKUP_STATUS_UNFINISHED] != 0);
225             //Build the message text
226             //Summary
227             $message .= get_string('summary')."\n";
228             $message .= "==================================================\n";
229             $message .= "  ".get_string('courses').": ".array_sum($count)."\n";
230             $message .= "  ".get_string('ok').": ".$count[self::BACKUP_STATUS_OK]."\n";
231             $message .= "  ".get_string('skipped').": ".$count[self::BACKUP_STATUS_SKIPPED]."\n";
232             $message .= "  ".get_string('error').": ".$count[self::BACKUP_STATUS_ERROR]."\n";
233             $message .= "  ".get_string('unfinished').": ".$count[self::BACKUP_STATUS_UNFINISHED]."\n";
234             $message .= "  ".get_string('warning').": ".$count[self::BACKUP_STATUS_WARNING]."\n\n";
236             //Reference
237             if ($haserrors) {
238                 $message .= "  ".get_string('backupfailed')."\n\n";
239                 $dest_url = "$CFG->wwwroot/report/backups/index.php";
240                 $message .= "  ".get_string('backuptakealook','',$dest_url)."\n\n";
241                 //Set message priority
242                 $admin->priority = 1;
243                 //Reset unfinished to error
244                 $DB->set_field('backup_courses','laststatus','0', array('laststatus'=>'2'));
245             } else {
246                 $message .= "  ".get_string('backupfinished')."\n";
247             }
249             //Build the message subject
250             $site = get_site();
251             $prefix = format_string($site->shortname, true, array('context' => context_course::instance(SITEID))).": ";
252             if ($haserrors) {
253                 $prefix .= "[".strtoupper(get_string('error'))."] ";
254             }
255             $subject = $prefix.get_string('automatedbackupstatus', 'backup');
257             //Send the message
258             $eventdata = new stdClass();
259             $eventdata->modulename        = 'moodle';
260             $eventdata->userfrom          = $admin;
261             $eventdata->userto            = $admin;
262             $eventdata->subject           = $subject;
263             $eventdata->fullmessage       = $message;
264             $eventdata->fullmessageformat = FORMAT_PLAIN;
265             $eventdata->fullmessagehtml   = '';
266             $eventdata->smallmessage      = '';
268             $eventdata->component         = 'moodle';
269             $eventdata->name         = 'backup';
271             message_send($eventdata);
272         }
274         //Everything is finished stop backup_auto_running
275         backup_cron_automated_helper::set_state_running(false);
277         mtrace('Automated backups complete.');
279         return $status;
280     }
282     /**
283      * Gets the results from the last automated backup that was run based upon
284      * the statuses of the courses that were looked at.
285      *
286      * @global moodle_database $DB
287      * @return array
288      */
289     public static function get_backup_status_array() {
290         global $DB;
292         $result = array(
293             self::BACKUP_STATUS_ERROR => 0,
294             self::BACKUP_STATUS_OK => 0,
295             self::BACKUP_STATUS_UNFINISHED => 0,
296             self::BACKUP_STATUS_SKIPPED => 0,
297             self::BACKUP_STATUS_WARNING => 0
298         );
300         $statuses = $DB->get_records_sql('SELECT DISTINCT bc.laststatus, COUNT(bc.courseid) AS statuscount FROM {backup_courses} bc GROUP BY bc.laststatus');
302         foreach ($statuses as $status) {
303             if (empty($status->statuscount)) {
304                 $status->statuscount = 0;
305             }
306             $result[(int)$status->laststatus] += $status->statuscount;
307         }
309         return $result;
310     }
312     /**
313      * Works out the next time the automated backup should be run.
314      *
315      * @param mixed $timezone user timezone
316      * @param int $now timestamp, should not be in the past, most likely time()
317      * @return int timestamp of the next execution at server time
318      */
319     public static function calculate_next_automated_backup($timezone, $now) {
321         $result = 0;
322         $config = get_config('backup');
323         $autohour = $config->backup_auto_hour;
324         $automin = $config->backup_auto_minute;
326         // Gets the user time relatively to the server time.
327         $date = usergetdate($now, $timezone);
328         $usertime = mktime($date['hours'], $date['minutes'], $date['seconds'], $date['mon'], $date['mday'], $date['year']);
329         $diff = $now - $usertime;
331         // Get number of days (from user's today) to execute backups.
332         $automateddays = substr($config->backup_auto_weekdays, $date['wday']) . $config->backup_auto_weekdays;
333         $daysfromnow = strpos($automateddays, "1");
335         // Error, there are no days to schedule the backup for.
336         if ($daysfromnow === false) {
337             return 0;
338         }
340         // Checks if the date would happen in the future (of the user).
341         $userresult = mktime($autohour, $automin, 0, $date['mon'], $date['mday'] + $daysfromnow, $date['year']);
342         if ($userresult <= $usertime) {
343             // If not, we skip the first scheduled day, that should fix it.
344             $daysfromnow = strpos($automateddays, "1", 1);
345             $userresult = mktime($autohour, $automin, 0, $date['mon'], $date['mday'] + $daysfromnow, $date['year']);
346         }
348         // Now we generate the time relative to the server.
349         $result = $userresult + $diff;
351         // If that time is past, call the function recursively to obtain the next valid day.
352         if ($result <= $now) {
353             // Checking time() in here works, but makes PHPUnit Tests extremely hard to predict.
354             // $now should never be earlier than time() anyway...
355             $result = self::calculate_next_automated_backup($timezone, $now + DAYSECS);
356         }
358         return $result;
359     }
361     /**
362      * Launches a automated backup routine for the given course
363      *
364      * @param stdClass $course
365      * @param int $starttime
366      * @param int $userid
367      * @return bool
368      */
369     public static function launch_automated_backup($course, $starttime, $userid) {
371         $outcome = self::BACKUP_STATUS_OK;
372         $config = get_config('backup');
373         $bc = new backup_controller(backup::TYPE_1COURSE, $course->id, backup::FORMAT_MOODLE, backup::INTERACTIVE_NO, backup::MODE_AUTOMATED, $userid);
375         try {
377             $settings = array(
378                 'users' => 'backup_auto_users',
379                 'role_assignments' => 'backup_auto_role_assignments',
380                 'activities' => 'backup_auto_activities',
381                 'blocks' => 'backup_auto_blocks',
382                 'filters' => 'backup_auto_filters',
383                 'comments' => 'backup_auto_comments',
384                 'completion_information' => 'backup_auto_userscompletion',
385                 'logs' => 'backup_auto_logs',
386                 'histories' => 'backup_auto_histories'
387             );
388             foreach ($settings as $setting => $configsetting) {
389                 if ($bc->get_plan()->setting_exists($setting)) {
390                     $bc->get_plan()->get_setting($setting)->set_value($config->{$configsetting});
391                 }
392             }
394             // Set the default filename
395             $format = $bc->get_format();
396             $type = $bc->get_type();
397             $id = $bc->get_id();
398             $users = $bc->get_plan()->get_setting('users')->get_value();
399             $anonymised = $bc->get_plan()->get_setting('anonymize')->get_value();
400             $bc->get_plan()->get_setting('filename')->set_value(backup_plan_dbops::get_default_backup_filename($format, $type, $id, $users, $anonymised));
402             $bc->set_status(backup::STATUS_AWAITING);
404             $bc->execute_plan();
405             $results = $bc->get_results();
406             $outcome = self::outcome_from_results($results);
407             $file = $results['backup_destination']; // may be empty if file already moved to target location
408             $dir = $config->backup_auto_destination;
409             $storage = (int)$config->backup_auto_storage;
410             if (!file_exists($dir) || !is_dir($dir) || !is_writable($dir)) {
411                 $dir = null;
412             }
413             if ($file && !empty($dir) && $storage !== 0) {
414                 $filename = backup_plan_dbops::get_default_backup_filename($format, $type, $course->id, $users, $anonymised, !$config->backup_shortname);
415                 if (!$file->copy_content_to($dir.'/'.$filename)) {
416                     $outcome = self::BACKUP_STATUS_ERROR;
417                 }
418                 if ($outcome != self::BACKUP_STATUS_ERROR && $storage === 1) {
419                     $file->delete();
420                 }
421             }
423         } catch (moodle_exception $e) {
424             $bc->log('backup_auto_failed_on_course', backup::LOG_ERROR, $course->shortname); // Log error header.
425             $bc->log('Exception: ' . $e->errorcode, backup::LOG_ERROR, $e->a, 1); // Log original exception problem.
426             $bc->log('Debug: ' . $e->debuginfo, backup::LOG_DEBUG, null, 1); // Log original debug information.
427             $outcome = self::BACKUP_STATUS_ERROR;
428         }
430         $bc->destroy();
431         unset($bc);
433         return $outcome;
434     }
436     /**
437      * Returns the backup outcome by analysing its results.
438      *
439      * @param array $results returned by a backup
440      * @return int {@link self::BACKUP_STATUS_OK} and other constants
441      */
442     public static function outcome_from_results($results) {
443         $outcome = self::BACKUP_STATUS_OK;
444         foreach ($results as $code => $value) {
445             // Each possible error and warning code has to be specified in this switch
446             // which basically analyses the results to return the correct backup status.
447             switch ($code) {
448                 case 'missing_files_in_pool':
449                     $outcome = self::BACKUP_STATUS_WARNING;
450                     break;
451             }
452             // If we found the highest error level, we exit the loop.
453             if ($outcome == self::BACKUP_STATUS_ERROR) {
454                 break;
455             }
456         }
457         return $outcome;
458     }
460     /**
461      * Removes deleted courses fromn the backup_courses table so that we don't
462      * waste time backing them up.
463      *
464      * @global moodle_database $DB
465      * @return int
466      */
467     public static function remove_deleted_courses_from_schedule() {
468         global $DB;
469         $skipped = 0;
470         $sql = "SELECT bc.courseid FROM {backup_courses} bc WHERE bc.courseid NOT IN (SELECT c.id FROM {course} c)";
471         $rs = $DB->get_recordset_sql($sql);
472         foreach ($rs as $deletedcourse) {
473             //Doesn't exist, so delete from backup tables
474             $DB->delete_records('backup_courses', array('courseid'=>$deletedcourse->courseid));
475             $skipped++;
476         }
477         $rs->close();
478         return $skipped;
479     }
481     /**
482      * Gets the state of the automated backup system.
483      *
484      * @global moodle_database $DB
485      * @return int One of self::STATE_*
486      */
487     public static function get_automated_backup_state($rundirective = self::RUN_ON_SCHEDULE) {
488         global $DB;
490         $config = get_config('backup');
491         $active = (int)$config->backup_auto_active;
492         $weekdays = (string)$config->backup_auto_weekdays;
494         // In case of automated backup also check that it is scheduled for at least one weekday.
495         if ($active === self::AUTO_BACKUP_DISABLED ||
496                 ($rundirective == self::RUN_ON_SCHEDULE && $active === self::AUTO_BACKUP_MANUAL) ||
497                 ($rundirective == self::RUN_ON_SCHEDULE && strpos($weekdays, '1') === false)) {
498             return self::STATE_DISABLED;
499         } else if (!empty($config->backup_auto_running)) {
500             // Detect if the backup_auto_running semaphore is a valid one
501             // by looking for recent activity in the backup_controllers table
502             // for backups of type backup::MODE_AUTOMATED
503             $timetosee = 60 * 90; // Time to consider in order to clean the semaphore
504             $params = array( 'purpose'   => backup::MODE_AUTOMATED, 'timetolook' => (time() - $timetosee));
505             if ($DB->record_exists_select('backup_controllers',
506                 "operation = 'backup' AND type = 'course' AND purpose = :purpose AND timemodified > :timetolook", $params)) {
507                 return self::STATE_RUNNING; // Recent activity found, still running
508             } else {
509                 // No recent activity found, let's clean the semaphore
510                 mtrace('Automated backups activity not found in last ' . (int)$timetosee/60 . ' minutes. Cleaning running status');
511                 backup_cron_automated_helper::set_state_running(false);
512             }
513         }
514         return self::STATE_OK;
515     }
517     /**
518      * Sets the state of the automated backup system.
519      *
520      * @param bool $running
521      * @return bool
522      */
523     public static function set_state_running($running = true) {
524         if ($running === true) {
525             if (self::get_automated_backup_state() === self::STATE_RUNNING) {
526                 throw new backup_exception('backup_automated_already_running');
527             }
528             set_config('backup_auto_running', '1', 'backup');
529         } else {
530             unset_config('backup_auto_running', 'backup');
531         }
532         return true;
533     }
535     /**
536      * Removes excess backups from the external system and the local file system.
537      *
538      * The number of backups keep comes from $config->backup_auto_keep
539      *
540      * @param stdClass $course
541      * @return bool
542      */
543     public static function remove_excess_backups($course) {
544         $config = get_config('backup');
545         $keep =     (int)$config->backup_auto_keep;
546         $storage =  $config->backup_auto_storage;
547         $dir =      $config->backup_auto_destination;
549         if ($keep == 0) {
550             // means keep all backup files
551             return true;
552         }
554         $backupword = str_replace(' ', '_', textlib::strtolower(get_string('backupfilename')));
555         $backupword = trim(clean_filename($backupword), '_');
557         if (!file_exists($dir) || !is_dir($dir) || !is_writable($dir)) {
558             $dir = null;
559         }
561         // Clean up excess backups in the course backup filearea
562         if ($storage == 0 || $storage == 2) {
563             $fs = get_file_storage();
564             $context = context_course::instance($course->id);
565             $component = 'backup';
566             $filearea = 'automated';
567             $itemid = 0;
568             $files = array();
569             // Store all the matching files into timemodified => stored_file array
570             foreach ($fs->get_area_files($context->id, $component, $filearea, $itemid) as $file) {
571                 if (strpos($file->get_filename(), $backupword) !== 0) {
572                     continue;
573                 }
574                 $files[$file->get_timemodified()] = $file;
575             }
576             if (count($files) <= $keep) {
577                 // There are less matching files than the desired number to keep
578                 // do there is nothing to clean up.
579                 return 0;
580             }
581             // Sort by keys descending (newer to older filemodified)
582             krsort($files);
583             $remove = array_splice($files, $keep);
584             foreach ($remove as $file) {
585                 $file->delete();
586             }
587             //mtrace('Removed '.count($remove).' old backup file(s) from the automated filearea');
588         }
590         // Clean up excess backups in the specified external directory
591         if (!empty($dir) && ($storage == 1 || $storage == 2)) {
592             // Calculate backup filename regex, ignoring the date/time/info parts that can be
593             // variable, depending of languages, formats and automated backup settings
594             $filename = $backupword . '-' . backup::FORMAT_MOODLE . '-' . backup::TYPE_1COURSE . '-' .$course->id . '-';
595             $regex = '#^'.preg_quote($filename, '#').'.*\.mbz$#';
597             // Store all the matching files into fullpath => timemodified array
598             $files = array();
599             foreach (scandir($dir) as $file) {
600                 if (preg_match($regex, $file, $matches)) {
601                     $files[$file] = filemtime($dir . '/' . $file);
602                 }
603             }
604             if (count($files) <= $keep) {
605                 // There are less matching files than the desired number to keep
606                 // do there is nothing to clean up.
607                 return 0;
608             }
609             // Sort by values descending (newer to older filemodified)
610             arsort($files);
611             $remove = array_splice($files, $keep);
612             foreach (array_keys($remove) as $file) {
613                 unlink($dir . '/' . $file);
614             }
615             //mtrace('Removed '.count($remove).' old backup file(s) from external directory');
616         }
618         return true;
619     }