e856ead712c9c29d8a5ed67761de846e33432aed
[moodle.git] / backup / util / dbops / restore_dbops.class.php
1 <?php
3 // This file is part of Moodle - http://moodle.org/
4 //
5 // Moodle is free software: you can redistribute it and/or modify
6 // it under the terms of the GNU General Public License as published by
7 // the Free Software Foundation, either version 3 of the License, or
8 // (at your option) any later version.
9 //
10 // Moodle is distributed in the hope that it will be useful,
11 // but WITHOUT ANY WARRANTY; without even the implied warranty of
12 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 // GNU General Public License for more details.
14 //
15 // You should have received a copy of the GNU General Public License
16 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
18 /**
19  * @package    moodlecore
20  * @subpackage backup-dbops
21  * @copyright  2010 onwards Eloy Lafuente (stronk7) {@link http://stronk7.com}
22  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
23  */
25 /**
26  * Base abstract class for all the helper classes providing DB operations
27  *
28  * TODO: Finish phpdocs
29  */
30 abstract class restore_dbops {
31     /**
32      * Keep cache of backup records.
33      * @var array
34      * @todo MDL-25290 static should be replaced with MUC code.
35      */
36     private static $backupidscache = array();
37     /**
38      * Keep track of backup ids which are cached.
39      * @var array
40      * @todo MDL-25290 static should be replaced with MUC code.
41      */
42     private static $backupidsexist = array();
43     /**
44      * Count is expensive, so manually keeping track of
45      * backupidscache, to avoid memory issues.
46      * @var int
47      * @todo MDL-25290 static should be replaced with MUC code.
48      */
49     private static $backupidscachesize = 2048;
50     /**
51      * Count is expensive, so manually keeping track of
52      * backupidsexist, to avoid memory issues.
53      * @var int
54      * @todo MDL-25290 static should be replaced with MUC code.
55      */
56     private static $backupidsexistsize = 10240;
57     /**
58      * Slice backupids cache to add more data.
59      * @var int
60      * @todo MDL-25290 static should be replaced with MUC code.
61      */
62     private static $backupidsslice = 512;
64     /**
65      * Return one array containing all the tasks that have been included
66      * in the restore process. Note that these tasks aren't built (they
67      * haven't steps nor ids data available)
68      */
69     public static function get_included_tasks($restoreid) {
70         $rc = restore_controller_dbops::load_controller($restoreid);
71         $tasks = $rc->get_plan()->get_tasks();
72         $includedtasks = array();
73         foreach ($tasks as $key => $task) {
74             // Calculate if the task is being included
75             $included = false;
76             // blocks, based in blocks setting and parent activity/course
77             if ($task instanceof restore_block_task) {
78                 if (!$task->get_setting_value('blocks')) { // Blocks not included, continue
79                     continue;
80                 }
81                 $parent = basename(dirname(dirname($task->get_taskbasepath())));
82                 if ($parent == 'course') { // Parent is course, always included if present
83                     $included = true;
85                 } else { // Look for activity_included setting
86                     $included = $task->get_setting_value($parent . '_included');
87                 }
89             // ativities, based on included setting
90             } else if ($task instanceof restore_activity_task) {
91                 $included = $task->get_setting_value('included');
93             // sections, based on included setting
94             } else if ($task instanceof restore_section_task) {
95                 $included = $task->get_setting_value('included');
97             // course always included if present
98             } else if ($task instanceof restore_course_task) {
99                 $included = true;
100             }
102             // If included, add it
103             if ($included) {
104                 $includedtasks[] = $task;
105             }
106         }
107         return $includedtasks;
108     }
110     /**
111      * Load one inforef.xml file to backup_ids table for future reference
112      */
113     public static function load_inforef_to_tempids($restoreid, $inforeffile) {
115         if (!file_exists($inforeffile)) { // Shouldn't happen ever, but...
116             throw new backup_helper_exception('missing_inforef_xml_file', $inforeffile);
117         }
118         // Let's parse, custom processor will do its work, sending info to DB
119         $xmlparser = new progressive_parser();
120         $xmlparser->set_file($inforeffile);
121         $xmlprocessor = new restore_inforef_parser_processor($restoreid);
122         $xmlparser->set_processor($xmlprocessor);
123         $xmlparser->process();
124     }
126     /**
127      * Load the needed role.xml file to backup_ids table for future reference
128      */
129     public static function load_roles_to_tempids($restoreid, $rolesfile) {
131         if (!file_exists($rolesfile)) { // Shouldn't happen ever, but...
132             throw new backup_helper_exception('missing_roles_xml_file', $rolesfile);
133         }
134         // Let's parse, custom processor will do its work, sending info to DB
135         $xmlparser = new progressive_parser();
136         $xmlparser->set_file($rolesfile);
137         $xmlprocessor = new restore_roles_parser_processor($restoreid);
138         $xmlparser->set_processor($xmlprocessor);
139         $xmlparser->process();
140     }
142     /**
143      * Precheck the loaded roles, return empty array if everything is ok, and
144      * array with 'errors', 'warnings' elements (suitable to be used by restore_prechecks)
145      * with any problem found. At the same time, store all the mapping into backup_ids_temp
146      * and also put the information into $rolemappings (controller->info), so it can be reworked later by
147      * post-precheck stages while at the same time accept modified info in the same object coming from UI
148      */
149     public static function precheck_included_roles($restoreid, $courseid, $userid, $samesite, $rolemappings) {
150         global $DB;
152         $problems = array(); // To store warnings/errors
154         // Get loaded roles from backup_ids
155         $rs = $DB->get_recordset('backup_ids_temp', array('backupid' => $restoreid, 'itemname' => 'role'), '', 'itemid');
156         foreach ($rs as $recrole) {
157             // If the rolemappings->modified flag is set, that means that we are coming from
158             // manually modified mappings (by UI), so accept those mappings an put them to backup_ids
159             if ($rolemappings->modified) {
160                 $target = $rolemappings->mappings[$recrole->itemid]->targetroleid;
161                 self::set_backup_ids_record($restoreid, 'role', $recrole->itemid, $target);
163             // Else, we haven't any info coming from UI, let's calculate the mappings, matching
164             // in multiple ways and checking permissions. Note mapping to 0 means "skip"
165             } else {
166                 $role = (object)self::get_backup_ids_record($restoreid, 'role', $recrole->itemid)->info;
167                 $match = self::get_best_assignable_role($role, $courseid, $userid, $samesite);
168                 // Send match to backup_ids
169                 self::set_backup_ids_record($restoreid, 'role', $recrole->itemid, $match);
170                 // Build the rolemappings element for controller
171                 unset($role->id);
172                 unset($role->nameincourse);
173                 unset($role->nameincourse);
174                 $role->targetroleid = $match;
175                 $rolemappings->mappings[$recrole->itemid] = $role;
176                 // Prepare warning if no match found
177                 if (!$match) {
178                     $problems['warnings'][] = get_string('cannotfindassignablerole', 'backup', $role->name);
179                 }
180             }
181         }
182         $rs->close();
183         return $problems;
184     }
186     /**
187      * Return cached backup id's
188      *
189      * @param int $restoreid id of backup
190      * @param string $itemname name of the item
191      * @param int $itemid id of item
192      * @return array backup id's
193      * @todo MDL-25290 replace static backupids* with MUC code
194      */
195     protected static function get_backup_ids_cached($restoreid, $itemname, $itemid) {
196         global $DB;
198         $key = "$itemid $itemname $restoreid";
200         // If record exists in cache then return.
201         if (isset(self::$backupidsexist[$key]) && isset(self::$backupidscache[$key])) {
202             // Return a copy of cached data, to avoid any alterations in cached data.
203             return clone self::$backupidscache[$key];
204         }
206         // Clean cache, if it's full.
207         if (self::$backupidscachesize <= 0) {
208             // Remove some records, to keep memory in limit.
209             self::$backupidscache = array_slice(self::$backupidscache, self::$backupidsslice, null, true);
210             self::$backupidscachesize = self::$backupidscachesize + self::$backupidsslice;
211         }
212         if (self::$backupidsexistsize <= 0) {
213             self::$backupidsexist = array_slice(self::$backupidsexist, self::$backupidsslice, null, true);
214             self::$backupidsexistsize = self::$backupidsexistsize + self::$backupidsslice;
215         }
217         // Retrive record from database.
218         $record = array(
219             'backupid' => $restoreid,
220             'itemname' => $itemname,
221             'itemid'   => $itemid
222         );
223         if ($dbrec = $DB->get_record('backup_ids_temp', $record)) {
224             self::$backupidsexist[$key] = $dbrec->id;
225             self::$backupidscache[$key] = $dbrec;
226             self::$backupidscachesize--;
227             self::$backupidsexistsize--;
228             return $dbrec;
229         } else {
230             return false;
231         }
232     }
234     /**
235      * Cache backup ids'
236      *
237      * @param int $restoreid id of backup
238      * @param string $itemname name of the item
239      * @param int $itemid id of item
240      * @param array $extrarecord extra record which needs to be updated
241      * @return void
242      * @todo MDL-25290 replace static BACKUP_IDS_* with MUC code
243      */
244     protected static function set_backup_ids_cached($restoreid, $itemname, $itemid, $extrarecord) {
245         global $DB;
247         $key = "$itemid $itemname $restoreid";
249         $record = array(
250             'backupid' => $restoreid,
251             'itemname' => $itemname,
252             'itemid'   => $itemid,
253         );
255         // If record is not cached then add one.
256         if (!isset(self::$backupidsexist[$key])) {
257             // If we have this record in db, then just update this.
258             if ($existingrecord = $DB->get_record('backup_ids_temp', $record)) {
259                 self::$backupidsexist[$key] = $existingrecord->id;
260                 self::$backupidsexistsize--;
261                 self::update_backup_cached_record($record, $extrarecord, $key, $existingrecord);
262             } else {
263                 // Add new record to cache and db.
264                 $recorddefault = array (
265                     'newitemid' => 0,
266                     'parentitemid' => null,
267                     'info' => null);
268                 $record = array_merge($record, $recorddefault, $extrarecord);
269                 $record['id'] = $DB->insert_record('backup_ids_temp', $record);
270                 self::$backupidsexist[$key] = $record['id'];
271                 self::$backupidsexistsize--;
272                 if (self::$backupidscachesize > 0) {
273                     // Cache new records if we haven't got many yet.
274                     self::$backupidscache[$key] = (object) $record;
275                     self::$backupidscachesize--;
276                 }
277             }
278         } else {
279             self::update_backup_cached_record($record, $extrarecord, $key);
280         }
281     }
283     /**
284      * Updates existing backup record
285      *
286      * @param array $record record which needs to be updated
287      * @param array $extrarecord extra record which needs to be updated
288      * @param string $key unique key which is used to identify cached record
289      * @param stdClass $existingrecord (optional) existing record
290      */
291     protected static function update_backup_cached_record($record, $extrarecord, $key, $existingrecord = null) {
292         global $DB;
293         // Update only if extrarecord is not empty.
294         if (!empty($extrarecord)) {
295             $extrarecord['id'] = self::$backupidsexist[$key];
296             $DB->update_record('backup_ids_temp', $extrarecord);
297             // Update existing cache or add new record to cache.
298             if (isset(self::$backupidscache[$key])) {
299                 $record = array_merge((array)self::$backupidscache[$key], $extrarecord);
300                 self::$backupidscache[$key] = (object) $record;
301             } else if (self::$backupidscachesize > 0) {
302                 if ($existingrecord) {
303                     self::$backupidscache[$key] = $existingrecord;
304                 } else {
305                     // Retrive record from database and cache updated records.
306                     self::$backupidscache[$key] = $DB->get_record('backup_ids_temp', $record);
307                 }
308                 $record = array_merge((array)self::$backupidscache[$key], $extrarecord);
309                 self::$backupidscache[$key] = (object) $record;
310                 self::$backupidscachesize--;
311             }
312         }
313     }
315     /**
316      * Reset the ids caches completely
317      *
318      * Any destructive operation (partial delete, truncate, drop or recreate) performed
319      * with the backup_ids table must cause the backup_ids caches to be
320      * invalidated by calling this method. See MDL-33630.
321      *
322      * Note that right now, the only operation of that type is the recreation
323      * (drop & restore) of the table that may happen once the prechecks have ended. All
324      * the rest of operations are always routed via {@link set_backup_ids_record()}, 1 by 1,
325      * keeping the caches on sync.
326      *
327      * @todo MDL-25290 static should be replaced with MUC code.
328      */
329     public static function reset_backup_ids_cached() {
330         // Reset the ids cache.
331         $cachetoadd = count(self::$backupidscache);
332         self::$backupidscache = array();
333         self::$backupidscachesize = self::$backupidscachesize + $cachetoadd;
334         // Reset the exists cache.
335         $existstoadd = count(self::$backupidsexist);
336         self::$backupidsexist = array();
337         self::$backupidsexistsize = self::$backupidsexistsize + $existstoadd;
338     }
340     /**
341      * Given one role, as loaded from XML, perform the best possible matching against the assignable
342      * roles, using different fallback alternatives (shortname, archetype, editingteacher => teacher, defaultcourseroleid)
343      * returning the id of the best matching role or 0 if no match is found
344      */
345     protected static function get_best_assignable_role($role, $courseid, $userid, $samesite) {
346         global $CFG, $DB;
348         // Gather various information about roles
349         $coursectx = get_context_instance(CONTEXT_COURSE, $courseid);
350         $allroles = $DB->get_records('role');
351         $assignablerolesshortname = get_assignable_roles($coursectx, ROLENAME_SHORT, false, $userid);
353         // Note: under 1.9 we had one function restore_samerole() that performed one complete
354         // matching of roles (all caps) and if match was found the mapping was availabe bypassing
355         // any assignable_roles() security. IMO that was wrong and we must not allow such
356         // mappings anymore. So we have left that matching strategy out in 2.0
358         // Empty assignable roles, mean no match possible
359         if (empty($assignablerolesshortname)) {
360             return 0;
361         }
363         // Match by shortname
364         if ($match = array_search($role->shortname, $assignablerolesshortname)) {
365             return $match;
366         }
368         // Match by archetype
369         list($in_sql, $in_params) = $DB->get_in_or_equal(array_keys($assignablerolesshortname));
370         $params = array_merge(array($role->archetype), $in_params);
371         if ($rec = $DB->get_record_select('role', "archetype = ? AND id $in_sql", $params, 'id', IGNORE_MULTIPLE)) {
372             return $rec->id;
373         }
375         // Match editingteacher to teacher (happens a lot, from 1.9)
376         if ($role->shortname == 'editingteacher' && in_array('teacher', $assignablerolesshortname)) {
377             return array_search('teacher', $assignablerolesshortname);
378         }
380         // No match, return 0
381         return 0;
382     }
385     /**
386      * Process the loaded roles, looking for their best mapping or skipping
387      * Any error will cause exception. Note this is one wrapper over
388      * precheck_included_roles, that contains all the logic, but returns
389      * errors/warnings instead and is executed as part of the restore prechecks
390      */
391      public static function process_included_roles($restoreid, $courseid, $userid, $samesite, $rolemappings) {
392         global $DB;
394         // Just let precheck_included_roles() to do all the hard work
395         $problems = self::precheck_included_roles($restoreid, $courseid, $userid, $samesite, $rolemappings);
397         // With problems of type error, throw exception, shouldn't happen if prechecks executed
398         if (array_key_exists('errors', $problems)) {
399             throw new restore_dbops_exception('restore_problems_processing_roles', null, implode(', ', $problems['errors']));
400         }
401     }
403     /**
404      * Load the needed users.xml file to backup_ids table for future reference
405      */
406     public static function load_users_to_tempids($restoreid, $usersfile) {
408         if (!file_exists($usersfile)) { // Shouldn't happen ever, but...
409             throw new backup_helper_exception('missing_users_xml_file', $usersfile);
410         }
411         // Let's parse, custom processor will do its work, sending info to DB
412         $xmlparser = new progressive_parser();
413         $xmlparser->set_file($usersfile);
414         $xmlprocessor = new restore_users_parser_processor($restoreid);
415         $xmlparser->set_processor($xmlprocessor);
416         $xmlparser->process();
417     }
419     /**
420      * Load the needed questions.xml file to backup_ids table for future reference
421      */
422     public static function load_categories_and_questions_to_tempids($restoreid, $questionsfile) {
424         if (!file_exists($questionsfile)) { // Shouldn't happen ever, but...
425             throw new backup_helper_exception('missing_questions_xml_file', $questionsfile);
426         }
427         // Let's parse, custom processor will do its work, sending info to DB
428         $xmlparser = new progressive_parser();
429         $xmlparser->set_file($questionsfile);
430         $xmlprocessor = new restore_questions_parser_processor($restoreid);
431         $xmlparser->set_processor($xmlprocessor);
432         $xmlparser->process();
433     }
435     /**
436      * Check all the included categories and questions, deciding the action to perform
437      * for each one (mapping / creation) and returning one array of problems in case
438      * something is wrong.
439      *
440      * There are some basic rules that the method below will always try to enforce:
441      *
442      * Rule1: Targets will be, always, calculated for *whole* question banks (a.k.a. contexid source),
443      *     so, given 2 question categories belonging to the same bank, their target bank will be
444      *     always the same. If not, we can be incurring into "fragmentation", leading to random/cloze
445      *     problems (qtypes having "child" questions).
446      *
447      * Rule2: The 'moodle/question:managecategory' and 'moodle/question:add' capabilities will be
448      *     checked before creating any category/question respectively and, if the cap is not allowed
449      *     into upper contexts (system, coursecat)) but in lower ones (course), the *whole* question bank
450      *     will be created there.
451      *
452      * Rule3: Coursecat question banks not existing in the target site will be created as course
453      *     (lower ctx) question banks, never as "guessed" coursecat question banks base on depth or so.
454      *
455      * Rule4: System question banks will be created at system context if user has perms to do so. Else they
456      *     will created as course (lower ctx) question banks (similary to rule3). In other words, course ctx
457      *     if always a fallback for system and coursecat question banks.
458      *
459      * Also, there are some notes to clarify the scope of this method:
460      *
461      * Note1: This method won't create any question category nor question at all. It simply will calculate
462      *     which actions (create/map) must be performed for each element and where, validating that all those
463      *     actions are doable by the user executing the restore operation. Any problem found will be
464      *     returned in the problems array, causing the restore process to stop with error.
465      *
466      * Note2: To decide if one question bank (all its question categories and questions) is going to be remapped,
467      *     then all the categories and questions must exist in the same target bank. If able to do so, missing
468      *     qcats and qs will be created (rule2). But if, at the end, something is missing, the whole question bank
469      *     will be recreated at course ctx (rule1), no matter if that duplicates some categories/questions.
470      *
471      * Note3: We'll be using the newitemid column in the temp_ids table to store the action to be performed
472      *     with each question category and question. newitemid = 0 means the qcat/q needs to be created and
473      *     any other value means the qcat/q is mapped. Also, for qcats, parentitemid will contain the target
474      *     context where the categories have to be created (but for module contexts where we'll keep the old
475      *     one until the activity is created)
476      *
477      * Note4: All these "actions" will be "executed" later by {@link restore_create_categories_and_questions}
478      */
479     public static function precheck_categories_and_questions($restoreid, $courseid, $userid, $samesite) {
481         $problems = array();
483         // TODO: Check all qs, looking their qtypes are restorable
485         // Precheck all qcats and qs looking for target contexts / warnings / errors
486         list($syserr, $syswarn) = self::prechek_precheck_qbanks_by_level($restoreid, $courseid, $userid, $samesite, CONTEXT_SYSTEM);
487         list($caterr, $catwarn) = self::prechek_precheck_qbanks_by_level($restoreid, $courseid, $userid, $samesite, CONTEXT_COURSECAT);
488         list($couerr, $couwarn) = self::prechek_precheck_qbanks_by_level($restoreid, $courseid, $userid, $samesite, CONTEXT_COURSE);
489         list($moderr, $modwarn) = self::prechek_precheck_qbanks_by_level($restoreid, $courseid, $userid, $samesite, CONTEXT_MODULE);
491         // Acummulate and handle errors and warnings
492         $errors   = array_merge($syserr, $caterr, $couerr, $moderr);
493         $warnings = array_merge($syswarn, $catwarn, $couwarn, $modwarn);
494         if (!empty($errors)) {
495             $problems['errors'] = $errors;
496         }
497         if (!empty($warnings)) {
498             $problems['warnings'] = $warnings;
499         }
500         return $problems;
501     }
503     /**
504      * This function will process all the question banks present in restore
505      * at some contextlevel (from CONTEXT_SYSTEM to CONTEXT_MODULE), finding
506      * the target contexts where each bank will be restored and returning
507      * warnings/errors as needed.
508      *
509      * Some contextlevels (system, coursecat), will delegate process to
510      * course level if any problem is found (lack of permissions, non-matching
511      * target context...). Other contextlevels (course, module) will
512      * cause return error if some problem is found.
513      *
514      * At the end, if no errors were found, all the categories in backup_temp_ids
515      * will be pointing (parentitemid) to the target context where they must be
516      * created later in the restore process.
517      *
518      * Note: at the time these prechecks are executed, activities haven't been
519      * created yet so, for CONTEXT_MODULE banks, we keep the old contextid
520      * in the parentitemid field. Once the activity (and its context) has been
521      * created, we'll update that context in the required qcats
522      *
523      * Caller {@link precheck_categories_and_questions} will, simply, execute
524      * this function for all the contextlevels, acting as a simple controller
525      * of warnings and errors.
526      *
527      * The function returns 2 arrays, one containing errors and another containing
528      * warnings. Both empty if no errors/warnings are found.
529      */
530     public static function prechek_precheck_qbanks_by_level($restoreid, $courseid, $userid, $samesite, $contextlevel) {
531         global $CFG, $DB;
533         // To return any errors and warnings found
534         $errors   = array();
535         $warnings = array();
537         // Specify which fallbacks must be performed
538         $fallbacks = array(
539             CONTEXT_SYSTEM => CONTEXT_COURSE,
540             CONTEXT_COURSECAT => CONTEXT_COURSE);
542         // For any contextlevel, follow this process logic:
543         //
544         // 0) Iterate over each context (qbank)
545         // 1) Iterate over each qcat in the context, matching by stamp for the found target context
546         //     2a) No match, check if user can create qcat and q
547         //         3a) User can, mark the qcat and all dependent qs to be created in that target context
548         //         3b) User cannot, check if we are in some contextlevel with fallback
549         //             4a) There is fallback, move ALL the qcats to fallback, warn. End qcat loop
550         //             4b) No fallback, error. End qcat loop.
551         //     2b) Match, mark qcat to be mapped and iterate over each q, matching by stamp and version
552         //         5a) No match, check if user can add q
553         //             6a) User can, mark the q to be created
554         //             6b) User cannot, check if we are in some contextlevel with fallback
555         //                 7a) There is fallback, move ALL the qcats to fallback, warn. End qcat loop
556         //                 7b) No fallback, error. End qcat loop
557         //         5b) Match, mark q to be mapped
559         // Get all the contexts (question banks) in restore for the given contextlevel
560         $contexts = self::restore_get_question_banks($restoreid, $contextlevel);
562         // 0) Iterate over each context (qbank)
563         foreach ($contexts as $contextid => $contextlevel) {
564             // Init some perms
565             $canmanagecategory = false;
566             $canadd            = false;
567             // get categories in context (bank)
568             $categories = self::restore_get_question_categories($restoreid, $contextid);
569             // cache permissions if $targetcontext is found
570             if ($targetcontext = self::restore_find_best_target_context($categories, $courseid, $contextlevel)) {
571                 $canmanagecategory = has_capability('moodle/question:managecategory', $targetcontext, $userid);
572                 $canadd            = has_capability('moodle/question:add', $targetcontext, $userid);
573             }
574             // 1) Iterate over each qcat in the context, matching by stamp for the found target context
575             foreach ($categories as $category) {
576                 $matchcat = false;
577                 if ($targetcontext) {
578                     $matchcat = $DB->get_record('question_categories', array(
579                                     'contextid' => $targetcontext->id,
580                                     'stamp' => $category->stamp));
581                 }
582                 // 2a) No match, check if user can create qcat and q
583                 if (!$matchcat) {
584                     // 3a) User can, mark the qcat and all dependent qs to be created in that target context
585                     if ($canmanagecategory && $canadd) {
586                         // Set parentitemid to targetcontext, BUT for CONTEXT_MODULE categories, where
587                         // we keep the source contextid unmodified (for easier matching later when the
588                         // activities are created)
589                         $parentitemid = $targetcontext->id;
590                         if ($contextlevel == CONTEXT_MODULE) {
591                             $parentitemid = null; // null means "not modify" a.k.a. leave original contextid
592                         }
593                         self::set_backup_ids_record($restoreid, 'question_category', $category->id, 0, $parentitemid);
594                         // Nothing else to mark, newitemid = 0 means create
596                     // 3b) User cannot, check if we are in some contextlevel with fallback
597                     } else {
598                         // 4a) There is fallback, move ALL the qcats to fallback, warn. End qcat loop
599                         if (array_key_exists($contextlevel, $fallbacks)) {
600                             foreach ($categories as $movedcat) {
601                                 $movedcat->contextlevel = $fallbacks[$contextlevel];
602                                 self::set_backup_ids_record($restoreid, 'question_category', $movedcat->id, 0, $contextid, $movedcat);
603                                 // Warn about the performed fallback
604                                 $warnings[] = get_string('qcategory2coursefallback', 'backup', $movedcat);
605                             }
607                         // 4b) No fallback, error. End qcat loop.
608                         } else {
609                             $errors[] = get_string('qcategorycannotberestored', 'backup', $category);
610                         }
611                         break; // out from qcat loop (both 4a and 4b), we have decided about ALL categories in context (bank)
612                     }
614                 // 2b) Match, mark qcat to be mapped and iterate over each q, matching by stamp and version
615                 } else {
616                     self::set_backup_ids_record($restoreid, 'question_category', $category->id, $matchcat->id, $targetcontext->id);
617                     $questions = self::restore_get_questions($restoreid, $category->id);
618                     foreach ($questions as $question) {
619                         $matchq = $DB->get_record('question', array(
620                                       'category' => $matchcat->id,
621                                       'stamp' => $question->stamp,
622                                       'version' => $question->version));
623                         // 5a) No match, check if user can add q
624                         if (!$matchq) {
625                             // 6a) User can, mark the q to be created
626                             if ($canadd) {
627                                 // Nothing to mark, newitemid means create
629                              // 6b) User cannot, check if we are in some contextlevel with fallback
630                             } else {
631                                 // 7a) There is fallback, move ALL the qcats to fallback, warn. End qcat loo
632                                 if (array_key_exists($contextlevel, $fallbacks)) {
633                                     foreach ($categories as $movedcat) {
634                                         $movedcat->contextlevel = $fallbacks[$contextlevel];
635                                         self::set_backup_ids_record($restoreid, 'question_category', $movedcat->id, 0, $contextid, $movedcat);
636                                         // Warn about the performed fallback
637                                         $warnings[] = get_string('question2coursefallback', 'backup', $movedcat);
638                                     }
640                                 // 7b) No fallback, error. End qcat loop
641                                 } else {
642                                     $errors[] = get_string('questioncannotberestored', 'backup', $question);
643                                 }
644                                 break 2; // out from qcat loop (both 7a and 7b), we have decided about ALL categories in context (bank)
645                             }
647                         // 5b) Match, mark q to be mapped
648                         } else {
649                             self::set_backup_ids_record($restoreid, 'question', $question->id, $matchq->id);
650                         }
651                     }
652                 }
653             }
654         }
656         return array($errors, $warnings);
657     }
659     /**
660      * Return one array of contextid => contextlevel pairs
661      * of question banks to be checked for one given restore operation
662      * ordered from CONTEXT_SYSTEM downto CONTEXT_MODULE
663      * If contextlevel is specified, then only banks corresponding to
664      * that level are returned
665      */
666     public static function restore_get_question_banks($restoreid, $contextlevel = null) {
667         global $DB;
669         $results = array();
670         $qcats = $DB->get_records_sql("SELECT itemid, parentitemid AS contextid
671                                          FROM {backup_ids_temp}
672                                        WHERE backupid = ?
673                                          AND itemname = 'question_category'", array($restoreid));
674         foreach ($qcats as $qcat) {
675             // If this qcat context haven't been acummulated yet, do that
676             if (!isset($results[$qcat->contextid])) {
677                 $temprec = self::get_backup_ids_record($restoreid, 'question_category', $qcat->itemid);
678                 // Filter by contextlevel if necessary
679                 if (is_null($contextlevel) || $contextlevel == $temprec->info->contextlevel) {
680                     $results[$qcat->contextid] = $temprec->info->contextlevel;
681                 }
682             }
683         }
684         // Sort by value (contextlevel from CONTEXT_SYSTEM downto CONTEXT_MODULE)
685         asort($results);
686         return $results;
687     }
689     /**
690      * Return one array of question_category records for
691      * a given restore operation and one restore context (question bank)
692      */
693     public static function restore_get_question_categories($restoreid, $contextid) {
694         global $DB;
696         $results = array();
697         $qcats = $DB->get_records_sql("SELECT itemid
698                                          FROM {backup_ids_temp}
699                                         WHERE backupid = ?
700                                           AND itemname = 'question_category'
701                                           AND parentitemid = ?", array($restoreid, $contextid));
702         foreach ($qcats as $qcat) {
703             $temprec = self::get_backup_ids_record($restoreid, 'question_category', $qcat->itemid);
704             $results[$qcat->itemid] = $temprec->info;
705         }
706         return $results;
707     }
709     /**
710      * Calculates the best context found to restore one collection of qcats,
711      * al them belonging to the same context (question bank), returning the
712      * target context found (object) or false
713      */
714     public static function restore_find_best_target_context($categories, $courseid, $contextlevel) {
715         global $DB;
717         $targetcontext = false;
719         // Depending of $contextlevel, we perform different actions
720         switch ($contextlevel) {
721              // For system is easy, the best context is the system context
722              case CONTEXT_SYSTEM:
723                  $targetcontext = get_context_instance(CONTEXT_SYSTEM);
724                  break;
726              // For coursecat, we are going to look for stamps in all the
727              // course categories between CONTEXT_SYSTEM and CONTEXT_COURSE
728              // (i.e. in all the course categories in the path)
729              //
730              // And only will return one "best" target context if all the
731              // matches belong to ONE and ONLY ONE context. If multiple
732              // matches are found, that means that there is some annoying
733              // qbank "fragmentation" in the categories, so we'll fallback
734              // to create the qbank at course level
735              case CONTEXT_COURSECAT:
736                  // Build the array of stamps we are going to match
737                  $stamps = array();
738                  foreach ($categories as $category) {
739                      $stamps[] = $category->stamp;
740                  }
741                  $contexts = array();
742                  // Build the array of contexts we are going to look
743                  $systemctx = get_context_instance(CONTEXT_SYSTEM);
744                  $coursectx = get_context_instance(CONTEXT_COURSE, $courseid);
745                  $parentctxs= get_parent_contexts($coursectx);
746                  foreach ($parentctxs as $parentctx) {
747                      // Exclude system context
748                      if ($parentctx == $systemctx->id) {
749                          continue;
750                      }
751                      $contexts[] = $parentctx;
752                  }
753                  if (!empty($stamps) && !empty($contexts)) {
754                      // Prepare the query
755                      list($stamp_sql, $stamp_params) = $DB->get_in_or_equal($stamps);
756                      list($context_sql, $context_params) = $DB->get_in_or_equal($contexts);
757                      $sql = "SELECT contextid
758                                FROM {question_categories}
759                               WHERE stamp $stamp_sql
760                                 AND contextid $context_sql";
761                      $params = array_merge($stamp_params, $context_params);
762                      $matchingcontexts = $DB->get_records_sql($sql, $params);
763                      // Only if ONE and ONLY ONE context is found, use it as valid target
764                      if (count($matchingcontexts) == 1) {
765                          $targetcontext = get_context_instance_by_id(reset($matchingcontexts)->contextid);
766                      }
767                  }
768                  break;
770              // For course is easy, the best context is the course context
771              case CONTEXT_COURSE:
772                  $targetcontext = get_context_instance(CONTEXT_COURSE, $courseid);
773                  break;
775              // For module is easy, there is not best context, as far as the
776              // activity hasn't been created yet. So we return context course
777              // for them, so permission checks and friends will work. Note this
778              // case is handled by {@link prechek_precheck_qbanks_by_level}
779              // in an special way
780              case CONTEXT_MODULE:
781                  $targetcontext = get_context_instance(CONTEXT_COURSE, $courseid);
782                  break;
783         }
784         return $targetcontext;
785     }
787     /**
788      * Return one array of question records for
789      * a given restore operation and one question category
790      */
791     public static function restore_get_questions($restoreid, $qcatid) {
792         global $DB;
794         $results = array();
795         $qs = $DB->get_records_sql("SELECT itemid
796                                       FROM {backup_ids_temp}
797                                      WHERE backupid = ?
798                                        AND itemname = 'question'
799                                        AND parentitemid = ?", array($restoreid, $qcatid));
800         foreach ($qs as $q) {
801             $temprec = self::get_backup_ids_record($restoreid, 'question', $q->itemid);
802             $results[$q->itemid] = $temprec->info;
803         }
804         return $results;
805     }
807     /**
808      * Given one component/filearea/context and
809      * optionally one source itemname to match itemids
810      * put the corresponding files in the pool
811      *
812      * @param string $basepath the full path to the root of unzipped backup file
813      * @param string $restoreid the restore job's identification
814      * @param string $component
815      * @param string $filearea
816      * @param int $oldcontextid
817      * @param int $dfltuserid default $file->user if the old one can't be mapped
818      * @param string|null $itemname
819      * @param int|null $olditemid
820      * @param int|null $forcenewcontextid explicit value for the new contextid (skip mapping)
821      * @param bool $skipparentitemidctxmatch
822      * @return array of result object
823      */
824     public static function send_files_to_pool($basepath, $restoreid, $component, $filearea, $oldcontextid, $dfltuserid, $itemname = null, $olditemid = null, $forcenewcontextid = null, $skipparentitemidctxmatch = false) {
825         global $DB;
827         $results = array();
829         if ($forcenewcontextid) {
830             // Some components can have "forced" new contexts (example: questions can end belonging to non-standard context mappings,
831             // with questions originally at system/coursecat context in source being restored to course context in target). So we need
832             // to be able to force the new contextid
833             $newcontextid = $forcenewcontextid;
834         } else {
835             // Get new context, must exist or this will fail
836             if (!$newcontextid = self::get_backup_ids_record($restoreid, 'context', $oldcontextid)->newitemid) {
837                 throw new restore_dbops_exception('unknown_context_mapping', $oldcontextid);
838             }
839         }
841         // Sometimes it's possible to have not the oldcontextids stored into backup_ids_temp->parentitemid
842         // columns (because we have used them to store other information). This happens usually with
843         // all the question related backup_ids_temp records. In that case, it's safe to ignore that
844         // matching as far as we are always restoring for well known oldcontexts and olditemids
845         $parentitemctxmatchsql = ' AND i.parentitemid = f.contextid ';
846         if ($skipparentitemidctxmatch) {
847             $parentitemctxmatchsql = '';
848         }
850         // Important: remember how files have been loaded to backup_files_temp
851         //   - info: contains the whole original object (times, names...)
852         //   (all them being original ids as loaded from xml)
854         // itemname = null, we are going to match only by context, no need to use itemid (all them are 0)
855         if ($itemname == null) {
856             $sql = "SELECT id AS bftid, contextid, component, filearea, itemid, itemid AS newitemid, info
857                       FROM {backup_files_temp}
858                      WHERE backupid = ?
859                        AND contextid = ?
860                        AND component = ?
861                        AND filearea  = ?";
862             $params = array($restoreid, $oldcontextid, $component, $filearea);
864         // itemname not null, going to join with backup_ids to perform the old-new mapping of itemids
865         } else {
866             $sql = "SELECT f.id AS bftid, f.contextid, f.component, f.filearea, f.itemid, i.newitemid, f.info
867                       FROM {backup_files_temp} f
868                       JOIN {backup_ids_temp} i ON i.backupid = f.backupid
869                                               $parentitemctxmatchsql
870                                               AND i.itemid = f.itemid
871                      WHERE f.backupid = ?
872                        AND f.contextid = ?
873                        AND f.component = ?
874                        AND f.filearea = ?
875                        AND i.itemname = ?";
876             $params = array($restoreid, $oldcontextid, $component, $filearea, $itemname);
877             if ($olditemid !== null) { // Just process ONE olditemid intead of the whole itemname
878                 $sql .= ' AND i.itemid = ?';
879                 $params[] = $olditemid;
880             }
881         }
883         $fs = get_file_storage();         // Get moodle file storage
884         $basepath = $basepath . '/files/';// Get backup file pool base
885         $rs = $DB->get_recordset_sql($sql, $params);
886         foreach ($rs as $rec) {
887             $file = (object)unserialize(base64_decode($rec->info));
889             // ignore root dirs (they are created automatically)
890             if ($file->filepath == '/' && $file->filename == '.') {
891                 continue;
892             }
894             // set the best possible user
895             $mappeduser = self::get_backup_ids_record($restoreid, 'user', $file->userid);
896             $mappeduserid = !empty($mappeduser) ? $mappeduser->newitemid : $dfltuserid;
898             // dir found (and not root one), let's create it
899             if ($file->filename == '.') {
900                 $fs->create_directory($newcontextid, $component, $filearea, $rec->newitemid, $file->filepath, $mappeduserid);
901                 continue;
902             }
904             if (empty($file->repositoryid)) {
905                 // this is a regular file, it must be present in the backup pool
906                 $backuppath = $basepath . backup_file_manager::get_backup_content_file_location($file->contenthash);
908                 // The file is not found in the backup.
909                 if (!file_exists($backuppath)) {
910                     $result = new stdClass();
911                     $result->code = 'file_missing_in_backup';
912                     $result->message = sprintf('missing file %s%s in backup', $file->filepath, $file->filename);
913                     $result->level = backup::LOG_WARNING;
914                     $results[] = $result;
915                     continue;
916                 }
918                 // create the file in the filepool if it does not exist yet
919                 if (!$fs->file_exists($newcontextid, $component, $filearea, $rec->newitemid, $file->filepath, $file->filename)) {
920                     $file_record = array(
921                         'contextid'   => $newcontextid,
922                         'component'   => $component,
923                         'filearea'    => $filearea,
924                         'itemid'      => $rec->newitemid,
925                         'filepath'    => $file->filepath,
926                         'filename'    => $file->filename,
927                         'timecreated' => $file->timecreated,
928                         'timemodified'=> $file->timemodified,
929                         'userid'      => $mappeduserid,
930                         'author'      => $file->author,
931                         'license'     => $file->license,
932                         'sortorder'   => $file->sortorder
933                     );
934                     $fs->create_file_from_pathname($file_record, $backuppath);
935                 }
937                 // store the the new contextid and the new itemid in case we need to remap
938                 // references to this file later
939                 $DB->update_record('backup_files_temp', array(
940                     'id' => $rec->bftid,
941                     'newcontextid' => $newcontextid,
942                     'newitemid' => $rec->newitemid), true);
944             } else {
945                 // this is an alias - we can't create it yet so we stash it in a temp
946                 // table and will let the final task to deal with it
947                 if (!$fs->file_exists($newcontextid, $component, $filearea, $rec->newitemid, $file->filepath, $file->filename)) {
948                     $info = new stdClass();
949                     // oldfile holds the raw information stored in MBZ (including reference-related info)
950                     $info->oldfile = $file;
951                     // newfile holds the info for the new file_record with the context, user and itemid mapped
952                     $info->newfile = (object)array(
953                         'contextid'   => $newcontextid,
954                         'component'   => $component,
955                         'filearea'    => $filearea,
956                         'itemid'      => $rec->newitemid,
957                         'filepath'    => $file->filepath,
958                         'filename'    => $file->filename,
959                         'timecreated' => $file->timecreated,
960                         'timemodified'=> $file->timemodified,
961                         'userid'      => $mappeduserid,
962                         'author'      => $file->author,
963                         'license'     => $file->license,
964                         'sortorder'   => $file->sortorder
965                     );
967                     restore_dbops::set_backup_ids_record($restoreid, 'file_aliases_queue', $file->id, 0, null, $info);
968                 }
969             }
970         }
971         $rs->close();
972         return $results;
973     }
975     /**
976      * Given one restoreid, create in DB all the users present
977      * in backup_ids having newitemid = 0, as far as
978      * precheck_included_users() have left them there
979      * ready to be created. Also, annotate their newids
980      * once created for later reference
981      */
982     public static function create_included_users($basepath, $restoreid, $userid) {
983         global $CFG, $DB;
985         $authcache = array(); // Cache to get some bits from authentication plugins
986         $languages = get_string_manager()->get_list_of_translations(); // Get languages for quick search later
987         $themes    = get_list_of_themes(); // Get themes for quick search later
989         // Iterate over all the included users with newitemid = 0, have to create them
990         $rs = $DB->get_recordset('backup_ids_temp', array('backupid' => $restoreid, 'itemname' => 'user', 'newitemid' => 0), '', 'itemid, parentitemid');
991         foreach ($rs as $recuser) {
992             $user = (object)self::get_backup_ids_record($restoreid, 'user', $recuser->itemid)->info;
994             // if user lang doesn't exist here, use site default
995             if (!array_key_exists($user->lang, $languages)) {
996                 $user->lang = $CFG->lang;
997             }
999             // if user theme isn't available on target site or they are disabled, reset theme
1000             if (!empty($user->theme)) {
1001                 if (empty($CFG->allowuserthemes) || !in_array($user->theme, $themes)) {
1002                     $user->theme = '';
1003                 }
1004             }
1006             // if user to be created has mnet auth and its mnethostid is $CFG->mnet_localhost_id
1007             // that's 100% impossible as own server cannot be accesed over mnet. Change auth to email/manual
1008             if ($user->auth == 'mnet' && $user->mnethostid == $CFG->mnet_localhost_id) {
1009                 // Respect registerauth
1010                 if ($CFG->registerauth == 'email') {
1011                     $user->auth = 'email';
1012                 } else {
1013                     $user->auth = 'manual';
1014                 }
1015             }
1016             unset($user->mnethosturl); // Not needed anymore
1018             // Disable pictures based on global setting
1019             if (!empty($CFG->disableuserimages)) {
1020                 $user->picture = 0;
1021             }
1023             // We need to analyse the AUTH field to recode it:
1024             //   - if the auth isn't enabled in target site, $CFG->registerauth will decide
1025             //   - finally, if the auth resulting isn't enabled, default to 'manual'
1026             if (!is_enabled_auth($user->auth)) {
1027                 if ($CFG->registerauth == 'email') {
1028                     $user->auth = 'email';
1029                 } else {
1030                     $user->auth = 'manual';
1031                 }
1032             }
1033             if (!is_enabled_auth($user->auth)) { // Final auth check verify, default to manual if not enabled
1034                 $user->auth = 'manual';
1035             }
1037             // Now that we know the auth method, for users to be created without pass
1038             // if password handling is internal and reset password is available
1039             // we set the password to "restored" (plain text), so the login process
1040             // will know how to handle that situation in order to allow the user to
1041             // recover the password. MDL-20846
1042             if (empty($user->password)) { // Only if restore comes without password
1043                 if (!array_key_exists($user->auth, $authcache)) { // Not in cache
1044                     $userauth = new stdClass();
1045                     $authplugin = get_auth_plugin($user->auth);
1046                     $userauth->preventpassindb = $authplugin->prevent_local_passwords();
1047                     $userauth->isinternal      = $authplugin->is_internal();
1048                     $userauth->canresetpwd     = $authplugin->can_reset_password();
1049                     $authcache[$user->auth] = $userauth;
1050                 } else {
1051                     $userauth = $authcache[$user->auth]; // Get from cache
1052                 }
1054                 // Most external plugins do not store passwords locally
1055                 if (!empty($userauth->preventpassindb)) {
1056                     $user->password = 'not cached';
1058                 // If Moodle is responsible for storing/validating pwd and reset functionality is available, mark
1059                 } else if ($userauth->isinternal and $userauth->canresetpwd) {
1060                     $user->password = 'restored';
1061                 }
1062             }
1064             // Creating new user, we must reset the policyagreed always
1065             $user->policyagreed = 0;
1067             // Set time created if empty
1068             if (empty($user->timecreated)) {
1069                 $user->timecreated = time();
1070             }
1072             // Done, let's create the user and annotate its id
1073             $newuserid = $DB->insert_record('user', $user);
1074             self::set_backup_ids_record($restoreid, 'user', $recuser->itemid, $newuserid);
1075             // Let's create the user context and annotate it (we need it for sure at least for files)
1076             // but for deleted users that don't have a context anymore (MDL-30192). We are done for them
1077             // and nothing else (custom fields, prefs, tags, files...) will be created.
1078             if (empty($user->deleted)) {
1079                 $newuserctxid = $user->deleted ? 0 : get_context_instance(CONTEXT_USER, $newuserid)->id;
1080                 self::set_backup_ids_record($restoreid, 'context', $recuser->parentitemid, $newuserctxid);
1082                 // Process custom fields
1083                 if (isset($user->custom_fields)) { // if present in backup
1084                     foreach($user->custom_fields['custom_field'] as $udata) {
1085                         $udata = (object)$udata;
1086                         // If the profile field has data and the profile shortname-datatype is defined in server
1087                         if ($udata->field_data) {
1088                             if ($field = $DB->get_record('user_info_field', array('shortname'=>$udata->field_name, 'datatype'=>$udata->field_type))) {
1089                             /// Insert the user_custom_profile_field
1090                                 $rec = new stdClass();
1091                                 $rec->userid  = $newuserid;
1092                                 $rec->fieldid = $field->id;
1093                                 $rec->data    = $udata->field_data;
1094                                 $DB->insert_record('user_info_data', $rec);
1095                             }
1096                         }
1097                     }
1098                 }
1100                 // Process tags
1101                 if (!empty($CFG->usetags) && isset($user->tags)) { // if enabled in server and present in backup
1102                     $tags = array();
1103                     foreach($user->tags['tag'] as $usertag) {
1104                         $usertag = (object)$usertag;
1105                         $tags[] = $usertag->rawname;
1106                     }
1107                     tag_set('user', $newuserid, $tags);
1108                 }
1110                 // Process preferences
1111                 if (isset($user->preferences)) { // if present in backup
1112                     foreach($user->preferences['preference'] as $preference) {
1113                         $preference = (object)$preference;
1114                         // Prepare the record and insert it
1115                         $preference->userid = $newuserid;
1116                         $status = $DB->insert_record('user_preferences', $preference);
1117                     }
1118                 }
1120                 // Create user files in pool (profile, icon, private) by context
1121                 restore_dbops::send_files_to_pool($basepath, $restoreid, 'user', 'icon', $recuser->parentitemid, $userid);
1122                 restore_dbops::send_files_to_pool($basepath, $restoreid, 'user', 'profile', $recuser->parentitemid, $userid);
1123             }
1124         }
1125         $rs->close();
1126     }
1128     /**
1129     * Given one user object (from backup file), perform all the neccesary
1130     * checks is order to decide how that user will be handled on restore.
1131     *
1132     * Note the function requires $user->mnethostid to be already calculated
1133     * so it's caller responsibility to set it
1134     *
1135     * This function is used both by @restore_precheck_users() and
1136     * @restore_create_users() to get consistent results in both places
1137     *
1138     * It returns:
1139     *   - one user object (from DB), if match has been found and user will be remapped
1140     *   - boolean true if the user needs to be created
1141     *   - boolean false if some conflict happened and the user cannot be handled
1142     *
1143     * Each test is responsible for returning its results and interrupt
1144     * execution. At the end, boolean true (user needs to be created) will be
1145     * returned if no test has interrupted that.
1146     *
1147     * Here it's the logic applied, keep it updated:
1148     *
1149     *  If restoring users from same site backup:
1150     *      1A - Normal check: If match by id and username and mnethost  => ok, return target user
1151     *      1B - Handle users deleted in DB and "alive" in backup file:
1152     *           If match by id and mnethost and user is deleted in DB and
1153     *           (match by username LIKE 'backup_email.%' or by non empty email = md5(username)) => ok, return target user
1154     *      1C - Handle users deleted in backup file and "alive" in DB:
1155     *           If match by id and mnethost and user is deleted in backup file
1156     *           and match by email = email_without_time(backup_email) => ok, return target user
1157     *      1D - Conflict: If match by username and mnethost and doesn't match by id => conflict, return false
1158     *      1E - None of the above, return true => User needs to be created
1159     *
1160     *  if restoring from another site backup (cannot match by id here, replace it by email/firstaccess combination):
1161     *      2A - Normal check: If match by username and mnethost and (email or non-zero firstaccess) => ok, return target user
1162     *      2B - Handle users deleted in DB and "alive" in backup file:
1163     *           2B1 - If match by mnethost and user is deleted in DB and not empty email = md5(username) and
1164     *                 (username LIKE 'backup_email.%' or non-zero firstaccess) => ok, return target user
1165     *           2B2 - If match by mnethost and user is deleted in DB and
1166     *                 username LIKE 'backup_email.%' and non-zero firstaccess) => ok, return target user
1167     *                 (to cover situations were md5(username) wasn't implemented on delete we requiere both)
1168     *      2C - Handle users deleted in backup file and "alive" in DB:
1169     *           If match mnethost and user is deleted in backup file
1170     *           and by email = email_without_time(backup_email) and non-zero firstaccess=> ok, return target user
1171     *      2D - Conflict: If match by username and mnethost and not by (email or non-zero firstaccess) => conflict, return false
1172     *      2E - None of the above, return true => User needs to be created
1173     *
1174     * Note: for DB deleted users email is stored in username field, hence we
1175     *       are looking there for emails. See delete_user()
1176     * Note: for DB deleted users md5(username) is stored *sometimes* in the email field,
1177     *       hence we are looking there for usernames if not empty. See delete_user()
1178     */
1179     protected static function precheck_user($user, $samesite) {
1180         global $CFG, $DB;
1182         // Handle checks from same site backups
1183         if ($samesite && empty($CFG->forcedifferentsitecheckingusersonrestore)) {
1185             // 1A - If match by id and username and mnethost => ok, return target user
1186             if ($rec = $DB->get_record('user', array('id'=>$user->id, 'username'=>$user->username, 'mnethostid'=>$user->mnethostid))) {
1187                 return $rec; // Matching user found, return it
1188             }
1190             // 1B - Handle users deleted in DB and "alive" in backup file
1191             // Note: for DB deleted users email is stored in username field, hence we
1192             //       are looking there for emails. See delete_user()
1193             // Note: for DB deleted users md5(username) is stored *sometimes* in the email field,
1194             //       hence we are looking there for usernames if not empty. See delete_user()
1195             // If match by id and mnethost and user is deleted in DB and
1196             // match by username LIKE 'backup_email.%' or by non empty email = md5(username) => ok, return target user
1197             if ($rec = $DB->get_record_sql("SELECT *
1198                                               FROM {user} u
1199                                              WHERE id = ?
1200                                                AND mnethostid = ?
1201                                                AND deleted = 1
1202                                                AND (
1203                                                        UPPER(username) LIKE UPPER(?)
1204                                                     OR (
1205                                                            ".$DB->sql_isnotempty('user', 'email', false, false)."
1206                                                        AND email = ?
1207                                                        )
1208                                                    )",
1209                                            array($user->id, $user->mnethostid, $user->email.'.%', md5($user->username)))) {
1210                 return $rec; // Matching user, deleted in DB found, return it
1211             }
1213             // 1C - Handle users deleted in backup file and "alive" in DB
1214             // If match by id and mnethost and user is deleted in backup file
1215             // and match by email = email_without_time(backup_email) => ok, return target user
1216             if ($user->deleted) {
1217                 // Note: for DB deleted users email is stored in username field, hence we
1218                 //       are looking there for emails. See delete_user()
1219                 // Trim time() from email
1220                 $trimemail = preg_replace('/(.*?)\.[0-9]+.?$/', '\\1', $user->username);
1221                 if ($rec = $DB->get_record_sql("SELECT *
1222                                                   FROM {user} u
1223                                                  WHERE id = ?
1224                                                    AND mnethostid = ?
1225                                                    AND UPPER(email) = UPPER(?)",
1226                                                array($user->id, $user->mnethostid, $trimemail))) {
1227                     return $rec; // Matching user, deleted in backup file found, return it
1228                 }
1229             }
1231             // 1D - If match by username and mnethost and doesn't match by id => conflict, return false
1232             if ($rec = $DB->get_record('user', array('username'=>$user->username, 'mnethostid'=>$user->mnethostid))) {
1233                 if ($user->id != $rec->id) {
1234                     return false; // Conflict, username already exists and belongs to another id
1235                 }
1236             }
1238         // Handle checks from different site backups
1239         } else {
1241             // 2A - If match by username and mnethost and
1242             //     (email or non-zero firstaccess) => ok, return target user
1243             if ($rec = $DB->get_record_sql("SELECT *
1244                                               FROM {user} u
1245                                              WHERE username = ?
1246                                                AND mnethostid = ?
1247                                                AND (
1248                                                        UPPER(email) = UPPER(?)
1249                                                     OR (
1250                                                            firstaccess != 0
1251                                                        AND firstaccess = ?
1252                                                        )
1253                                                    )",
1254                                            array($user->username, $user->mnethostid, $user->email, $user->firstaccess))) {
1255                 return $rec; // Matching user found, return it
1256             }
1258             // 2B - Handle users deleted in DB and "alive" in backup file
1259             // Note: for DB deleted users email is stored in username field, hence we
1260             //       are looking there for emails. See delete_user()
1261             // Note: for DB deleted users md5(username) is stored *sometimes* in the email field,
1262             //       hence we are looking there for usernames if not empty. See delete_user()
1263             // 2B1 - If match by mnethost and user is deleted in DB and not empty email = md5(username) and
1264             //       (by username LIKE 'backup_email.%' or non-zero firstaccess) => ok, return target user
1265             if ($rec = $DB->get_record_sql("SELECT *
1266                                               FROM {user} u
1267                                              WHERE mnethostid = ?
1268                                                AND deleted = 1
1269                                                AND ".$DB->sql_isnotempty('user', 'email', false, false)."
1270                                                AND email = ?
1271                                                AND (
1272                                                        UPPER(username) LIKE UPPER(?)
1273                                                     OR (
1274                                                            firstaccess != 0
1275                                                        AND firstaccess = ?
1276                                                        )
1277                                                    )",
1278                                            array($user->mnethostid, md5($user->username), $user->email.'.%', $user->firstaccess))) {
1279                 return $rec; // Matching user found, return it
1280             }
1282             // 2B2 - If match by mnethost and user is deleted in DB and
1283             //       username LIKE 'backup_email.%' and non-zero firstaccess) => ok, return target user
1284             //       (this covers situations where md5(username) wasn't being stored so we require both
1285             //        the email & non-zero firstaccess to match)
1286             if ($rec = $DB->get_record_sql("SELECT *
1287                                               FROM {user} u
1288                                              WHERE mnethostid = ?
1289                                                AND deleted = 1
1290                                                AND UPPER(username) LIKE UPPER(?)
1291                                                AND firstaccess != 0
1292                                                AND firstaccess = ?",
1293                                            array($user->mnethostid, $user->email.'.%', $user->firstaccess))) {
1294                 return $rec; // Matching user found, return it
1295             }
1297             // 2C - Handle users deleted in backup file and "alive" in DB
1298             // If match mnethost and user is deleted in backup file
1299             // and match by email = email_without_time(backup_email) and non-zero firstaccess=> ok, return target user
1300             if ($user->deleted) {
1301                 // Note: for DB deleted users email is stored in username field, hence we
1302                 //       are looking there for emails. See delete_user()
1303                 // Trim time() from email
1304                 $trimemail = preg_replace('/(.*?)\.[0-9]+.?$/', '\\1', $user->username);
1305                 if ($rec = $DB->get_record_sql("SELECT *
1306                                                   FROM {user} u
1307                                                  WHERE mnethostid = ?
1308                                                    AND UPPER(email) = UPPER(?)
1309                                                    AND firstaccess != 0
1310                                                    AND firstaccess = ?",
1311                                                array($user->mnethostid, $trimemail, $user->firstaccess))) {
1312                     return $rec; // Matching user, deleted in backup file found, return it
1313                 }
1314             }
1316             // 2D - If match by username and mnethost and not by (email or non-zero firstaccess) => conflict, return false
1317             if ($rec = $DB->get_record_sql("SELECT *
1318                                               FROM {user} u
1319                                              WHERE username = ?
1320                                                AND mnethostid = ?
1321                                            AND NOT (
1322                                                        UPPER(email) = UPPER(?)
1323                                                     OR (
1324                                                            firstaccess != 0
1325                                                        AND firstaccess = ?
1326                                                        )
1327                                                    )",
1328                                            array($user->username, $user->mnethostid, $user->email, $user->firstaccess))) {
1329                 return false; // Conflict, username/mnethostid already exist and belong to another user (by email/firstaccess)
1330             }
1331         }
1333         // Arrived here, return true as the user will need to be created and no
1334         // conflicts have been found in the logic above. This covers:
1335         // 1E - else => user needs to be created, return true
1336         // 2E - else => user needs to be created, return true
1337         return true;
1338     }
1340     /**
1341      * Check all the included users, deciding the action to perform
1342      * for each one (mapping / creation) and returning one array
1343      * of problems in case something is wrong (lack of permissions,
1344      * conficts)
1345      */
1346     public static function precheck_included_users($restoreid, $courseid, $userid, $samesite) {
1347         global $CFG, $DB;
1349         // To return any problem found
1350         $problems = array();
1352         // We are going to map mnethostid, so load all the available ones
1353         $mnethosts = $DB->get_records('mnet_host', array(), 'wwwroot', 'wwwroot, id');
1355         // Calculate the context we are going to use for capability checking
1356         $context = get_context_instance(CONTEXT_COURSE, $courseid);
1358         // Calculate if we have perms to create users, by checking:
1359         // to 'moodle/restore:createuser' and 'moodle/restore:userinfo'
1360         // and also observe $CFG->disableusercreationonrestore
1361         $cancreateuser = false;
1362         if (has_capability('moodle/restore:createuser', $context, $userid) and
1363             has_capability('moodle/restore:userinfo', $context, $userid) and
1364             empty($CFG->disableusercreationonrestore)) { // Can create users
1366             $cancreateuser = true;
1367         }
1369         // Iterate over all the included users
1370         $rs = $DB->get_recordset('backup_ids_temp', array('backupid' => $restoreid, 'itemname' => 'user'), '', 'itemid');
1371         foreach ($rs as $recuser) {
1372             $user = (object)self::get_backup_ids_record($restoreid, 'user', $recuser->itemid)->info;
1374             // Find the correct mnethostid for user before performing any further check
1375             if (empty($user->mnethosturl) || $user->mnethosturl === $CFG->wwwroot) {
1376                 $user->mnethostid = $CFG->mnet_localhost_id;
1377             } else {
1378                 // fast url-to-id lookups
1379                 if (isset($mnethosts[$user->mnethosturl])) {
1380                     $user->mnethostid = $mnethosts[$user->mnethosturl]->id;
1381                 } else {
1382                     $user->mnethostid = $CFG->mnet_localhost_id;
1383                 }
1384             }
1386             // Now, precheck that user and, based on returned results, annotate action/problem
1387             $usercheck = self::precheck_user($user, $samesite);
1389             if (is_object($usercheck)) { // No problem, we have found one user in DB to be mapped to
1390                 // Annotate it, for later process. Set newitemid to mapping user->id
1391                 self::set_backup_ids_record($restoreid, 'user', $recuser->itemid, $usercheck->id);
1393             } else if ($usercheck === false) { // Found conflict, report it as problem
1394                  $problems[] = get_string('restoreuserconflict', '', $user->username);
1396             } else if ($usercheck === true) { // User needs to be created, check if we are able
1397                 if ($cancreateuser) { // Can create user, set newitemid to 0 so will be created later
1398                     self::set_backup_ids_record($restoreid, 'user', $recuser->itemid, 0, null, (array)$user);
1400                 } else { // Cannot create user, report it as problem
1401                     $problems[] = get_string('restorecannotcreateuser', '', $user->username);
1402                 }
1404             } else { // Shouldn't arrive here ever, something is for sure wrong. Exception
1405                 throw new restore_dbops_exception('restore_error_processing_user', $user->username);
1406             }
1407         }
1408         $rs->close();
1409         return $problems;
1410     }
1412     /**
1413      * Process the needed users in order to decide
1414      * which action to perform with them (create/map)
1415      *
1416      * Just wrap over precheck_included_users(), returning
1417      * exception if any problem is found
1418      */
1419     public static function process_included_users($restoreid, $courseid, $userid, $samesite) {
1420         global $DB;
1422         // Just let precheck_included_users() to do all the hard work
1423         $problems = self::precheck_included_users($restoreid, $courseid, $userid, $samesite);
1425         // With problems, throw exception, shouldn't happen if prechecks were originally
1426         // executed, so be radical here.
1427         if (!empty($problems)) {
1428             throw new restore_dbops_exception('restore_problems_processing_users', null, implode(', ', $problems));
1429         }
1430     }
1432     /**
1433      * Process the needed question categories and questions
1434      * to check all them, deciding about the action to perform
1435      * (create/map) and target.
1436      *
1437      * Just wrap over precheck_categories_and_questions(), returning
1438      * exception if any problem is found
1439      */
1440     public static function process_categories_and_questions($restoreid, $courseid, $userid, $samesite) {
1441         global $DB;
1443         // Just let precheck_included_users() to do all the hard work
1444         $problems = self::precheck_categories_and_questions($restoreid, $courseid, $userid, $samesite);
1446         // With problems of type error, throw exception, shouldn't happen if prechecks were originally
1447         // executed, so be radical here.
1448         if (array_key_exists('errors', $problems)) {
1449             throw new restore_dbops_exception('restore_problems_processing_questions', null, implode(', ', $problems['errors']));
1450         }
1451     }
1453     public static function set_backup_files_record($restoreid, $filerec) {
1454         global $DB;
1456         // Store external files info in `info` field
1457         $filerec->info     = base64_encode(serialize($filerec)); // Serialize the whole rec in info
1458         $filerec->backupid = $restoreid;
1459         $DB->insert_record('backup_files_temp', $filerec);
1460     }
1462     public static function set_backup_ids_record($restoreid, $itemname, $itemid, $newitemid = 0, $parentitemid = null, $info = null) {
1463         // Build conditionally the extra record info
1464         $extrarecord = array();
1465         if ($newitemid != 0) {
1466             $extrarecord['newitemid'] = $newitemid;
1467         }
1468         if ($parentitemid != null) {
1469             $extrarecord['parentitemid'] = $parentitemid;
1470         }
1471         if ($info != null) {
1472             $extrarecord['info'] = base64_encode(serialize($info));
1473         }
1475         self::set_backup_ids_cached($restoreid, $itemname, $itemid, $extrarecord);
1476     }
1478     public static function get_backup_ids_record($restoreid, $itemname, $itemid) {
1479         $dbrec = self::get_backup_ids_cached($restoreid, $itemname, $itemid);
1481         if ($dbrec && isset($dbrec->info) && is_string($dbrec->info)) {
1482             $dbrec->info = unserialize(base64_decode($dbrec->info));
1483         }
1485         return $dbrec;
1486     }
1488     /**
1489      * Given on courseid, fullname and shortname, calculate the correct fullname/shortname to avoid dupes
1490      */
1491     public static function calculate_course_names($courseid, $fullname, $shortname) {
1492         global $CFG, $DB;
1494         $currentfullname = '';
1495         $currentshortname = '';
1496         $counter = 0;
1497         // Iteratere while the name exists
1498         do {
1499             if ($counter) {
1500                 $suffixfull  = ' ' . get_string('copyasnoun') . ' ' . $counter;
1501                 $suffixshort = '_' . $counter;
1502             } else {
1503                 $suffixfull  = '';
1504                 $suffixshort = '';
1505             }
1506             $currentfullname = $fullname.$suffixfull;
1507             $currentshortname = substr($shortname, 0, 100 - strlen($suffixshort)).$suffixshort; // < 100cc
1508             $coursefull  = $DB->get_record_select('course', 'fullname = ? AND id != ?',
1509                     array($currentfullname, $courseid), '*', IGNORE_MULTIPLE);
1510             $courseshort = $DB->get_record_select('course', 'shortname = ? AND id != ?', array($currentshortname, $courseid));
1511             $counter++;
1512         } while ($coursefull || $courseshort);
1514         // Return results
1515         return array($currentfullname, $currentshortname);
1516     }
1518     /**
1519      * For the target course context, put as many custom role names as possible
1520      */
1521     public static function set_course_role_names($restoreid, $courseid) {
1522         global $DB;
1524         // Get the course context
1525         $coursectx = get_context_instance(CONTEXT_COURSE, $courseid);
1526         // Get all the mapped roles we have
1527         $rs = $DB->get_recordset('backup_ids_temp', array('backupid' => $restoreid, 'itemname' => 'role'), '', 'itemid');
1528         foreach ($rs as $recrole) {
1529             // Get the complete temp_ids record
1530             $role = (object)self::get_backup_ids_record($restoreid, 'role', $recrole->itemid);
1531             // If it's one mapped role and we have one name for it
1532             if (!empty($role->newitemid) && !empty($role->info['nameincourse'])) {
1533                 // If role name doesn't exist, add it
1534                 $rolename = new stdclass();
1535                 $rolename->roleid = $role->newitemid;
1536                 $rolename->contextid = $coursectx->id;
1537                 if (!$DB->record_exists('role_names', (array)$rolename)) {
1538                     $rolename->name = $role->info['nameincourse'];
1539                     $DB->insert_record('role_names', $rolename);
1540                 }
1541             }
1542         }
1543         $rs->close();
1544     }
1546     /**
1547      * Creates a skeleton record within the database using the passed parameters
1548      * and returns the new course id.
1549      *
1550      * @global moodle_database $DB
1551      * @param string $fullname
1552      * @param string $shortname
1553      * @param int $categoryid
1554      * @return int The new course id
1555      */
1556     public static function create_new_course($fullname, $shortname, $categoryid) {
1557         global $DB;
1558         $category = $DB->get_record('course_categories', array('id'=>$categoryid), '*', MUST_EXIST);
1560         $course = new stdClass;
1561         $course->fullname = $fullname;
1562         $course->shortname = $shortname;
1563         $course->category = $category->id;
1564         $course->sortorder = 0;
1565         $course->timecreated  = time();
1566         $course->timemodified = $course->timecreated;
1567         // forcing skeleton courses to be hidden instead of going by $category->visible , until MDL-27790 is resolved.
1568         $course->visible = 0;
1570         $courseid = $DB->insert_record('course', $course);
1572         $category->coursecount++;
1573         $DB->update_record('course_categories', $category);
1575         return $courseid;
1576     }
1578     /**
1579      * Deletes all of the content associated with the given course (courseid)
1580      * @param int $courseid
1581      * @param array $options
1582      * @return bool True for success
1583      */
1584     public static function delete_course_content($courseid, array $options = null) {
1585         return remove_course_contents($courseid, false, $options);
1586     }
1589 /*
1590  * Exception class used by all the @dbops stuff
1591  */
1592 class restore_dbops_exception extends backup_exception {
1594     public function __construct($errorcode, $a=NULL, $debuginfo=null) {
1595         parent::__construct($errorcode, 'error', '', $a, null, $debuginfo);
1596     }