MDL-22584 fixed non standard space char breaking file upgrades
[moodle.git] / lib / db / upgradelib.php
1 <?php
3 // This file is part of Moodle - http://moodle.org/
4 //
5 // Moodle is free software: you can redistribute it and/or modify
6 // it under the terms of the GNU General Public License as published by
7 // the Free Software Foundation, either version 3 of the License, or
8 // (at your option) any later version.
9 //
10 // Moodle is distributed in the hope that it will be useful,
11 // but WITHOUT ANY WARRANTY; without even the implied warranty of
12 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 // GNU General Public License for more details.
14 //
15 // You should have received a copy of the GNU General Public License
16 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
18 /**
19  * Upgrade helper functions
20  *
21  * This file is used for special upgrade functions - for example groups and gradebook.
22  * These functions must use SQL and database related functions only- no other Moodle API,
23  * because it might depend on db structures that are not yet present during upgrade.
24  * (Do not use functions from accesslib.php, grades classes or group functions at all!)
25  *
26  * @package    core
27  * @subpackage admin
28  * @copyright  2007 Petr Skoda (http://skodak.org)
29  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
30  */
32 defined('MOODLE_INTERNAL') || die();
34 function upgrade_fix_category_depths() {
35     global $CFG, $DB;
37     // first fix incorrect parents
38     $sql = "SELECT c.id
39               FROM {course_categories} c
40              WHERE c.parent > 0 AND c.parent NOT IN (SELECT pc.id FROM {course_categories} pc)";
41     if ($rs = $DB->get_recordset_sql($sql)) {
42         foreach ($rs as $cat) {
43             $cat->depth  = 1;
44             $cat->path   = '/'.$cat->id;
45             $cat->parent = 0;
46             $DB->update_record('course_categories', $cat);
47         }
48         $rs->close();
49     }
51     // now add path and depth to top level categories
52     $sql = "UPDATE {course_categories}
53                SET depth = 1, path = ".$DB->sql_concat("'/'", "id")."
54              WHERE parent = 0";
55     $DB->execute($sql);
57     // now fix all other levels - slow but works in all supported dbs
58     $parentdepth = 1;
59     while ($DB->record_exists('course_categories', array('depth'=>0))) {
60         $sql = "SELECT c.id, pc.path
61                   FROM {course_categories} c, {course_categories} pc
62                  WHERE c.parent=pc.id AND c.depth=0 AND pc.depth=?";
63         if ($rs = $DB->get_recordset_sql($sql, array($parentdepth))) {
64             foreach ($rs as $cat) {
65                 $cat->depth = $parentdepth+1;
66                 $cat->path  = $cat->path.'/'.$cat->id;
67                 $DB->update_record('course_categories', $cat);
68             }
69             $rs->close();
70         }
71         $parentdepth++;
72         if ($parentdepth > 100) {
73             //something must have gone wrong - nobody can have more than 100 levels of categories, right?
74             debugging('Unknown error fixing category depths');
75             break;
76         }
77     }
78 }
80 /**
81  * Moves all course files except the moddata to new file storage
82  *
83  * Unfortunately this function uses core file related functions - it might be necessary to tweak it if something changes there :-(
84  */
85 function upgrade_migrate_files_courses() {
86     global $DB, $CFG;
87     require_once($CFG->libdir.'/filelib.php');
89     set_config('upgradenewfilemirgation', 1);
91     $count = $DB->count_records('course');
92     $pbar = new progress_bar('migratecoursefiles', 500, true);
94     $rs = $DB->get_recordset('course');
95     $i = 0;
96     foreach ($rs as $course) {
97         $i++;
98         upgrade_set_timeout(60*5); // set up timeout, may also abort execution
99         $context = get_context_instance(CONTEXT_COURSE, $course->id);
100         upgrade_migrate_files_course($context, '/', true);
101         $pbar->update($i, $count, "Migrated course files - course $i/$count.");
102     }
103     $rs->close();
105     return true;
108 /**
109  * Moodle 2.0dev was using xx/xx/xx file pool directory structure, this migrates the existing files to xx/xx.
110  * This will not be executed in production upgrades...
111  * @return void
112  */
113 function upgrade_simplify_overkill_pool_structure() {
114     global $CFG, $OUTPUT;
116     if (isset($CFG->upgradenewfilemirgation)) {
117         // newer upgrade, directory structure is in the form xx/xx already
118         unset_config('upgradenewfilemirgation');
119         return;
120     }
122     $filedir = $CFG->dataroot.'/filedir'; // hardcoded hack, do not use elsewhere!!
124     echo $OUTPUT->notification("Changing file pool directory structure, this may take a while...", 'notifysuccess');
126     $dir_l1 = new DirectoryIterator($filedir);
127     foreach ($dir_l1 as $d1) {
128         if ($d1->isDot() or $d1->isLink() or !$d1->isDir()) {
129             continue;
130         }
131         $name1 = $d1->getFilename();
132         if (strlen($name1) != 2) {
133             continue; //weird
134         }
135         $dir_l2 = new DirectoryIterator("$filedir/$name1");
136         foreach ($dir_l2 as $d2) {
137             if ($d2->isDot() or $d2->isLink() or !$d2->isDir()) {
138                 continue;
139             }
140             $name2 = $d2->getFilename();
141             if (strlen($name2) != 2) {
142                 continue; //weird
143             }
144             $dir_l3 = new DirectoryIterator("$filedir/$name1/$name2");
145             foreach ($dir_l3 as $d3) {
146                 if ($d3->isDot() or $d3->isLink() or !$d3->isDir()) {
147                     continue;
148                 }
149                 $name3 = $d3->getFilename();
150                 if (strlen($name3) != 2) {
151                     continue; //weird
152                 }
153                 $dir_l4 = new DirectoryIterator("$filedir/$name1/$name2/$name3");
154                 foreach ($dir_l4 as $d4) {
155                     if (!$d4->isFile()) {
156                         continue; //. or ..
157                     }
158                     upgrade_set_timeout(60*5); // set up timeout, may also abort execution
159                     $newfile = "$filedir/$name1/$name2/".$d4->getFilename();
160                     $oldfile = "$filedir/$name1/$name2/$name3/".$d4->getFilename();
161                     if (!file_exists($newfile)) {
162                         rename($oldfile, $newfile);
163                     }
164                 }
165                 unset($d4);
166                 unset($dir_l4);
167                 rmdir("$filedir/$name1/$name2/$name3");
168             }
169             unset($d3);
170             unset($dir_l3); // release file handles
171         }
172         unset($d2);
173         unset($dir_l2); // release file handles
174     }
177 /**
178  * Internal function - do not use directly
179  */
180 function upgrade_migrate_user_icons() {
181     global $CFG, $OUTPUT, $DB;
183     $fs = get_file_storage();
185     $icon = array('component'=>'user', 'filearea'=>'icon', 'itemid'=>0, 'filepath'=>'/');
187     $count = $DB->count_records('user', array('picture'=>1, 'deleted'=>0));
188     $pbar = new progress_bar('migratecoursefiles', 500, true);
190     $rs = $DB->get_recordset('user', array('picture'=>1, 'deleted'=>0), 'id ASC', 'id, picture');
191     $i = 0;
192     foreach ($rs as $user) {
193         $i++;
194         upgrade_set_timeout(60); /// Give upgrade at least 60 more seconds
195         $pbar->update($i, $count, "Migrated user icons $i/$count.");
197         $context = get_context_instance(CONTEXT_USER, $user->id);
199         if ($fs->file_exists($context->id, 'user', 'icon', 0, '/', 'f1.jpg')) {
200             // already converted!
201             continue;
202         }
204         $level1 = floor($user->id / 1000) * 1000;
205         $userdir = "$CFG->dataroot/user/$level1/$user->id";
206         if (!file_exists("$userdir/f1.jpg") or !file_exists("$userdir/f2.jpg")) {
207             $userdir = "$CFG->dataroot/users/$user->id";
208             if (!file_exists("$userdir/f1.jpg") or !file_exists("$userdir/f2.jpg")) {
209                 // no image found, sorry
210                 $user->picture = 0;
211                 $DB->update_record('user', $user);
212                 continue;
213             }
214         }
216         $icon['contextid'] = $context->id;
217         $icon['filename']  = 'f1.jpg';
218         $fs->create_file_from_pathname($icon, "$userdir/f1.jpg");
219         $icon['filename']  = 'f2.jpg';
220         $fs->create_file_from_pathname($icon, "$userdir/f2.jpg");
221     }
222     $rs->close();
224     // purge all old user image dirs
225     remove_dir("$CFG->dataroot/user");
226     remove_dir("$CFG->dataroot/users");
229 /**
230  * Internal function - do not use directly
231  */
232 function upgrade_migrate_group_icons() {
233     global $CFG, $OUTPUT, $DB;
235     $fs = get_file_storage();
237     $icon = array('component'=>'group', 'filearea'=>'icon', 'filepath'=>'/');
239     $count = $DB->count_records('groups', array('picture'=>1));
240     $pbar = new progress_bar('migrategroupfiles', 500, true);
242     $rs = $DB->get_recordset('groups', array('picture'=>1), 'courseid ASC', 'id, picture, courseid');
243     $i = 0;
244     foreach ($rs as $group) {
245         $i++;
246         upgrade_set_timeout(60); /// Give upgrade at least 60 more seconds
247         $pbar->update($i, $count, "Migrated group icons  $i/$count.");
249         $context = get_context_instance(CONTEXT_COURSE, $group->courseid);
251         if ($fs->file_exists($context->id, 'group', 'icon', $group->id, '/', 'f1.jpg')) {
252             // already converted!
253             continue;
254         }
256         $groupdir = "$CFG->dataroot/groups/$group->id";
257         if (!file_exists("$groupdir/f1.jpg") or !file_exists("$groupdir/f2.jpg")) {
258             // no image found, sorry
259             $group->picture = 0;
260             $DB->update_record('groups', $group);
261             continue;
262         }
264         $icon['contextid'] = $context->id;
265         $icon['itemid']    = $group->id;
266         $icon['filename']  = 'f1.jpg';
267         $fs->create_file_from_pathname($icon, "$groupdir/f1.jpg");
268         $icon['filename']  = 'f2.jpg';
269         $fs->create_file_from_pathname($icon, "$groupdir/f2.jpg");
270     }
271     $rs->close();
273     // purge all old group image dirs
274     remove_dir("$CFG->dataroot/groups");
277 /**
278  * Internal function - do not use directly
279  */
280 function upgrade_migrate_files_course($context, $path, $delete) {
281     global $CFG, $OUTPUT;
283     $fullpathname = $CFG->dataroot.'/'.$context->instanceid.$path;
284     if (!file_exists($fullpathname)) {
285         return;
286     }
287     $items = new DirectoryIterator($fullpathname);
288     $fs = get_file_storage();
290     $textlib = textlib_get_instance();
292     foreach ($items as $item) {
293         if ($item->isDot()) {
294             continue;
295         }
297         if ($item->isLink()) {
298             // do not delete symbolic links or its children
299             $delete_this = false;
300         } else {
301             $delete_this = $delete;
302         }
304         if (strpos($path, '/backupdata/') === 0) {
305             $component = 'backup';
306             $filearea  = 'course';
307             $filepath  = substr($path, strlen('/backupdata'));
308         } else {
309             $component = 'course';
310             $filearea  = 'legacy';
311             $filepath  = $path;
312         }
314         if ($item->isFile()) {
315             if (!$item->isReadable()) {
316                 echo $OUTPUT->notification(" File not readable, skipping: ".$fullpathname.$item->getFilename());
317                 continue;
318             }
320             $filepath = clean_param($filepath, PARAM_PATH);
321             $filename = clean_param($item->getFilename(), PARAM_FILE);
323             if ($filename === '') {
324                 //unsupported chars, sorry
325                 continue;
326             }
328             if ($textlib->strlen($filepath) > 255) {
329                 echo $OUTPUT->notification(" File path longer than 255 chars, skipping: ".$fullpathname.$item->getFilename());
330                 continue;
331             }
333             if (!$fs->file_exists($context->id, $component, $filearea, '0', $filepath, $filename)) {
334                 $file_record = array('contextid'=>$context->id, 'component'=>$component, 'filearea'=>$filearea, 'itemid'=>0, 'filepath'=>$filepath, 'filename'=>$filename,
335                                      'timecreated'=>$item->getCTime(), 'timemodified'=>$item->getMTime());
336                 if ($fs->create_file_from_pathname($file_record, $fullpathname.$item->getFilename())) {
337                     if ($delete_this) {
338                         @unlink($fullpathname.$item->getFilename());
339                     }
340                 }
341             }
343         } else {
344             if ($path == '/' and $item->getFilename() == 'moddata') {
345                 continue; // modules are responsible
346             }
348             $dirname = clean_param($item->getFilename(), PARAM_PATH);
349             if ($dirname === '') {
350                 //unsupported chars, sorry
351                 continue;
352             }
353             $filepath = ($filepath.$dirname.'/');
354             if ($filepath !== '/backupdata/') {
355                 $fs->create_directory($context->id, $component, $filearea, 0, $filepath);
356             }
358             //migrate recursively all subdirectories
359             upgrade_migrate_files_course($context, $path.$item->getFilename().'/', $delete_this);
360             if ($delete_this) {
361                 // delete dir if empty
362                 @rmdir($fullpathname.$item->getFilename());
363             }
364         }
365     }
366     unset($items); //release file handles
369 /**
370  * Moves all block attachments
371  *
372  * Unfortunately this function uses core file related functions - it might be necessary to tweak it if something changes there :-(
373  */
374 function upgrade_migrate_files_blog() {
375     global $DB, $CFG, $OUTPUT;
377     $fs = get_file_storage();
379     $count = $DB->count_records_select('post', "module='blog' AND attachment IS NOT NULL AND attachment <> '1'");
381     if ($rs = $DB->get_recordset_select('post', "module='blog' AND attachment IS NOT NULL AND attachment <> '1'")) {
383         upgrade_set_timeout(60*20); // set up timeout, may also abort execution
385         $pbar = new progress_bar('migrateblogfiles', 500, true);
387         $i = 0;
388         foreach ($rs as $entry) {
389             $i++;
390             $pathname = "$CFG->dataroot/blog/attachments/$entry->id/$entry->attachment";
391             if (!file_exists($pathname)) {
392                 $entry->attachment = NULL;
393                 $DB->update_record('post', $entry);
394                 continue;
395             }
397             $filename = clean_param($entry->attachment, PARAM_FILE);
398             if ($filename === '') {
399                 // weird file name, ignore it
400                 $entry->attachment = NULL;
401                 $DB->update_record('post', $entry);
402                 continue;
403             }
405             if (!is_readable($pathname)) {
406                 echo $OUTPUT->notification(" File not readable, skipping: ".$pathname);
407                 continue;
408             }
410             if (!$fs->file_exists(SYSCONTEXTID, 'blog', 'attachment', $entry->id, '/', $filename)) {
411                 $file_record = array('contextid'=>SYSCONTEXTID, 'component'=>'blog', 'filearea'=>'attachment', 'itemid'=>$entry->id, 'filepath'=>'/', 'filename'=>$filename,
412                                      'timecreated'=>filectime($pathname), 'timemodified'=>filemtime($pathname), 'userid'=>$entry->userid);
413                 $fs->create_file_from_pathname($file_record, $pathname);
414             }
415             @unlink($pathname);
416             @rmdir("$CFG->dataroot/blog/attachments/$entry->id/");
418             $entry->attachment = 1; // file name not needed there anymore
419             $DB->update_record('post', $entry);
420             $pbar->update($i, $count, "Migrated blog attachments - $i/$count.");
421         }
422         $rs->close();
423     }
425     @rmdir("$CFG->dataroot/blog/attachments/");
426     @rmdir("$CFG->dataroot/blog/");
429 /**
430  * This function will fix the status of the localhost/all records in the mnet_host table
431  * checking they exist and adding them if missing + redefine CFG->mnet_localhost_id  and
432  * CFG->mnet_all_hosts_id if needed + update all the users having non-existent mnethostid
433  * to correct CFG->mnet_localhost_id
434  *
435  * Implemented because, at some point, specially in old installations upgraded along
436  * multiple versions, sometimes the stuff above has ended being inconsistent, causing
437  * problems here and there (noticeably in backup/restore). MDL-16879
438  */
439 function upgrade_fix_incorrect_mnethostids() {
441     global $CFG, $DB;
443 /// Get current $CFG/mnet_host records
444     $old_mnet_localhost_id = !empty($CFG->mnet_localhost_id) ? $CFG->mnet_localhost_id : 0;
445     $old_mnet_all_hosts_id = !empty($CFG->mnet_all_hosts_id) ? $CFG->mnet_all_hosts_id : 0;
447     $current_mnet_localhost_host = $DB->get_record('mnet_host', array('wwwroot' => $CFG->wwwroot)); /// By wwwroot
448     $current_mnet_all_hosts_host = $DB->get_record_select('mnet_host', $DB->sql_isempty('mnet_host', 'wwwroot', false, false)); /// By empty wwwroot
450     if (!$moodleapplicationid = $DB->get_field('mnet_application', 'id', array('name' => 'moodle'))) {
451         $m = (object)array(
452             'name'              => 'moodle',
453             'display_name'      => 'Moodle',
454             'xmlrpc_server_url' => '/mnet/xmlrpc/server.php',
455             'sso_land_url'      => '/auth/mnet/land.php',
456             'sso_jump_url'      => '/auth/mnet/jump.php',
457         );
458         $moodleapplicationid = $DB->insert_record('mnet_application', $m);
459     }
461 /// Create localhost_host if necessary (pretty improbable but better to be 100% in the safe side)
462 /// Code stolen from mnet_environment->init
463     if (!$current_mnet_localhost_host) {
464         $current_mnet_localhost_host                     = new stdClass();
465         $current_mnet_localhost_host->wwwroot            = $CFG->wwwroot;
466         $current_mnet_localhost_host->ip_address         = '';
467         $current_mnet_localhost_host->public_key         = '';
468         $current_mnet_localhost_host->public_key_expires = 0;
469         $current_mnet_localhost_host->last_connect_time  = 0;
470         $current_mnet_localhost_host->last_log_id        = 0;
471         $current_mnet_localhost_host->deleted            = 0;
472         $current_mnet_localhost_host->name               = '';
473         $current_mnet_localhost_host->applicationid      = $moodleapplicationid;
474     /// Get the ip of the server
475         if (empty($_SERVER['SERVER_ADDR'])) {
476         /// SERVER_ADDR is only returned by Apache-like webservers
477             $count = preg_match("@^(?:http[s]?://)?([A-Z0-9\-\.]+).*@i", $current_mnet_localhost_host->wwwroot, $matches);
478             $my_hostname = $count > 0 ? $matches[1] : false;
479             $my_ip       = gethostbyname($my_hostname);  // Returns unmodified hostname on failure. DOH!
480             if ($my_ip == $my_hostname) {
481                 $current_mnet_localhost_host->ip_address = 'UNKNOWN';
482             } else {
483                 $current_mnet_localhost_host->ip_address = $my_ip;
484             }
485         } else {
486             $current_mnet_localhost_host->ip_address = $_SERVER['SERVER_ADDR'];
487         }
488         $current_mnet_localhost_host->id = $DB->insert_record('mnet_host', $current_mnet_localhost_host, true);
489     }
491 /// Create all_hosts_host if necessary (pretty improbable but better to be 100% in the safe side)
492 /// Code stolen from mnet_environment->init
493     if (!$current_mnet_all_hosts_host) {
494         $current_mnet_all_hosts_host                     = new stdClass();
495         $current_mnet_all_hosts_host->wwwroot            = '';
496         $current_mnet_all_hosts_host->ip_address         = '';
497         $current_mnet_all_hosts_host->public_key         = '';
498         $current_mnet_all_hosts_host->public_key_expires = 0;
499         $current_mnet_all_hosts_host->last_connect_time  = 0;
500         $current_mnet_all_hosts_host->last_log_id        = 0;
501         $current_mnet_all_hosts_host->deleted            = 0;
502         $current_mnet_all_hosts_host->name               = 'All Hosts';
503         $current_mnet_all_hosts_host->applicationid      = $moodleapplicationid;
504         $current_mnet_all_hosts_host->id                 = $DB->insert_record('mnet_host', $current_mnet_all_hosts_host, true);
505     }
507 /// Compare old_mnet_localhost_id and current_mnet_localhost_host
509     if ($old_mnet_localhost_id != $current_mnet_localhost_host->id) { /// Different = problems
510     /// Update $CFG->mnet_localhost_id to correct value
511         set_config('mnet_localhost_id', $current_mnet_localhost_host->id);
513     /// Delete $old_mnet_localhost_id if exists (users will be assigned to new one below)
514         $DB->delete_records('mnet_host', array('id' => $old_mnet_localhost_id));
515     }
517 /// Compare old_mnet_all_hosts_id and current_mnet_all_hosts_host
519     if ($old_mnet_all_hosts_id != $current_mnet_all_hosts_host->id) { /// Different = problems
520     /// Update $CFG->mnet_localhost_id to correct value
521         set_config('mnet_all_hosts_id', $current_mnet_all_hosts_host->id);
523     /// Delete $old_mnet_all_hosts_id if exists
524         $DB->delete_records('mnet_host', array('id' => $old_mnet_all_hosts_id));
525     }
527 /// Finally, update all the incorrect user->mnethostid to the correct CFG->mnet_localhost_id, preventing UIX dupes
528     $hosts = $DB->get_records_menu('mnet_host', null, '', 'id, id AS id2');
529     list($in_sql, $in_params) = $DB->get_in_or_equal($hosts, SQL_PARAMS_QM, null, false);
531     $sql = "SELECT id
532             FROM {user} u1
533             WHERE u1.mnethostid $in_sql
534               AND NOT EXISTS (
535                   SELECT 'x'
536                     FROM {user} u2
537                    WHERE u2.username = u1.username
538                      AND u2.mnethostid = ?)";
540     $params = array_merge($in_params, array($current_mnet_localhost_host->id));
542     if ($rs = $DB->get_recordset_sql($sql, $params)) {
543         foreach ($rs as $rec) {
544             $DB->set_field('user', 'mnethostid', $current_mnet_localhost_host->id, array('id' => $rec->id));
545             upgrade_set_timeout(60); /// Give upgrade at least 60 more seconds
546         }
547         $rs->close();
548     }
550     // fix up any host records that have incorrect ids
551     $DB->set_field_select('mnet_host', 'applicationid', $moodleapplicationid, 'id = ? or id = ?', array($current_mnet_localhost_host->id, $current_mnet_all_hosts_host->id));
555 /**
556  * This function is used as part of the great navigation upgrade of 20090828
557  * It is used to clean up contexts that are unique to a blocks that are about
558  * to be removed.
559  *
560  *
561  * Look at {@link blocklib.php::blocks_delete_instance()} the function from
562  * which I based this code. It is important to mention one very important fact
563  * before doing this I checked that the blocks did not override the
564  * {@link block_base::instance_delete()} method. Should this function ever
565  * be repeated check this again
566  *
567  * @link lib/db/upgrade.php
568  *
569  * @since navigation upgrade 20090828
570  * @param array $contextidarray An array of block instance context ids
571  * @return void
572  */
573 function upgrade_cleanup_unwanted_block_contexts($contextidarray) {
574     global $DB;
576     if (!is_array($contextidarray) || count($contextidarray)===0) {
577         // Ummmm no instances?
578         return;
579     }
581     $contextidstring = join(',', $contextidarray);
583     $blockcontexts = $DB->get_recordset_select('context', 'contextlevel = '.CONTEXT_BLOCK.' AND id IN ('.$contextidstring.')', array(), '', 'id, contextlevel');
584     $blockcontextids = array();
585     foreach ($blockcontexts as $blockcontext) {
586         $blockcontextids[] = $blockcontext->id;
587     }
589     if (count($blockcontextids)===0) {
590         // None of the instances have unique contexts
591         return;
592     }
594     $blockcontextidsstring = join(',', $blockcontextids);
596     $DB->delete_records_select('role_assignments', 'contextid IN ('.$blockcontextidsstring.')');
597     $DB->delete_records_select('role_capabilities', 'contextid IN ('.$blockcontextidsstring.')');
598     $DB->delete_records_select('role_names', 'contextid IN ('.$blockcontextidsstring.')');
599     $DB->delete_records_select('context', 'id IN ('.$blockcontextidsstring.')');