adaadbba6c72289afdc472d2bad6880d8569cca0
[moodle.git] / admin / cli / mysql_collation.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * MySQL collation conversion tool.
19  *
20  * @package    core
21  * @copyright  2012 Petr Skoda (http://skodak.org)
22  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
23  */
25 define('CLI_SCRIPT', true);
27 require(__DIR__.'/../../config.php');
28 require_once($CFG->libdir.'/clilib.php');      // cli only functions
30 if ($DB->get_dbfamily() !== 'mysql') {
31     cli_error('This function is designed for MySQL databases only!');
32 }
34 // now get cli options
35 list($options, $unrecognized) = cli_get_params(array('help'=>false, 'list'=>false, 'collation'=>false, 'available'=>false),
36     array('h'=>'help', 'l'=>'list', 'a'=>'available'));
38 if ($unrecognized) {
39     $unrecognized = implode("\n  ", $unrecognized);
40     cli_error(get_string('cliunknowoption', 'admin', $unrecognized));
41 }
43 $help =
44     "MySQL collation conversions script.
46 It is strongly recommended to stop the web server before the conversion.
47 This script may be executed before the main upgrade - 1.9.x data for example.
49 Options:
50 --collation=COLLATION Convert MySQL tables to different collation
51 -l, --list            Show table and column information
52 -a, --available       Show list of available collations
53 -h, --help            Print out this help
55 Example:
56 \$ sudo -u www-data /usr/bin/php admin/cli/mysql_collation.php --collation=utf8_general_ci
57 ";
59 if (!empty($options['collation'])) {
60     $collations = mysql_get_collations();
61     $collation = clean_param($options['collation'], PARAM_ALPHANUMEXT);
62     $collation = strtolower($collation);
63     if (!isset($collations[$collation])) {
64         cli_error("Error: collation '$collation' is not available on this server!");
65     }
67     $collationinfo = explode('_', $collation);
68     $charset = reset($collationinfo);
70     $engine = strtolower($DB->get_dbengine());
72     // Do checks for utf8mb4.
73     if (strpos($collation, 'utf8mb4') === 0) {
74         // Do we have the right engine?
75         if ($engine !== 'innodb' && $engine !== 'xtradb') {
76             cli_error("Error: '$collation' requires InnoDB or XtraDB set as the engine.");
77         }
78         // Are we using Barracuda?
79         if ($DB->get_row_format() != 'Barracuda') {
80             // Try setting it here.
81             try {
82                 $DB->execute("SET GLOBAL innodb_file_format=Barracuda");
83             } catch (dml_exception $e) {
84                 cli_error("Error: '$collation' requires the file format to be set to Barracuda.
85                         An attempt was made to change the format, but it failed. Please try doing this manually.");
86             }
87             echo "GLOBAL SETTING: innodb_file_format changed to Barracuda\n";
88         }
89         // Is one file per table being used?
90         if (!$DB->is_file_per_table_enabled()) {
91             try {
92                 $DB->execute("SET GLOBAL innodb_file_per_table=1");
93             } catch (dml_exception $e) {
94                 cli_error("Error: '$collation' requires the setting 'innodb_file_per_table' be set to 'ON'.
95                         An attempt was made to change the format, but it failed. Please try doing this manually.");
96             }
97             echo "GLOBAL SETTING: innodb_file_per_table changed to 1\n";
98         }
99         // Is large prefix set?
100         if (!$DB->is_large_prefix_enabled()) {
101             try {
102                 $DB->execute("SET GLOBAL innodb_large_prefix=1");
103             } catch (dml_exception $e) {
104                 cli_error("Error: '$collation' requires the setting 'innodb_large_prefix' be set to 'ON'.
105                         An attempt was made to change the format, but it failed. Please try doing this manually.");
106             }
107             echo "GLOBAL SETTING: innodb_large_prefix changed to 1\n";
108         }
109     }
111     $sql = "SHOW VARIABLES LIKE 'collation_database'";
112     if (!$dbcollation = $DB->get_record_sql($sql)) {
113         cli_error("Error: Could not access collation information on the database.");
114     }
115     $sql = "SHOW VARIABLES LIKE 'character_set_database'";
116     if (!$dbcharset = $DB->get_record_sql($sql)) {
117         cli_error("Error: Could not access character set information on the database.");
118     }
119     if ($dbcollation->value !== $collation || $dbcharset->value !== $charset) {
120         // Try to convert the DB.
121         echo "Converting database to '$collation' for $CFG->wwwroot:\n";
122         $sql = "ALTER DATABASE $CFG->dbname DEFAULT CHARACTER SET $charset DEFAULT COLLATE = $collation";
123         try {
124             $DB->change_database_structure($sql);
125         } catch (exception $e) {
126             cli_error("Error: Tried to alter the database with no success. Please try manually changing the database
127                     to the new collation and character set and then run this script again.");
128         }
129         echo "DATABASE CONVERTED\n";
130     }
132     echo "Converting tables and columns to '$collation' for $CFG->wwwroot:\n";
133     $prefix = $DB->get_prefix();
134     $prefix = str_replace('_', '\\_', $prefix);
135     $sql = "SHOW TABLE STATUS WHERE Name LIKE BINARY '$prefix%'";
136     $rs = $DB->get_recordset_sql($sql);
137     $converted = 0;
138     $skipped   = 0;
139     $errors    = 0;
140     foreach ($rs as $table) {
141         echo str_pad($table->name, 40). " - ";
143         if ($table->collation === $collation) {
144             echo "NO CHANGE\n";
145             $skipped++;
147         } else {
148             $DB->change_database_structure("ALTER TABLE $table->name DEFAULT CHARACTER SET $charset DEFAULT COLLATE = $collation");
149             echo "CONVERTED\n";
150             $converted++;
151         }
153         $sql = "SHOW FULL COLUMNS FROM $table->name WHERE collation IS NOT NULL";
154         $rs2 = $DB->get_recordset_sql($sql);
155         foreach ($rs2 as $column) {
156             $column = (object)array_change_key_case((array)$column, CASE_LOWER);
157             echo '    '.str_pad($column->field, 36). " - ";
158             if ($column->collation === $collation) {
159                 echo "NO CHANGE\n";
160                 $skipped++;
161                 continue;
162             }
164             // Check for utf8mb4 collation.
165             $rowformat = $DB->get_row_format_sql($engine, $collation);
167             if ($column->type === 'tinytext' or $column->type === 'mediumtext' or $column->type === 'text' or $column->type === 'longtext') {
168                 $notnull = ($column->null === 'NO') ? 'NOT NULL' : 'NULL';
169                 $default = (!is_null($column->default) and $column->default !== '') ? "DEFAULT '$column->default'" : '';
170                 // primary, unique and inc are not supported for texts
171                 $sql = "ALTER TABLE $table->name
172                         MODIFY COLUMN $column->field $column->type
173                         CHARACTER SET $charset
174                         COLLATE $collation $notnull $default";
175                 $DB->change_database_structure($sql);
177             } else if (strpos($column->type, 'varchar') === 0) {
178                 $notnull = ($column->null === 'NO') ? 'NOT NULL' : 'NULL';
179                 $default = !is_null($column->default) ? "DEFAULT '$column->default'" : '';
181                 if ($rowformat != '') {
182                     $sql = "ALTER TABLE $table->name $rowformat";
183                     $DB->change_database_structure($sql);
184                 }
186                 $sql = "ALTER TABLE $table->name
187                         MODIFY COLUMN $column->field $column->type
188                         CHARACTER SET $charset
189                         COLLATE $collation $notnull $default";
190                 $DB->change_database_structure($sql);
191             } else {
192                 echo "ERROR (unknown column type: $column->type)\n";
193                 $error++;
194                 continue;
195             }
196             echo "CONVERTED\n";
197             $converted++;
198         }
199         $rs2->close();
200     }
201     $rs->close();
202     echo "Converted: $converted, skipped: $skipped, errors: $errors\n";
203     exit(0); // success
205 } else if (!empty($options['list'])) {
206     echo "List of tables for $CFG->wwwroot:\n";
207     $prefix = $DB->get_prefix();
208     $prefix = str_replace('_', '\\_', $prefix);
209     $sql = "SHOW TABLE STATUS WHERE Name LIKE BINARY '$prefix%'";
210     $rs = $DB->get_recordset_sql($sql);
211     $counts = array();
212     foreach ($rs as $table) {
213         if (isset($counts[$table->collation])) {
214             $counts[$table->collation]++;
215         } else {
216             $counts[$table->collation] = 1;
217         }
218         echo str_pad($table->name, 40);
219         echo $table->collation.  "\n";
220         $collations = mysql_get_column_collations($table->name);
221         foreach ($collations as $columname=>$collation) {
222             if (isset($counts[$collation])) {
223                 $counts[$collation]++;
224             } else {
225                 $counts[$collation] = 1;
226             }
227             echo '    ';
228             echo str_pad($columname, 36);
229             echo $collation.  "\n";
230         }
231     }
232     $rs->close();
234     echo "\n";
235     echo "Table collations summary for $CFG->wwwroot:\n";
236     foreach ($counts as $collation => $count) {
237         echo "$collation: $count\n";
238     }
239     exit(0); // success
241 } else if (!empty($options['available'])) {
242     echo "List of available MySQL collations for $CFG->wwwroot:\n";
243     $collations = mysql_get_collations();
244     foreach ($collations as $collation) {
245         echo " $collation\n";
246     }
247     die;
249 } else {
250     echo $help;
251     die;
256 // ========== Some functions ==============
258 function mysql_get_collations() {
259     global $DB;
261     $collations = array();
262     $sql = "SHOW COLLATION
263             WHERE Collation LIKE 'utf8\_%' AND Charset = 'utf8'
264                OR Collation LIKE 'utf8mb4\_%' AND Charset = 'utf8mb4'";
265     $rs = $DB->get_recordset_sql($sql);
266     foreach ($rs as $collation) {
267         $collations[$collation->collation] = $collation->collation;
268     }
269     $rs->close();
271     $collation = $DB->get_dbcollation();
272     if (isset($collations[$collation])) {
273         $collations[$collation] .= ' (default)';
274     }
276     return $collations;
279 function mysql_get_column_collations($tablename) {
280     global $DB;
282     $collations = array();
283     $sql = "SELECT column_name, collation_name
284               FROM INFORMATION_SCHEMA.COLUMNS
285              WHERE table_schema = DATABASE() AND table_name = ? AND collation_name IS NOT NULL";
286     $rs = $DB->get_recordset_sql($sql, array($tablename));
287     foreach($rs as $record) {
288         $collations[$record->column_name] = $record->collation_name;
289     }
290     $rs->close();
291     return $collations;