MDL-53140 qtype_numerical: Localised decimal separator bug fix
[moodle.git] / question / type / numerical / questiontype.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
18 /**
19  * Question type class for the numerical question type.
20  *
21  * @package    qtype
22  * @subpackage numerical
23  * @copyright  1999 onwards Martin Dougiamas {@link http://moodle.com}
24  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
25  */
28 defined('MOODLE_INTERNAL') || die();
30 require_once($CFG->libdir . '/questionlib.php');
31 require_once($CFG->dirroot . '/question/type/numerical/question.php');
34 /**
35  * The numerical question type class.
36  *
37  * This class contains some special features in order to make the
38  * question type embeddable within a multianswer (cloze) question
39  *
40  * @copyright  1999 onwards Martin Dougiamas {@link http://moodle.com}
41  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
42  */
43 class qtype_numerical extends question_type {
44     const UNITINPUT = 0;
45     const UNITRADIO = 1;
46     const UNITSELECT = 2;
48     const UNITNONE = 3;
49     const UNITGRADED = 1;
50     const UNITOPTIONAL = 0;
52     const UNITGRADEDOUTOFMARK = 1;
53     const UNITGRADEDOUTOFMAX = 2;
55     /**
56      * Validate that a string is a number formatted correctly for the current locale.
57      * @param string $x a string
58      * @return bool whether $x is a number that the numerical question type can interpret.
59      */
60     public static function is_valid_number(string $x) : bool {
61         $ap = new qtype_numerical_answer_processor(array());
62         list($value, $unit) = $ap->apply_units($x);
63         return !is_null($value) && !$unit;
64     }
66     public function get_question_options($question) {
67         global $CFG, $DB, $OUTPUT;
68         parent::get_question_options($question);
69         // Get the question answers and their respective tolerances
70         // Note: question_numerical is an extension of the answer table rather than
71         //       the question table as is usually the case for qtype
72         //       specific tables.
73         if (!$question->options->answers = $DB->get_records_sql(
74                                 "SELECT a.*, n.tolerance " .
75                                 "FROM {question_answers} a, " .
76                                 "     {question_numerical} n " .
77                                 "WHERE a.question = ? " .
78                                 "    AND   a.id = n.answer " .
79                                 "ORDER BY a.id ASC", array($question->id))) {
80             echo $OUTPUT->notification('Error: Missing question answer for numerical question ' .
81                     $question->id . '!');
82             return false;
83         }
85         $question->hints = $DB->get_records('question_hints',
86                 array('questionid' => $question->id), 'id ASC');
88         $this->get_numerical_units($question);
89         // Get_numerical_options() need to know if there are units
90         // to set correctly default values.
91         $this->get_numerical_options($question);
93         // If units are defined we strip off the default unit from the answer, if
94         // it is present. (Required for compatibility with the old code and DB).
95         if ($defaultunit = $this->get_default_numerical_unit($question)) {
96             foreach ($question->options->answers as $key => $val) {
97                 $answer = trim($val->answer);
98                 $length = strlen($defaultunit->unit);
99                 if ($length && substr($answer, -$length) == $defaultunit->unit) {
100                     $question->options->answers[$key]->answer =
101                             substr($answer, 0, strlen($answer)-$length);
102                 }
103             }
104         }
106         return true;
107     }
109     public function get_numerical_units(&$question) {
110         global $DB;
112         if ($units = $DB->get_records('question_numerical_units',
113                 array('question' => $question->id), 'id ASC')) {
114             $units = array_values($units);
115         } else {
116             $units = array();
117         }
118         foreach ($units as $key => $unit) {
119             $units[$key]->multiplier = clean_param($unit->multiplier, PARAM_FLOAT);
120         }
121         $question->options->units = $units;
122         return true;
123     }
125     public function get_default_numerical_unit($question) {
126         if (isset($question->options->units[0])) {
127             foreach ($question->options->units as $unit) {
128                 if (abs($unit->multiplier - 1.0) < '1.0e-' . ini_get('precision')) {
129                     return $unit;
130                 }
131             }
132         }
133         return false;
134     }
136     public function get_numerical_options($question) {
137         global $DB;
138         if (!$options = $DB->get_record('question_numerical_options',
139                 array('question' => $question->id))) {
140             // Old question, set defaults.
141             $question->options->unitgradingtype = 0;
142             $question->options->unitpenalty = 0.1;
143             if ($defaultunit = $this->get_default_numerical_unit($question)) {
144                 $question->options->showunits = self::UNITINPUT;
145             } else {
146                 $question->options->showunits = self::UNITNONE;
147             }
148             $question->options->unitsleft = 0;
150         } else {
151             $question->options->unitgradingtype = $options->unitgradingtype;
152             $question->options->unitpenalty = $options->unitpenalty;
153             $question->options->showunits = $options->showunits;
154             $question->options->unitsleft = $options->unitsleft;
155         }
157         return true;
158     }
160     /**
161      * Save the units and the answers associated with this question.
162      */
163     public function save_question_options($question) {
164         global $DB;
165         $context = $question->context;
167         // Get old versions of the objects.
168         $oldanswers = $DB->get_records('question_answers',
169                 array('question' => $question->id), 'id ASC');
170         $oldoptions = $DB->get_records('question_numerical',
171                 array('question' => $question->id), 'answer ASC');
173         // Save the units.
174         $result = $this->save_units($question);
175         if (isset($result->error)) {
176             return $result;
177         } else {
178             $units = $result->units;
179         }
181         // Insert all the new answers.
182         foreach ($question->answer as $key => $answerdata) {
183             // Check for, and ingore, completely blank answer from the form.
184             if (trim($answerdata) == '' && $question->fraction[$key] == 0 &&
185                     html_is_blank($question->feedback[$key]['text'])) {
186                 continue;
187             }
189             // Update an existing answer if possible.
190             $answer = array_shift($oldanswers);
191             if (!$answer) {
192                 $answer = new stdClass();
193                 $answer->question = $question->id;
194                 $answer->answer = '';
195                 $answer->feedback = '';
196                 $answer->id = $DB->insert_record('question_answers', $answer);
197             }
199             if (trim($answerdata) === '*') {
200                 $answer->answer = '*';
201             } else {
202                 $answer->answer = $this->apply_unit($answerdata, $units,
203                         !empty($question->unitsleft));
204                 if ($answer->answer === false) {
205                     $result->notice = get_string('invalidnumericanswer', 'qtype_numerical');
206                 }
207             }
208             $answer->fraction = $question->fraction[$key];
209             $answer->feedback = $this->import_or_save_files($question->feedback[$key],
210                     $context, 'question', 'answerfeedback', $answer->id);
211             $answer->feedbackformat = $question->feedback[$key]['format'];
212             $DB->update_record('question_answers', $answer);
214             // Set up the options object.
215             if (!$options = array_shift($oldoptions)) {
216                 $options = new stdClass();
217             }
218             $options->question = $question->id;
219             $options->answer   = $answer->id;
220             if (trim($question->tolerance[$key]) == '') {
221                 $options->tolerance = '';
222             } else {
223                 $options->tolerance = $this->apply_unit($question->tolerance[$key],
224                         $units, !empty($question->unitsleft));
225                 if ($options->tolerance === false) {
226                     $result->notice = get_string('invalidnumerictolerance', 'qtype_numerical');
227                 }
228             }
229             if (isset($options->id)) {
230                 $DB->update_record('question_numerical', $options);
231             } else {
232                 $DB->insert_record('question_numerical', $options);
233             }
234         }
236         // Delete any left over old answer records.
237         $fs = get_file_storage();
238         foreach ($oldanswers as $oldanswer) {
239             $fs->delete_area_files($context->id, 'question', 'answerfeedback', $oldanswer->id);
240             $DB->delete_records('question_answers', array('id' => $oldanswer->id));
241         }
242         foreach ($oldoptions as $oldoption) {
243             $DB->delete_records('question_numerical', array('id' => $oldoption->id));
244         }
246         $result = $this->save_unit_options($question);
247         if (!empty($result->error) || !empty($result->notice)) {
248             return $result;
249         }
251         $this->save_hints($question);
253         return true;
254     }
256     /**
257      * The numerical options control the display and the grading of the unit
258      * part of the numerical question and related types (calculateds)
259      * Questions previous to 2.0 do not have this table as multianswer questions
260      * in all versions including 2.0. The default values are set to give the same grade
261      * as old question.
262      *
263      */
264     public function save_unit_options($question) {
265         global $DB;
266         $result = new stdClass();
268         $update = true;
269         $options = $DB->get_record('question_numerical_options',
270                 array('question' => $question->id));
271         if (!$options) {
272             $options = new stdClass();
273             $options->question = $question->id;
274             $options->id = $DB->insert_record('question_numerical_options', $options);
275         }
277         if (isset($question->unitpenalty)) {
278             $options->unitpenalty = $question->unitpenalty;
279         } else {
280             // Either an old question or a close question type.
281             $options->unitpenalty = 1;
282         }
284         $options->unitgradingtype = 0;
285         if (isset($question->unitrole)) {
286             // Saving the editing form.
287             $options->showunits = $question->unitrole;
288             if ($question->unitrole == self::UNITGRADED) {
289                 $options->unitgradingtype = $question->unitgradingtypes;
290                 $options->showunits = $question->multichoicedisplay;
291             }
293         } else if (isset($question->showunits)) {
294             // Updated import, e.g. Moodle XML.
295             $options->showunits = $question->showunits;
296             if (isset($question->unitgradingtype)) {
297                 $options->unitgradingtype = $question->unitgradingtype;
298             }
299         } else {
300             // Legacy import.
301             if ($defaultunit = $this->get_default_numerical_unit($question)) {
302                 $options->showunits = self::UNITINPUT;
303             } else {
304                 $options->showunits = self::UNITNONE;
305             }
306         }
308         $options->unitsleft = !empty($question->unitsleft);
310         $DB->update_record('question_numerical_options', $options);
312         // Report any problems.
313         if (!empty($result->notice)) {
314             return $result;
315         }
317         return true;
318     }
320     public function save_units($question) {
321         global $DB;
322         $result = new stdClass();
324         // Delete the units previously saved for this question.
325         $DB->delete_records('question_numerical_units', array('question' => $question->id));
327         // Nothing to do.
328         if (!isset($question->multiplier)) {
329             $result->units = array();
330             return $result;
331         }
333         // Save the new units.
334         $units = array();
335         $unitalreadyinsert = array();
336         foreach ($question->multiplier as $i => $multiplier) {
337             // Discard any unit which doesn't specify the unit or the multiplier.
338             if (!empty($question->multiplier[$i]) && !empty($question->unit[$i]) &&
339                     !array_key_exists($question->unit[$i], $unitalreadyinsert)) {
340                 $unitalreadyinsert[$question->unit[$i]] = 1;
341                 $units[$i] = new stdClass();
342                 $units[$i]->question = $question->id;
343                 $units[$i]->multiplier = $this->apply_unit($question->multiplier[$i],
344                         array(), false);
345                 $units[$i]->unit = $question->unit[$i];
346                 $DB->insert_record('question_numerical_units', $units[$i]);
347             }
348         }
349         unset($question->multiplier, $question->unit);
351         $result->units = &$units;
352         return $result;
353     }
355     protected function initialise_question_instance(question_definition $question, $questiondata) {
356         parent::initialise_question_instance($question, $questiondata);
357         $this->initialise_numerical_answers($question, $questiondata);
358         $question->unitdisplay = $questiondata->options->showunits;
359         $question->unitgradingtype = $questiondata->options->unitgradingtype;
360         $question->unitpenalty = $questiondata->options->unitpenalty;
361         $question->ap = $this->make_answer_processor($questiondata->options->units,
362                 $questiondata->options->unitsleft);
363     }
365     public function initialise_numerical_answers(question_definition $question, $questiondata) {
366         $question->answers = array();
367         if (empty($questiondata->options->answers)) {
368             return;
369         }
370         foreach ($questiondata->options->answers as $a) {
371             $question->answers[$a->id] = new qtype_numerical_answer($a->id, $a->answer,
372                     $a->fraction, $a->feedback, $a->feedbackformat, $a->tolerance);
373         }
374     }
376     public function make_answer_processor($units, $unitsleft) {
377         if (empty($units)) {
378             return new qtype_numerical_answer_processor(array());
379         }
381         $cleanedunits = array();
382         foreach ($units as $unit) {
383             $cleanedunits[$unit->unit] = $unit->multiplier;
384         }
386         return new qtype_numerical_answer_processor($cleanedunits, $unitsleft);
387     }
389     public function delete_question($questionid, $contextid) {
390         global $DB;
391         $DB->delete_records('question_numerical', array('question' => $questionid));
392         $DB->delete_records('question_numerical_options', array('question' => $questionid));
393         $DB->delete_records('question_numerical_units', array('question' => $questionid));
395         parent::delete_question($questionid, $contextid);
396     }
398     public function get_random_guess_score($questiondata) {
399         foreach ($questiondata->options->answers as $aid => $answer) {
400             if ('*' == trim($answer->answer)) {
401                 return max($answer->fraction - $questiondata->options->unitpenalty, 0);
402             }
403         }
404         return 0;
405     }
407     /**
408      * Add a unit to a response for display.
409      * @param object $questiondata the data defining the quetsion.
410      * @param string $answer a response.
411      * @param object $unit a unit. If null, {@link get_default_numerical_unit()}
412      * is used.
413      */
414     public function add_unit($questiondata, $answer, $unit = null) {
415         if (is_null($unit)) {
416             $unit = $this->get_default_numerical_unit($questiondata);
417         }
419         if (!$unit) {
420             return $answer;
421         }
423         if (!empty($questiondata->options->unitsleft)) {
424             return $unit->unit . ' ' . $answer;
425         } else {
426             return $answer . ' ' . $unit->unit;
427         }
428     }
430     public function get_possible_responses($questiondata) {
431         $responses = array();
433         $unit = $this->get_default_numerical_unit($questiondata);
435         $starfound = false;
436         foreach ($questiondata->options->answers as $aid => $answer) {
437             $responseclass = $answer->answer;
439             if ($responseclass === '*') {
440                 $starfound = true;
441             } else {
442                 $responseclass = $this->add_unit($questiondata, $responseclass, $unit);
444                 $ans = new qtype_numerical_answer($answer->id, $answer->answer, $answer->fraction,
445                         $answer->feedback, $answer->feedbackformat, $answer->tolerance);
446                 list($min, $max) = $ans->get_tolerance_interval();
447                 $responseclass .= " ({$min}..{$max})";
448             }
450             $responses[$aid] = new question_possible_response($responseclass,
451                     $answer->fraction);
452         }
454         if (!$starfound) {
455             $responses[0] = new question_possible_response(
456                     get_string('didnotmatchanyanswer', 'question'), 0);
457         }
459         $responses[null] = question_possible_response::no_response();
461         return array($questiondata->id => $responses);
462     }
464     /**
465      * Checks if the $rawresponse has a unit and applys it if appropriate.
466      *
467      * @param string $rawresponse  The response string to be converted to a float.
468      * @param array $units         An array with the defined units, where the
469      *                             unit is the key and the multiplier the value.
470      * @return float               The rawresponse with the unit taken into
471      *                             account as a float.
472      */
473     public function apply_unit($rawresponse, $units, $unitsleft) {
474         $ap = $this->make_answer_processor($units, $unitsleft);
475         list($value, $unit, $multiplier) = $ap->apply_units($rawresponse);
476         if (!is_null($multiplier)) {
477             $value *= $multiplier;
478         }
479         return $value;
480     }
482     public function move_files($questionid, $oldcontextid, $newcontextid) {
483         $fs = get_file_storage();
485         parent::move_files($questionid, $oldcontextid, $newcontextid);
486         $this->move_files_in_answers($questionid, $oldcontextid, $newcontextid);
487         $this->move_files_in_hints($questionid, $oldcontextid, $newcontextid);
488     }
490     protected function delete_files($questionid, $contextid) {
491         $fs = get_file_storage();
493         parent::delete_files($questionid, $contextid);
494         $this->delete_files_in_answers($questionid, $contextid);
495         $this->delete_files_in_hints($questionid, $contextid);
496     }
500 /**
501  * This class processes numbers with units.
502  *
503  * @copyright 2010 The Open University
504  * @license http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
505  */
506 class qtype_numerical_answer_processor {
507     /** @var array unit name => multiplier. */
508     protected $units;
509     /** @var string character used as decimal point. */
510     protected $decsep;
511     /** @var string character used as thousands separator. */
512     protected $thousandssep;
513     /** @var boolean whether the units come before or after the number. */
514     protected $unitsbefore;
516     protected $regex = null;
518     public function __construct($units, $unitsbefore = false, $decsep = null,
519             $thousandssep = null) {
520         if (is_null($decsep)) {
521             $decsep = get_string('decsep', 'langconfig');
522         }
523         $this->decsep = $decsep;
525         if (is_null($thousandssep)) {
526             $thousandssep = get_string('thousandssep', 'langconfig');
527         }
528         $this->thousandssep = $thousandssep;
530         $this->units = $units;
531         $this->unitsbefore = $unitsbefore;
532     }
534     /**
535      * Set the decimal point and thousands separator character that should be used.
536      * @param string $decsep
537      * @param string $thousandssep
538      */
539     public function set_characters($decsep, $thousandssep) {
540         $this->decsep = $decsep;
541         $this->thousandssep = $thousandssep;
542         $this->regex = null;
543     }
545     /** @return string the decimal point character used. */
546     public function get_point() {
547         return $this->decsep;
548     }
550     /** @return string the thousands separator character used. */
551     public function get_separator() {
552         return $this->thousandssep;
553     }
555     /**
556      * @return bool If the student's response contains a '.' or a ',' that
557      * matches the thousands separator in the current locale. In this case, the
558      * parsing in apply_unit can give a result that the student did not expect.
559      */
560     public function contains_thousands_seaparator($value) {
561         if (!in_array($this->thousandssep, array('.', ','))) {
562             return false;
563         }
565         return strpos($value, $this->thousandssep) !== false;
566     }
568     /**
569      * Create the regular expression that {@link parse_response()} requires.
570      * @return string
571      */
572     protected function build_regex() {
573         if (!is_null($this->regex)) {
574             return $this->regex;
575         }
577         $decsep = preg_quote($this->decsep, '/');
578         $thousandssep = preg_quote($this->thousandssep, '/');
579         $beforepointre = '([+-]?[' . $thousandssep . '\d]*)';
580         $decimalsre = $decsep . '(\d*)';
581         $exponentre = '(?:e|E|(?:x|\*|×)10(?:\^|\*\*))([+-]?\d+)';
583         $numberbit = "{$beforepointre}(?:{$decimalsre})?(?:{$exponentre})?";
585         if ($this->unitsbefore) {
586             $this->regex = "/{$numberbit}$/";
587         } else {
588             $this->regex = "/^{$numberbit}/";
589         }
590         return $this->regex;
591     }
593     /**
594      * This method can be used for more locale-strict parsing of repsonses. At the
595      * moment we don't use it, and instead use the more lax parsing in apply_units.
596      * This is just a note that this funciton was used in the past, so if you are
597      * intersted, look through version control history.
598      *
599      * Take a string which is a number with or without a decimal point and exponent,
600      * and possibly followed by one of the units, and split it into bits.
601      * @param string $response a value, optionally with a unit.
602      * @return array four strings (some of which may be blank) the digits before
603      * and after the decimal point, the exponent, and the unit. All four will be
604      * null if the response cannot be parsed.
605      */
606     protected function parse_response($response) {
607         if (!preg_match($this->build_regex(), $response, $matches)) {
608             return array(null, null, null, null);
609         }
611         $matches += array('', '', '', ''); // Fill in any missing matches.
612         list($matchedpart, $beforepoint, $decimals, $exponent) = $matches;
614         // Strip out thousands separators.
615         $beforepoint = str_replace($this->thousandssep, '', $beforepoint);
617         // Must be either something before, or something after the decimal point.
618         // (The only way to do this in the regex would make it much more complicated.)
619         if ($beforepoint === '' && $decimals === '') {
620             return array(null, null, null, null);
621         }
623         if ($this->unitsbefore) {
624             $unit = substr($response, 0, -strlen($matchedpart));
625         } else {
626             $unit = substr($response, strlen($matchedpart));
627         }
628         $unit = trim($unit);
630         return array($beforepoint, $decimals, $exponent, $unit);
631     }
633     /**
634      * Takes a number in almost any localised form, and possibly with a unit
635      * after it. It separates off the unit, if present, and converts to the
636      * default unit, by using the given unit multiplier.
637      *
638      * @param string $response a value, optionally with a unit.
639      * @return array(numeric, sting) the value with the unit stripped, and normalised
640      *      by the unit multiplier, if any, and the unit string, for reference.
641      */
642     public function apply_units($response, $separateunit = null) {
643         // Strip spaces (which may be thousands separators) and change other forms
644         // of writing e to e.
645         $response = str_replace(' ', '', $response);
646         $response = preg_replace('~(?:e|E|(?:x|\*|×)10(?:\^|\*\*))([+-]?\d+)~', 'e$1', $response);
648         // If a . is present or there are multiple , (i.e. 2,456,789 ) assume ,
649         // is a thouseands separator, and strip it, else assume it is a decimal
650         // separator, and change it to ..
651         if (strpos($response, '.') !== false || substr_count($response, ',') > 1) {
652             $response = str_replace(',', '', $response);
653         } else {
654             $response = str_replace([$this->thousandssep, $this->decsep, ','], ['', '.', '.'], $response);
655         }
657         $regex = '[+-]?(?:\d+(?:\\.\d*)?|\\.\d+)(?:e[-+]?\d+)?';
658         if ($this->unitsbefore) {
659             $regex = "/{$regex}$/";
660         } else {
661             $regex = "/^{$regex}/";
662         }
663         if (!preg_match($regex, $response, $matches)) {
664             return array(null, null, null);
665         }
667         $numberstring = $matches[0];
668         if ($this->unitsbefore) {
669             // Substr returns false when it means '', so cast back to string.
670             $unit = (string) substr($response, 0, -strlen($numberstring));
671         } else {
672             $unit = (string) substr($response, strlen($numberstring));
673         }
675         if (!is_null($separateunit)) {
676             $unit = $separateunit;
677         }
679         if ($this->is_known_unit($unit)) {
680             $multiplier = 1 / $this->units[$unit];
681         } else {
682             $multiplier = null;
683         }
685         return array($numberstring + 0, $unit, $multiplier); // The + 0 is to convert to number.
686     }
688     /**
689      * @return string the default unit.
690      */
691     public function get_default_unit() {
692         reset($this->units);
693         return key($this->units);
694     }
696     /**
697      * @param string $answer a response.
698      * @param string $unit a unit.
699      */
700     public function add_unit($answer, $unit = null) {
701         if (is_null($unit)) {
702             $unit = $this->get_default_unit();
703         }
705         if (!$unit) {
706             return $answer;
707         }
709         if ($this->unitsbefore) {
710             return $unit . ' ' . $answer;
711         } else {
712             return $answer . ' ' . $unit;
713         }
714     }
716     /**
717      * Is this unit recognised.
718      * @param string $unit the unit
719      * @return bool whether this is a unit we recognise.
720      */
721     public function is_known_unit($unit) {
722         return array_key_exists($unit, $this->units);
723     }
725     /**
726      * Whether the units go before or after the number.
727      * @return true = before, false = after.
728      */
729     public function are_units_before() {
730         return $this->unitsbefore;
731     }
733     /**
734      * Get the units as an array suitably for passing to html_writer::select.
735      * @return array of unit choices.
736      */
737     public function get_unit_options() {
738         $options = array();
739         foreach ($this->units as $unit => $notused) {
740             $options[$unit] = $unit;
741         }
742         return $options;
743     }