lib/textlib.class.php

   1 <?php
   2 // This file is part of Moodle - http://moodle.org/
   3 //
   4 // Moodle is free software: you can redistribute it and/or modify
   5 // it under the terms of the GNU General Public License as published by
   6 // the Free Software Foundation, either version 3 of the License, or
   7 // (at your option) any later version.
   8 //
   9 // Moodle is distributed in the hope that it will be useful,
  10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 // GNU General Public License for more details.
  13 //
  14 // You should have received a copy of the GNU General Public License
  15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 /**
  18  * @package    core
  19  * @subpackage lib
  20  * @copyright  (C) 2001-3001 Eloy Lafuente (stronk7) {@link http://contiento.com}
  21  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
  22  */
  23
  24 defined('MOODLE_INTERNAL') || die();
  25
  26 /**
  27  * Original singleton helper function, please use static methods instead,
  28  * ex: textlib::convert()
  29  *
  30  * @deprecated
  31  * @return textlib instance
  32  */
  33 function textlib_get_instance() {
  34     return new textlib();
  35 }
  36
  37
  38 /**
  39  * This class is used to manipulate strings under Moodle 1.6 an later. As
  40  * utf-8 text become mandatory a pool of safe functions under this encoding
  41  * become necessary. The name of the methods is exactly the
  42  * same than their PHP originals.
  43  *
  44  * A big part of this class acts as a wrapper over the Typo3 charset library,
  45  * really a cool group of utilities to handle texts and encoding conversion.
  46  *
  47  * Take a look to its own copyright and license details.
  48  *
  49  * IMPORTANT Note: Typo3 libraries always expect lowercase charsets to use 100%
  50  * its capabilities so, don't forget to make the conversion
  51  * from every wrapper function!
  52  *
  53  * @package    core
  54  * @subpackage lib
  55  * @copyright 1999 onwards Martin Dougiamas  {@link http://moodle.com}
  56  * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
  57  */
  58 class textlib {
  59
  60     /**
  61      * Return t3lib helper class
  62      * @return t3lib_cs
  63      */
  64     protected static function typo3() {
  65         static $typo3cs = null;
  66
  67         if (isset($typo3cs)) {
  68             return $typo3cs;
  69         }
  70
  71         global $CFG;
  72
  73         // Required files
  74         require_once($CFG->libdir.'/typo3/class.t3lib_cs.php');
  75         require_once($CFG->libdir.'/typo3/class.t3lib_div.php');
  76
  77         // If ICONV is available, lets Typo3 library use it for convert
  78         if (extension_loaded('iconv')) {
  79             $GLOBALS['TYPO3_CONF_VARS']['SYS']['t3lib_cs_convMethod'] = 'iconv';
  80         // Else if mbstring is available, lets Typo3 library use it
  81         } else if (extension_loaded('mbstring')) {
  82             $GLOBALS['TYPO3_CONF_VARS']['SYS']['t3lib_cs_convMethod'] = 'mbstring';
  83         // Else if recode is available, lets Typo3 library use it
  84         } else if (extension_loaded('recode')) {
  85             $GLOBALS['TYPO3_CONF_VARS']['SYS']['t3lib_cs_convMethod'] = 'recode';
  86         } else {
  87             $GLOBALS['TYPO3_CONF_VARS']['SYS']['t3lib_cs_convMethod'] = '';
  88         }
  89
  90         // If mbstring is available, lets Typo3 library use it for functions
  91         if (extension_loaded('mbstring')) {
  92             $GLOBALS['TYPO3_CONF_VARS']['SYS']['t3lib_cs_utils'] = 'mbstring';
  93         } else {
  94             $GLOBALS['TYPO3_CONF_VARS']['SYS']['t3lib_cs_utils'] = '';
  95         }
  96
  97         // Tell Typo3 we are curl enabled always (mandatory since 2.0)
  98         $GLOBALS['TYPO3_CONF_VARS']['SYS']['curlUse'] = '1';
  99
 100         // And this directory must exist to allow Typo to cache conversion
 101         // tables when using internal functions
 102         make_upload_directory('temp/typo3temp/cs');
 103
 104         // Make sure typo is using our dir permissions
 105         $GLOBALS['TYPO3_CONF_VARS']['BE']['folderCreateMask'] = decoct($CFG->directorypermissions);
 106
 107         // Default mask for Typo
 108         $GLOBALS['TYPO3_CONF_VARS']['BE']['fileCreateMask'] = $CFG->directorypermissions;
 109
 110         // This full path constants must be defined too, transforming backslashes
 111         // to forward slashed because Typo3 requires it.
 112         define ('PATH_t3lib', str_replace('\\','/',$CFG->libdir.'/typo3/'));
 113         define ('PATH_typo3', str_replace('\\','/',$CFG->libdir.'/typo3/'));
 114         define ('PATH_site', str_replace('\\','/',$CFG->dataroot.'/temp/'));
 115         define ('TYPO3_OS', stristr(PHP_OS,'win')&&!stristr(PHP_OS,'darwin')?'WIN':'');
 116
 117         $typo3cs = new t3lib_cs();
 118
 119         return $typo3cs;
 120     }
 121
 122     /**
 123      * Standardise charset name
 124      *
 125      * Please note it does not mean the returned charset is actually supported.
 126      *
 127      * @static
 128      * @param string $charset raw charset name
 129      * @return string normalised lowercase charset name
 130      */
 131     public static function parse_charset($charset) {
 132         // shortcuts so that we do not have to load typo on every page
 133         $charset = strtolower($charset);
 134         switch ($charset) {
 135             case 'utf8':
 136             case 'utf-8':
 137                 return 'utf-8';
 138
 139             case 'cp1250':
 140             case 'win-1250':
 141             case 'windowns-1250':
 142                 return 'windows-1250';
 143
 144             case 'cp1252':
 145             case 'win-1252':
 146             case 'windowns-1252':
 147                 return 'windows-1252';
 148
 149             case 'l1':
 150             case 'latin1':
 151             case 'iso-8859-1':
 152             case 'iso-8859-1':
 153                 return 'iso-8859-1';
 154
 155             case 'l2':
 156             case 'latin2':
 157             case 'iso-8859-2':
 158             case 'iso-8859-2':
 159                 return 'iso-8859-2';
 160
 161             //TODO: add more common charsets here - all win and unix encodings from our lang packs
 162
 163         }
 164
 165         // fallback to typo3
 166         return self::typo3()->parse_charset($charset);
 167     }
 168
 169     /**
 170      * Converts the text between different encodings. It uses iconv extension with //TRANSLIT parameter.
 171      * Returns false if fails.
 172      *
 173      * @param string $text
 174      * @param string $fromCS source encoding
 175      * @param string $toCS result encoding
 176      * @return string|bool
 177      */
 178     public static function convert($text, $fromCS, $toCS='utf-8') {
 179         $fromCS = self::parse_charset($fromCS);
 180         $toCS   = self::parse_charset($toCS);
 181
 182         return iconv($fromCS, $toCS.'//TRANSLIT', $text);
 183     }
 184
 185     /**
 186      * Multibyte safe substr() function, uses mbstring if available.
 187      *
 188      * @param string $text
 189      * @param int $start negative value means from end
 190      * @param int $len
 191      * @param string $charset encoding of the text
 192      * @return string
 193      */
 194     public static function substr($text, $start, $len=null, $charset='utf-8') {
 195         $charset = self::parse_charset($charset);
 196
 197         return iconv_substr($text, $start, $len, $charset);
 198     }
 199
 200     /**
 201      * Multibyte safe strlen() function, uses mbstring if available.
 202      *
 203      * @param string $text
 204      * @param string $charset encoding of the text
 205      * @return int number of characters
 206      */
 207     public static function strlen($text, $charset='utf-8') {
 208         $charset = self::parse_charset($charset);
 209
 210         return iconv_strlen($text, $charset);
 211     }
 212
 213     /**
 214      * Multibyte safe strtolower() function, uses mbstring if available.
 215      *
 216      * @param string $text
 217      * @param string $charset encoding of the text (may not work for all encodings)
 218      * @return string lower case text
 219      */
 220     public static function strtolower($text, $charset='utf-8') {
 221         $charset = self::parse_charset($charset);
 222
 223         if (function_exists('mb_strtolower')) {
 224             return mb_strtolower($text, $charset);
 225         }
 226
 227         // Avoid some notices from Typo3 code
 228         $oldlevel = error_reporting(E_PARSE);
 229         // Call Typo3 conv_case() function. It will do all the work
 230         $result = self::typo3()->conv_case($charset, $text, 'toLower');
 231         // Restore original debug level
 232         error_reporting($oldlevel);
 233         return $result;
 234     }
 235
 236     /**
 237      * Multibyte safe strtoupper() function, uses mbstring if available.
 238      *
 239      * @param string $text
 240      * @param string $charset encoding of the text (may not work for all encodings)
 241      * @return string upper case text
 242      */
 243     public static function strtoupper($text, $charset='utf-8') {
 244         $charset = self::parse_charset($charset);
 245
 246         if (function_exists('mb_strtoupper')) {
 247             return mb_strtoupper($text, $charset);
 248         }
 249
 250         // Avoid some notices from Typo3 code
 251         $oldlevel = error_reporting(E_PARSE);
 252         // Call Typo3 conv_case() function. It will do all the work
 253         $result = self::typo3()->conv_case($charset, $text, 'toUpper');
 254         // Restore original debug level
 255         error_reporting($oldlevel);
 256         return $result;
 257     }
 258
 259     /**
 260      * UTF-8 ONLY safe strpos().
 261      *
 262      * @param string $haystack
 263      * @param string $needle
 264      * @param int $offset
 265      * @return string
 266      */
 267     public static function strpos($haystack, $needle, $offset=0) {
 268         return iconv_strpos($haystack, $needle, $offset, 'utf-8');
 269     }
 270
 271     /**
 272      * UTF-8 ONLY safe strrpos().
 273      *
 274      * @param string $haystack
 275      * @param string $needle
 276      * @return string
 277      */
 278     public static function strrpos($haystack, $needle) {
 279         return iconv_strrpos($haystack, $needle, 'utf-8');
 280     }
 281
 282     /**
 283      * Try to convert upper unicode characters to plain ascii,
 284      * the returned string may contain unconverted unicode characters.
 285      *
 286      * @param string $text
 287      * @param string $charset encoding of the text
 288      * @return string
 289      */
 290     public static function specialtoascii($text, $charset='utf-8') {
 291         $charset = self::parse_charset($charset);
 292         // Avoid some notices from Typo3 code
 293         $oldlevel = error_reporting(E_PARSE);
 294         $result = self::typo3()->specCharsToASCII($charset, $text);
 295         // Restore original debug level
 296         error_reporting($oldlevel);
 297         return $result;
 298     }
 299
 300     /**
 301      * Generate a correct base64 encoded header to be used in MIME mail messages.
 302      * This function seems to be 100% compliant with RFC1342. Credits go to:
 303      * paravoid (http://www.php.net/manual/en/function.mb-encode-mimeheader.php#60283).
 304      *
 305      * @param string $text
 306      * @param string $charset encoding of the text
 307      * @return string
 308      */
 309     public static function encode_mimeheader($text, $charset='utf-8') {
 310         if (empty($text)) {
 311             return (string)$text;
 312         }
 313         // Normalize charset
 314         $charset = self::parse_charset($charset);
 315         // If the text is pure ASCII, we don't need to encode it
 316         if (self::convert($text, $charset, 'ascii') == $text) {
 317             return $text;
 318         }
 319         // Although RFC says that line feed should be \r\n, it seems that
 320         // some mailers double convert \r, so we are going to use \n alone
 321         $linefeed="\n";
 322         // Define start and end of every chunk
 323         $start = "=?$charset?B?";
 324         $end = "?=";
 325         // Accumulate results
 326         $encoded = '';
 327         // Max line length is 75 (including start and end)
 328         $length = 75 - strlen($start) - strlen($end);
 329         // Multi-byte ratio
 330         $multilength = self::strlen($text, $charset);
 331         // Detect if strlen and friends supported
 332         if ($multilength === false) {
 333             if ($charset == 'GB18030' or $charset == 'gb18030') {
 334                 while (strlen($text)) {
 335                     // try to encode first 22 chars - we expect most chars are two bytes long
 336                     if (preg_match('/^(([\x00-\x7f])|([\x81-\xfe][\x40-\x7e])|([\x81-\xfe][\x80-\xfe])|([\x81-\xfe][\x30-\x39]..)){1,22}/m', $text, $matches)) {
 337                         $chunk = $matches[0];
 338                         $encchunk = base64_encode($chunk);
 339                         if (strlen($encchunk) > $length) {
 340                             // find first 11 chars - each char in 4 bytes - worst case scenario
 341                             preg_match('/^(([\x00-\x7f])|([\x81-\xfe][\x40-\x7e])|([\x81-\xfe][\x80-\xfe])|([\x81-\xfe][\x30-\x39]..)){1,11}/m', $text, $matches);
 342                             $chunk = $matches[0];
 343                             $encchunk = base64_encode($chunk);
 344                         }
 345                         $text = substr($text, strlen($chunk));
 346                         $encoded .= ' '.$start.$encchunk.$end.$linefeed;
 347                     } else {
 348                         break;
 349                     }
 350                 }
 351                 $encoded = trim($encoded);
 352                 return $encoded;
 353             } else {
 354                 return false;
 355             }
 356         }
 357         $ratio = $multilength / strlen($text);
 358         // Base64 ratio
 359         $magic = $avglength = floor(3 * $length * $ratio / 4);
 360         // basic infinite loop protection
 361         $maxiterations = strlen($text)*2;
 362         $iteration = 0;
 363         // Iterate over the string in magic chunks
 364         for ($i=0; $i <= $multilength; $i+=$magic) {
 365             if ($iteration++ > $maxiterations) {
 366                 return false; // probably infinite loop
 367             }
 368             $magic = $avglength;
 369             $offset = 0;
 370             // Ensure the chunk fits in length, reducing magic if necessary
 371             do {
 372                 $magic -= $offset;
 373                 $chunk = self::substr($text, $i, $magic, $charset);
 374                 $chunk = base64_encode($chunk);
 375                 $offset++;
 376             } while (strlen($chunk) > $length);
 377             // This chunk doesn't break any multi-byte char. Use it.
 378             if ($chunk)
 379                 $encoded .= ' '.$start.$chunk.$end.$linefeed;
 380         }
 381         // Strip the first space and the last linefeed
 382         $encoded = substr($encoded, 1, -strlen($linefeed));
 383
 384         return $encoded;
 385     }
 386
 387     /**
 388      * Converts all the numeric entities &#nnnn; or &#xnnn; to UTF-8
 389      * Original from laurynas dot butkus at gmail at:
 390      * http://php.net/manual/en/function.html-entity-decode.php#75153
 391      * with some custom mods to provide more functionality
 392      *
 393      * @param    string    $str      input string
 394      * @param    boolean   $htmlent  convert also html entities (defaults to true)
 395      * @return   string
 396      *
 397      * NOTE: we could have used typo3 entities_to_utf8() here
 398      *       but the direct alternative used runs 400% quicker
 399      *       and uses 0.5Mb less memory, so, let's use it
 400      *       (tested against 10^6 conversions)
 401      */
 402     public static function entities_to_utf8($str, $htmlent=true) {
 403         static $trans_tbl; // Going to use static transliteration table
 404
 405         // Replace numeric entities
 406         $result = preg_replace('~&#x([0-9a-f]+);~ei', 'textlib::code2utf8(hexdec("\\1"))', $str);
 407         $result = preg_replace('~&#([0-9]+);~e', 'textlib::code2utf8(\\1)', $result);
 408
 409         // Replace literal entities (if desired)
 410         if ($htmlent) {
 411             // Generate/create $trans_tbl
 412             if (!isset($trans_tbl)) {
 413                 $trans_tbl = array();
 414                 foreach (get_html_translation_table(HTML_ENTITIES) as $val=>$key) {
 415                     $trans_tbl[$key] = utf8_encode($val);
 416                 }
 417             }
 418             $result = strtr($result, $trans_tbl);
 419         }
 420         // Return utf8-ised string
 421         return $result;
 422     }
 423
 424     /**
 425      * Converts all Unicode chars > 127 to numeric entities &#nnnn; or &#xnnn;.
 426      *
 427      * @param    string   $str      input string
 428      * @param    boolean  $dec      output decadic only number entities
 429      * @param    boolean  $nonnum   remove all non-numeric entities
 430      * @return   string converted string
 431      */
 432     public static function utf8_to_entities($str, $dec=false, $nonnum=false) {
 433         // Avoid some notices from Typo3 code
 434         $oldlevel = error_reporting(E_PARSE);
 435         if ($nonnum) {
 436             $str = self::typo3()->entities_to_utf8($str, true);
 437         }
 438         $result = self::typo3()->utf8_to_entities($str);
 439         if ($dec) {
 440             $result = preg_replace('/&#x([0-9a-f]+);/ie', "'&#'.hexdec('$1').';'", $result);
 441         }
 442         // Restore original debug level
 443         error_reporting($oldlevel);
 444         return $result;
 445     }
 446
 447     /**
 448      * Removes the BOM from unicode string - see http://unicode.org/faq/utf_bom.html
 449      *
 450      * @param string $str
 451      * @return string
 452      */
 453     public static function trim_utf8_bom($str) {
 454         $bom = "\xef\xbb\xbf";
 455         if (strpos($str, $bom) === 0) {
 456             return substr($str, strlen($bom));
 457         }
 458         return $str;
 459     }
 460
 461     /**
 462      * Returns encoding options for select boxes, utf-8 and platform encoding first
 463      * @return array encodings
 464      */
 465     public static function get_encodings() {
 466         $encodings = array();
 467         $encodings['UTF-8'] = 'UTF-8';
 468         $winenc = strtoupper(get_string('localewincharset', 'langconfig'));
 469         if ($winenc != '') {
 470             $encodings[$winenc] = $winenc;
 471         }
 472         $nixenc = strtoupper(get_string('oldcharset', 'langconfig'));
 473         $encodings[$nixenc] = $nixenc;
 474
 475         foreach (self::typo3()->synonyms as $enc) {
 476             $enc = strtoupper($enc);
 477             $encodings[$enc] = $enc;
 478         }
 479         return $encodings;
 480     }
 481
 482     /**
 483      * Returns the utf8 string corresponding to the unicode value
 484      * (from php.net, courtesy - romans@void.lv)
 485      *
 486      * @param  int    $num one unicode value
 487      * @return string the UTF-8 char corresponding to the unicode value
 488      */
 489     public static function code2utf8($num) {
 490         if ($num < 128) {
 491             return chr($num);
 492         }
 493         if ($num < 2048) {
 494             return chr(($num >> 6) + 192) . chr(($num & 63) + 128);
 495         }
 496         if ($num < 65536) {
 497             return chr(($num >> 12) + 224) . chr((($num >> 6) & 63) + 128) . chr(($num & 63) + 128);
 498         }
 499         if ($num < 2097152) {
 500             return chr(($num >> 18) + 240) . chr((($num >> 12) & 63) + 128) . chr((($num >> 6) & 63) + 128) . chr(($num & 63) + 128);
 501         }
 502         return '';
 503     }
 504
 505     /**
 506      * Makes first letter of each word capital - words must be separated by spaces.
 507      * Use with care, this function does not work properly in many locales!!!
 508      *
 509      * @param string $text
 510      * @return string
 511      */
 512     public static function strtotitle($text) {
 513         if (empty($text)) {
 514             return $text;
 515         }
 516
 517         if (function_exists('mb_convert_case')) {
 518             return mb_convert_case($text, MB_CASE_TITLE, 'UTF-8');
 519         }
 520
 521         $text = self::strtolower($text);
 522         $words = explode(' ', $text);
 523         foreach ($words as $i=>$word) {
 524             $length = self::strlen($word);
 525             if (!$length) {
 526                 continue;
 527
 528             } else if ($length == 1) {
 529                 $words[$i] = self::strtoupper($word);
 530
 531             } else {
 532                 $letter = self::substr($word, 0, 1);
 533                 $letter = self::strtoupper($letter);
 534                 $rest   = self::substr($word, 1);
 535                 $words[$i] = $letter.$rest;
 536             }
 537         }
 538         return implode(' ', $words);
 539     }
 540
 541     /**
 542      * Locale aware sorting, the key associations are kept, values are sorted alphabetically.
 543      *
 544      * Note: this function is using current moodle locale.
 545      *
 546      * @param array $arr array to be sorted
 547      * @return void, modifies parameter
 548      */
 549     public static function asort(array &$arr) {
 550         if (function_exists('collator_asort')) {
 551             if ($coll = collator_create(get_string('locale', 'langconfig'))) {
 552                 collator_asort($coll, $arr);
 553                 return;
 554             }
 555         }
 556         asort($arr, SORT_LOCALE_STRING);
 557     }
 558 }