MDL-65763 lib: Upgrade MixMind DB reader lib to 1.4.1
[moodle.git] / lib / maxmind / MaxMind / Db / Reader / Decoder.php
1 <?php
3 namespace MaxMind\Db\Reader;
5 // @codingStandardsIgnoreLine
6 // We subtract 1 from the log to protect against precision loss.
7 \define(__NAMESPACE__ . '\_MM_MAX_INT_BYTES', (log(PHP_INT_MAX, 2) - 1) / 8);
9 class Decoder
10 {
11     private $fileStream;
12     private $pointerBase;
13     private $pointerBaseByteSize;
14     // This is only used for unit testing
15     private $pointerTestHack;
16     private $switchByteOrder;
18     const _EXTENDED = 0;
19     const _POINTER = 1;
20     const _UTF8_STRING = 2;
21     const _DOUBLE = 3;
22     const _BYTES = 4;
23     const _UINT16 = 5;
24     const _UINT32 = 6;
25     const _MAP = 7;
26     const _INT32 = 8;
27     const _UINT64 = 9;
28     const _UINT128 = 10;
29     const _ARRAY = 11;
30     const _CONTAINER = 12;
31     const _END_MARKER = 13;
32     const _BOOLEAN = 14;
33     const _FLOAT = 15;
35     public function __construct(
36         $fileStream,
37         $pointerBase = 0,
38         $pointerTestHack = false
39     ) {
40         $this->fileStream = $fileStream;
41         $this->pointerBase = $pointerBase;
43         $this->pointerBaseByteSize = $pointerBase > 0 ? log($pointerBase, 2) / 8 : 0;
44         $this->pointerTestHack = $pointerTestHack;
46         $this->switchByteOrder = $this->isPlatformLittleEndian();
47     }
49     public function decode($offset)
50     {
51         list(, $ctrlByte) = unpack(
52             'C',
53             Util::read($this->fileStream, $offset, 1)
54         );
55         ++$offset;
57         $type = $ctrlByte >> 5;
59         // Pointers are a special case, we don't read the next $size bytes, we
60         // use the size to determine the length of the pointer and then follow
61         // it.
62         if ($type === self::_POINTER) {
63             list($pointer, $offset) = $this->decodePointer($ctrlByte, $offset);
65             // for unit testing
66             if ($this->pointerTestHack) {
67                 return [$pointer];
68             }
70             list($result) = $this->decode($pointer);
72             return [$result, $offset];
73         }
75         if ($type === self::_EXTENDED) {
76             list(, $nextByte) = unpack(
77                 'C',
78                 Util::read($this->fileStream, $offset, 1)
79             );
81             $type = $nextByte + 7;
83             if ($type < 8) {
84                 throw new InvalidDatabaseException(
85                     'Something went horribly wrong in the decoder. An extended type '
86                     . 'resolved to a type number < 8 ('
87                     . $type
88                     . ')'
89                 );
90             }
92             ++$offset;
93         }
95         list($size, $offset) = $this->sizeFromCtrlByte($ctrlByte, $offset);
97         return $this->decodeByType($type, $offset, $size);
98     }
100     private function decodeByType($type, $offset, $size)
101     {
102         switch ($type) {
103             case self::_MAP:
104                 return $this->decodeMap($size, $offset);
105             case self::_ARRAY:
106                 return $this->decodeArray($size, $offset);
107             case self::_BOOLEAN:
108                 return [$this->decodeBoolean($size), $offset];
109         }
111         $newOffset = $offset + $size;
112         $bytes = Util::read($this->fileStream, $offset, $size);
113         switch ($type) {
114             case self::_BYTES:
115             case self::_UTF8_STRING:
116                 return [$bytes, $newOffset];
117             case self::_DOUBLE:
118                 $this->verifySize(8, $size);
120                 return [$this->decodeDouble($bytes), $newOffset];
121             case self::_FLOAT:
122                 $this->verifySize(4, $size);
124                 return [$this->decodeFloat($bytes), $newOffset];
125             case self::_INT32:
126                 return [$this->decodeInt32($bytes, $size), $newOffset];
127             case self::_UINT16:
128             case self::_UINT32:
129             case self::_UINT64:
130             case self::_UINT128:
131                 return [$this->decodeUint($bytes, $size), $newOffset];
132             default:
133                 throw new InvalidDatabaseException(
134                     'Unknown or unexpected type: ' . $type
135                 );
136         }
137     }
139     private function verifySize($expected, $actual)
140     {
141         if ($expected !== $actual) {
142             throw new InvalidDatabaseException(
143                 "The MaxMind DB file's data section contains bad data (unknown data type or corrupt data)"
144             );
145         }
146     }
148     private function decodeArray($size, $offset)
149     {
150         $array = [];
152         for ($i = 0; $i < $size; ++$i) {
153             list($value, $offset) = $this->decode($offset);
154             array_push($array, $value);
155         }
157         return [$array, $offset];
158     }
160     private function decodeBoolean($size)
161     {
162         return $size === 0 ? false : true;
163     }
165     private function decodeDouble($bits)
166     {
167         // This assumes IEEE 754 doubles, but most (all?) modern platforms
168         // use them.
169         //
170         // We are not using the "E" format as that was only added in
171         // 7.0.15 and 7.1.1. As such, we must switch byte order on
172         // little endian machines.
173         list(, $double) = unpack('d', $this->maybeSwitchByteOrder($bits));
175         return $double;
176     }
178     private function decodeFloat($bits)
179     {
180         // This assumes IEEE 754 floats, but most (all?) modern platforms
181         // use them.
182         //
183         // We are not using the "G" format as that was only added in
184         // 7.0.15 and 7.1.1. As such, we must switch byte order on
185         // little endian machines.
186         list(, $float) = unpack('f', $this->maybeSwitchByteOrder($bits));
188         return $float;
189     }
191     private function decodeInt32($bytes, $size)
192     {
193         switch ($size) {
194             case 0:
195                 return 0;
196             case 1:
197             case 2:
198             case 3:
199                 $bytes = str_pad($bytes, 4, "\x00", STR_PAD_LEFT);
200                 break;
201             case 4:
202                 break;
203             default:
204                 throw new InvalidDatabaseException(
205                     "The MaxMind DB file's data section contains bad data (unknown data type or corrupt data)"
206                 );
207         }
209         list(, $int) = unpack('l', $this->maybeSwitchByteOrder($bytes));
211         return $int;
212     }
214     private function decodeMap($size, $offset)
215     {
216         $map = [];
218         for ($i = 0; $i < $size; ++$i) {
219             list($key, $offset) = $this->decode($offset);
220             list($value, $offset) = $this->decode($offset);
221             $map[$key] = $value;
222         }
224         return [$map, $offset];
225     }
227     private function decodePointer($ctrlByte, $offset)
228     {
229         $pointerSize = (($ctrlByte >> 3) & 0x3) + 1;
231         $buffer = Util::read($this->fileStream, $offset, $pointerSize);
232         $offset = $offset + $pointerSize;
234         switch ($pointerSize) {
235             case 1:
236                 $packed = (pack('C', $ctrlByte & 0x7)) . $buffer;
237                 list(, $pointer) = unpack('n', $packed);
238                 $pointer += $this->pointerBase;
239                 break;
240             case 2:
241                 $packed = "\x00" . (pack('C', $ctrlByte & 0x7)) . $buffer;
242                 list(, $pointer) = unpack('N', $packed);
243                 $pointer += $this->pointerBase + 2048;
244                 break;
245             case 3:
246                 $packed = (pack('C', $ctrlByte & 0x7)) . $buffer;
248                 // It is safe to use 'N' here, even on 32 bit machines as the
249                 // first bit is 0.
250                 list(, $pointer) = unpack('N', $packed);
251                 $pointer += $this->pointerBase + 526336;
252                 break;
253             case 4:
254                 // We cannot use unpack here as we might overflow on 32 bit
255                 // machines
256                 $pointerOffset = $this->decodeUint($buffer, $pointerSize);
258                 $byteLength = $pointerSize + $this->pointerBaseByteSize;
260                 if ($byteLength <= _MM_MAX_INT_BYTES) {
261                     $pointer = $pointerOffset + $this->pointerBase;
262                 } elseif (\extension_loaded('gmp')) {
263                     $pointer = gmp_strval(gmp_add($pointerOffset, $this->pointerBase));
264                 } elseif (\extension_loaded('bcmath')) {
265                     $pointer = bcadd($pointerOffset, $this->pointerBase);
266                 } else {
267                     throw new \RuntimeException(
268                         'The gmp or bcmath extension must be installed to read this database.'
269                     );
270                 }
271         }
273         return [$pointer, $offset];
274     }
276     private function decodeUint($bytes, $byteLength)
277     {
278         if ($byteLength === 0) {
279             return 0;
280         }
282         $integer = 0;
284         for ($i = 0; $i < $byteLength; ++$i) {
285             $part = \ord($bytes[$i]);
287             // We only use gmp or bcmath if the final value is too big
288             if ($byteLength <= _MM_MAX_INT_BYTES) {
289                 $integer = ($integer << 8) + $part;
290             } elseif (\extension_loaded('gmp')) {
291                 $integer = gmp_strval(gmp_add(gmp_mul($integer, 256), $part));
292             } elseif (\extension_loaded('bcmath')) {
293                 $integer = bcadd(bcmul($integer, 256), $part);
294             } else {
295                 throw new \RuntimeException(
296                     'The gmp or bcmath extension must be installed to read this database.'
297                 );
298             }
299         }
301         return $integer;
302     }
304     private function sizeFromCtrlByte($ctrlByte, $offset)
305     {
306         $size = $ctrlByte & 0x1f;
308         if ($size < 29) {
309             return [$size, $offset];
310         }
312         $bytesToRead = $size - 28;
313         $bytes = Util::read($this->fileStream, $offset, $bytesToRead);
315         if ($size === 29) {
316             $size = 29 + \ord($bytes);
317         } elseif ($size === 30) {
318             list(, $adjust) = unpack('n', $bytes);
319             $size = 285 + $adjust;
320         } elseif ($size > 30) {
321             list(, $adjust) = unpack('N', "\x00" . $bytes);
322             $size = ($adjust & (0x0FFFFFFF >> (32 - (8 * $bytesToRead))))
323                 + 65821;
324         }
326         return [$size, $offset + $bytesToRead];
327     }
329     private function maybeSwitchByteOrder($bytes)
330     {
331         return $this->switchByteOrder ? strrev($bytes) : $bytes;
332     }
334     private function isPlatformLittleEndian()
335     {
336         $testint = 0x00FF;
337         $packed = pack('S', $testint);
339         return $testint === current(unpack('v', $packed));
340     }