MDL-12234, fixing unicode issues with global search
[moodle.git] / search / query.php
1 <?php
2 /**
3 * Global Search Engine for Moodle
4 * Michael Champanis (mchampan) [cynnical@gmail.com]
5 * review 1.8+ : Valery Fremaux [valery.fremaux@club-internet.fr] 
6 * 2007/08/02
7 *
8 * The query page - accepts a user-entered query string and returns results.
9 *
10 * Queries are boolean-aware, e.g.:
11 *
12 * '+'      term required
13 * '-'      term must not be present
14 * ''       (no modifier) term's presence increases rank, but isn't required
15 * 'field:' search this field
16 *
17 * Examples:
18 *
19 * 'earthquake +author:michael'
20 *   Searches for documents written by 'michael' that contain 'earthquake'
21 *
22 * 'earthquake +doctype:wiki'
23 *   Search all wiki pages for 'earthquake'
24 *
25 * '+author:helen +author:foster'
26 *   All articles written by Helen Foster
27 *
28 */
30 require_once('../config.php');
31 require_once("$CFG->dirroot/search/lib.php");
33 if ($CFG->forcelogin) {
34     require_login();
35 }
37 if (empty($CFG->enableglobalsearch)) {
38     error(get_string('globalsearchdisabled', 'search'));
39 }
41 $adv = new Object();
43 // check for php5, but don't die yet (see line 52)
44 if ($check = search_check_php5()) {
45     require_once("{$CFG->dirroot}/search/querylib.php");
47     $page_number  = optional_param('page', -1, PARAM_INT);
48     $pages        = ($page_number == -1) ? false : true;
49     $advanced     = (optional_param('a', '0', PARAM_INT) == '1') ? true : false;
50     $query_string = optional_param('query_string', '', PARAM_CLEAN);
52     if ($pages && isset($_SESSION['search_advanced_query'])) {
53         // if both are set, then we are busy browsing through the result pages of an advanced query
54         $adv = unserialize($_SESSION['search_advanced_query']);
55     } 
56     else if ($advanced) {
57         // otherwise we are dealing with a new advanced query
58         unset($_SESSION['search_advanced_query']);
59         session_unregister('search_advanced_query');
60         
61         // chars to strip from strings (whitespace)
62         $chars = " \t\n\r\0\x0B,-+";
63         
64         // retrieve advanced query variables
65         $adv->mustappear  = trim(optional_param('mustappear', '', PARAM_CLEAN), $chars);
66         $adv->notappear   = trim(optional_param('notappear', '', PARAM_CLEAN), $chars);
67         $adv->canappear   = trim(optional_param('canappear', '', PARAM_CLEAN), $chars);
68         $adv->module      = optional_param('module', '', PARAM_CLEAN);
69         $adv->title       = trim(optional_param('title', '', PARAM_CLEAN), $chars);
70         $adv->author      = trim(optional_param('author', '', PARAM_CLEAN), $chars);
71     } 
73     if ($advanced) {
74         //parse the advanced variables into a query string
75         //TODO: move out to external query class (QueryParse?)
76         
77         $query_string = '';
78         
79         // get all available module types
80         $module_types = array_merge(array('all'), array_values(search_get_document_types()));
81         $adv->module = in_array($adv->module, $module_types) ? $adv->module : 'all';
82         
83         // convert '1 2' into '+1 +2' for required words field
84         if (strlen(trim($adv->mustappear)) > 0) {
85             $query_string  = ' +'.implode(' +', preg_split("/[\s,;]+/", $adv->mustappear));
86         } 
87         
88         // convert '1 2' into '-1 -2' for not wanted words field
89         if (strlen(trim($adv->notappear)) > 0) {
90             $query_string .= ' -'.implode(' -', preg_split("/[\s,;]+/", $adv->notappear));
91         } 
92         
93         // this field is left untouched, apart from whitespace being stripped
94         if (strlen(trim($adv->canappear)) > 0) {
95             $query_string .= ' '.implode(' ', preg_split("/[\s,;]+/", $adv->canappear));
96         } 
97         
98         // add module restriction
99         $doctypestr = get_string('doctype', 'search');
100         $titlestr = get_string('title', 'search');
101         $authorstr = get_string('author', 'search');
102         if ($adv->module != 'all') {
103             $query_string .= " +{$doctypestr}:".$adv->module;
104         } 
105         
106         // create title search string
107         if (strlen(trim($adv->title)) > 0) {
108             $query_string .= " +{$titlestr}:".implode(" +{$titlestr}:", preg_split("/[\s,;]+/", $adv->title));
109         } 
110         
111         // create author search string
112         if (strlen(trim($adv->author)) > 0) {
113             $query_string .= " +{$authorstr}:".implode(" +{$authorstr}:", preg_split("/[\s,;]+/", $adv->author));
114         } 
115         
116         // save our options if the query is valid
117         if (!empty($query_string)) {
118             $_SESSION['search_advanced_query'] = serialize($adv);
119         } 
120     } 
122     // normalise page number
123     if ($page_number < 1) {
124         $page_number = 1;
125     } 
127     //run the query against the index
128     $sq = new SearchQuery($query_string, $page_number, 10, false);
129
131 if (!$site = get_site()) {
132     redirect("index.php");
133
135 $strsearch = get_string('search', 'search');
136 $strquery  = get_string('enteryoursearchquery', 'search');
138 $navlinks[] = array('name' => $strsearch, 'link' => "index.php", 'type' => 'misc');
139 $navlinks[] = array('name' => $strquery, 'link' => null, 'type' => 'misc');
140 $navigation = build_navigation($navlinks);
141 $course = get_site();
142 print_header("$strsearch", "$strsearch" , $navigation, "", "", true, "&nbsp;", navmenu($course));
144 //keep things pretty, even if php5 isn't available
145 if (!$check) {
146     print_heading(search_check_php5(true));
147     print_footer();
148     exit(0);
149
151 print_box_start();
152 print_heading($strquery);
154 print_box_start();
156 $vars = get_object_vars($adv);
158 if (isset($vars)) {
159     foreach ($vars as $key => $value) {
160         // htmlentities breaks non-ascii chars
161         $adv->key = stripslashes($value);
162         //$adv->$key = stripslashes(htmlentities($value));
163     } 
165 ?>
167 <form id="query" method="get" action="query.php">
168 <?php 
169 if (!$advanced) { 
170 ?>
171     <input type="text" name="query_string" length="50" value="<?php print stripslashes($query_string) ?>" />
172     &nbsp;<input type="submit" value="<?php print_string('search', 'search') ?>" /> &nbsp;
173     <a href="query.php?a=1"><?php print_string('advancedsearch', 'search') ?></a> |
174     <a href="stats.php"><?php print_string('statistics', 'search') ?></a>
175 <?php 
176
177 else {
178     print_box_start();
179   ?>
180     <input type="hidden" name="a" value="<?php print $advanced; ?>"/>
182     <table border="0" cellpadding="3" cellspacing="3">
184     <tr>
185       <td width="240"><?php print_string('thesewordsmustappear', 'search') ?>:</td>
186       <td><input type="text" name="mustappear" length="50" value="<?php print $adv->mustappear; ?>" /></td>
187     </tr>
189     <tr>
190       <td><?php print_string('thesewordsmustnotappear', 'search') ?>:</td>
191       <td><input type="text" name="notappear" length="50" value="<?php print $adv->notappear; ?>" /></td>
192     </tr>
194     <tr>
195       <td><?php print_string('thesewordshelpimproverank', 'search') ?>:</td>
196       <td><input type="text" name="canappear" length="50" value="<?php print $adv->canappear; ?>" /></td>
197     </tr>
199     <tr>
200       <td><?php print_string('whichmodulestosearch?', 'search') ?>:</td>
201       <td>
202         <select name="module">
203 <?php 
204     foreach($module_types as $mod) {
205         if ($mod == $adv->module) {
206             if ($mod != 'all'){
207                 print "<option value='$mod' selected=\"selected\">".get_string('modulenameplural', $mod)."</option>\n";
208             }
209             else{
210                 print "<option value='$mod' selected=\"selected\">".get_string('all', 'search')."</option>\n";
211             }
212         } 
213         else {
214             if ($mod != 'all'){
215                 print "<option value='$mod'>".get_string('modulenameplural', $mod)."</option>\n";
216             }
217             else{
218                 print "<option value='$mod'>".get_string('all', 'search')."</option>\n";
219             }
220         } 
221     } 
222 ?>
223         </select>
224       </td>
225     </tr>
227     <tr>
228       <td><?php print_string('wordsintitle', 'search') ?>:</td>
229       <td><input type="text" name="title" length="50" value="<?php print $adv->title; ?>" /></td>
230     </tr>
232     <tr>
233       <td><?php print_string('authorname', 'search') ?>:</td>
234       <td><input type="text" name="author" length="50" value="<?php print $adv->author; ?>" /></td>
235     </tr>
237     <tr>
238       <td colspan="3" align="center"><br /><input type="submit" value="<?php print_string('search', 'search') ?>" /></td>
239     </tr>
241     <tr>
242       <td colspan="3" align="center">
243         <table border="0" cellpadding="0" cellspacing="0">
244           <tr>
245             <td><a href="query.php"><?php print_string('normalsearch', 'search') ?></a> |</td>
246             <td>&nbsp;<a href="stats.php"><?php print_string('statistics', 'search') ?></a></td>
247           </tr>
248         </table>
249       </td>
250     </tr>
251     </table>
252 <?php
253     print_box_end();
254     } 
255 ?>
256 </form>
257 <br/>
259 <div align="center">
260 <?php
261 print_string('searching', 'search') . ': ';
263 if ($sq->is_valid_index()) {
264     //use cached variable to show up-to-date index size (takes deletions into account)
265     print $CFG->search_index_size;
266
267 else {
268     print "0";
269
271 print ' ';
272 print_string('documents', 'search');
273 print '.';
275 if (!$sq->is_valid_index() and isadmin()) {
276     print '<p>' . get_string('noindexmessage', 'search') . '<a href="indexersplash.php">' . get_string('createanindex', 'search')."</a></p>\n";
277
279 ?>
280 </div>
281 <?php
282 print_box_end();
284 // prints all the results in a box
285 if ($sq->is_valid()) {
286     print_box_start();
287     
288     search_stopwatch();
289     $hit_count = $sq->count();
290     
291     print "<br />";
292     
293     print $hit_count.' '.get_string('resultsreturnedfor', 'search') . " '".stripslashes($query_string)."'.";
294     print "<br />";
295     
296     if ($hit_count > 0) {
297         $page_links = $sq->page_numbers();
298         $hits = $sq->results();
299         
300         if ($advanced) {
301             // if in advanced mode, search options are saved in the session, so
302             // we can remove the query string var from the page links, and replace
303             // it with a=1 (Advanced = on) instead
304             $page_links = preg_replace("/query_string=[^&]+/", 'a=1', $page_links);
305         } 
306         
307         print "<ol>";
308         
309         $typestr = get_string('type', 'search');
310         $scorestr = get_string('score', 'search');
311         $authorstr = get_string('author', 'search');
312         foreach ($hits as $listing) {
313             //if ($CFG->unicodedb) {
314             //$listing->title = mb_convert_encoding($listing->title, 'auto', 'UTF8');
315             //}
316             $title_post_processing_function = $listing->doctype.'_link_post_processing';
317             require_once "{$CFG->dirroot}/search/documents/{$listing->doctype}_document.php";
318             if (function_exists($title_post_processing_function)) {
319                 $listing->title = $title_post_processing_function($listing->title);
320             }
322             print "<li value='".($listing->number+1)."'><a href='".str_replace('DEFAULT_POPUP_SETTINGS', DEFAULT_POPUP_SETTINGS ,$listing->url)."'>$listing->title</a><br />\n"
323                ."<em>".search_shorten_url($listing->url, 70)."</em><br />\n"
324                ."{$typestr}: ".$listing->doctype.", {$scorestr}: ".round($listing->score, 3).", {$authorstr}: ".$listing->author."\n"
325                ."</li>\n";
326         }
327         
328         print "</ol>";
329         print $page_links;
330     } 
332     print_box_end();
333 ?>
334 <div align="center">
335 <?php 
336     print_string('ittook', 'search');
337     search_stopwatch(); 
338     print_string('tofetchtheseresults', 'search');
339 ?>.
340 </div>
342 <?php
344 print_box_end();
345 print_footer();
346 ?>