MDL-66767 forumreport_summary: Improved groups only SQL
[moodle.git] / mod / forum / report / summary / classes / summary_table.php
1 <?php
2 // This file is part of Moodle - http://moodle.org/
3 //
4 // Moodle is free software: you can redistribute it and/or modify
5 // it under the terms of the GNU General Public License as published by
6 // the Free Software Foundation, either version 3 of the License, or
7 // (at your option) any later version.
8 //
9 // Moodle is distributed in the hope that it will be useful,
10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 // GNU General Public License for more details.
13 //
14 // You should have received a copy of the GNU General Public License
15 // along with Moodle.  If not, see <http://www.gnu.org/licenses/>.
17 /**
18  * The class for displaying the forum report table.
19  *
20  * @package   forumreport_summary
21  * @copyright 2019 Michael Hawkins <michaelh@moodle.com>
22  * @license   http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
23  */
25 namespace forumreport_summary;
26 defined('MOODLE_INTERNAL') || die();
28 require_once($CFG->libdir . '/tablelib.php');
30 use coding_exception;
31 use table_sql;
33 /**
34  * The class for displaying the forum report table.
35  *
36  * @copyright  2019 Michael Hawkins <michaelh@moodle.com>
37  * @license    http://www.gnu.org/copyleft/gpl.html GNU GPL v3 or later
38  */
39 class summary_table extends table_sql {
41     /** Forum filter type */
42     const FILTER_FORUM = 1;
44     /** Groups filter type */
45     const FILTER_GROUPS = 2;
47     /** Table to store summary data extracted from the log table */
48     const LOG_SUMMARY_TEMP_TABLE = 'forum_report_summary_counts';
50     /** @var \stdClass The various SQL segments that will be combined to form queries to fetch various information. */
51     public $sql;
53     /** @var int The number of rows to be displayed per page. */
54     protected $perpage = 25;
56     /** @var \stdClass The course module object of the forum being reported on. */
57     protected $cm;
59     /**
60      * @var int The user ID if only one user's summary will be generated.
61      * This will apply to users without permission to view others' summaries.
62      */
63     protected $userid;
65     /**
66      * @var \core\log\sql_reader|null
67      */
68     protected $logreader = null;
70     /**
71      * @var \context|null
72      */
73     protected $context = null;
75     /**
76      * Forum report table constructor.
77      *
78      * @param int $courseid The ID of the course the forum(s) exist within.
79      * @param array $filters Report filters in the format 'type' => [values].
80      * @param bool $bulkoperations Is the user allowed to perform bulk operations?
81      */
82     public function __construct(int $courseid, array $filters, bool $bulkoperations) {
83         global $USER, $OUTPUT;
85         $forumid = $filters['forums'][0];
87         parent::__construct("summaryreport_{$courseid}_{$forumid}");
89         $this->cm = get_coursemodule_from_instance('forum', $forumid, $courseid);
90         $this->context = \context_module::instance($this->cm->id);
92         // Only show their own summary unless they have permission to view all.
93         if (!has_capability('forumreport/summary:viewall', $this->context)) {
94             $this->userid = $USER->id;
95         }
97         $columnheaders = [];
99         if ($bulkoperations) {
100             $mastercheckbox = new \core\output\checkbox_toggleall('summaryreport-table', true, [
101                 'id' => 'select-all-users',
102                 'name' => 'select-all-users',
103                 'label' => get_string('selectall'),
104                 'labelclasses' => 'sr-only',
105                 'classes' => 'm-1',
106                 'checked' => false
107             ]);
108             $columnheaders['select'] = $OUTPUT->render($mastercheckbox);
109         }
111         $columnheaders += [
112             'fullname' => get_string('fullnameuser'),
113             'postcount' => get_string('postcount', 'forumreport_summary'),
114             'replycount' => get_string('replycount', 'forumreport_summary'),
115             'attachmentcount' => get_string('attachmentcount', 'forumreport_summary'),
116         ];
118         $this->logreader = $this->get_internal_log_reader();
119         if ($this->logreader) {
120             $columnheaders['viewcount'] = get_string('viewcount', 'forumreport_summary');
121         }
123         $columnheaders['earliestpost'] = get_string('earliestpost', 'forumreport_summary');
124         $columnheaders['latestpost'] = get_string('latestpost', 'forumreport_summary');
126         $this->define_columns(array_keys($columnheaders));
127         $this->define_headers(array_values($columnheaders));
129         // Define configs.
130         $this->define_table_configs();
132         // Define the basic SQL data and object format.
133         $this->define_base_sql();
135         // Apply relevant filters.
136         $this->apply_filters($filters);
137     }
139     /**
140      * Provides the string name of each filter type.
141      *
142      * @param int $filtertype Type of filter
143      * @return string Name of the filter
144      */
145     public function get_filter_name(int $filtertype): string {
146         $filternames = [
147             self::FILTER_FORUM => 'Forum',
148             self::FILTER_GROUPS => 'Groups',
149         ];
151         return $filternames[$filtertype];
152     }
154     /**
155      * Generate the select column.
156      *
157      * @param \stdClass $data
158      * @return string
159      */
160     public function col_select($data) {
161         global $OUTPUT;
163         $checkbox = new \core\output\checkbox_toggleall('summaryreport-table', false, [
164             'classes' => 'usercheckbox m-1',
165             'id' => 'user' . $data->userid,
166             'name' => 'user' . $data->userid,
167             'checked' => false,
168             'label' => get_string('selectitem', 'moodle', fullname($data)),
169             'labelclasses' => 'accesshide',
170         ]);
172         return $OUTPUT->render($checkbox);
173     }
175     /**
176      * Generate the fullname column.
177      *
178      * @param \stdClass $data The row data.
179      * @return string User's full name.
180      */
181     public function col_fullname($data): string {
182         if ($this->is_downloading()) {
183             return fullname($data);
184         }
186         global $OUTPUT;
187         return $OUTPUT->user_picture($data, array('size' => 35, 'courseid' => $this->cm->course, 'includefullname' => true));
188     }
190     /**
191      * Generate the postcount column.
192      *
193      * @param \stdClass $data The row data.
194      * @return int number of discussion posts made by user.
195      */
196     public function col_postcount(\stdClass $data): int {
197         return $data->postcount;
198     }
200     /**
201      * Generate the replycount column.
202      *
203      * @param \stdClass $data The row data.
204      * @return int number of replies made by user.
205      */
206     public function col_replycount(\stdClass $data): int {
207         return $data->replycount;
208     }
210     /**
211      * Generate the attachmentcount column.
212      *
213      * @param \stdClass $data The row data.
214      * @return int number of files attached to posts by user.
215      */
216     public function col_attachmentcount(\stdClass $data): int {
217         return $data->attachmentcount;
218     }
220     /**
221      * Generate the earliestpost column.
222      *
223      * @param \stdClass $data The row data.
224      * @return string Timestamp of user's earliest post, or a dash if no posts exist.
225      */
226     public function col_earliestpost(\stdClass $data): string {
227         global $USER;
229         return empty($data->earliestpost) ? '-' : userdate($data->earliestpost, "", \core_date::get_user_timezone($USER));
230     }
232     /**
233      * Generate the latestpost column.
234      *
235      * @param \stdClass $data The row data.
236      * @return string Timestamp of user's most recent post, or a dash if no posts exist.
237      */
238     public function col_latestpost(\stdClass $data): string {
239         global $USER;
241         return empty($data->latestpost) ? '-' : userdate($data->latestpost, "", \core_date::get_user_timezone($USER));
242     }
244     /**
245      * Override the default implementation to set a decent heading level.
246      *
247      * @return void.
248      */
249     public function print_nothing_to_display(): void {
250         global $OUTPUT;
252         echo $OUTPUT->heading(get_string('nothingtodisplay'), 4);
253     }
255     /**
256      * Query the db. Store results in the table object for use by build_table.
257      *
258      * @param int $pagesize Size of page for paginated displayed table.
259      * @param bool $useinitialsbar Overridden but unused.
260      * @return void
261      */
262     public function query_db($pagesize, $useinitialsbar = false): void {
263         global $DB;
265         // Set up pagination if not downloading the whole report.
266         if (!$this->is_downloading()) {
267             $totalsql = $this->get_full_sql(false);
269             // Set up pagination.
270             $totalrows = $DB->count_records_sql($totalsql, $this->sql->params);
271             $this->pagesize($pagesize, $totalrows);
272         }
274         // Fetch the data.
275         $sql = $this->get_full_sql();
277         // Only paginate when not downloading.
278         if (!$this->is_downloading()) {
279             $this->rawdata = $DB->get_records_sql($sql, $this->sql->params, $this->get_page_start(), $this->get_page_size());
280         } else {
281             $this->rawdata = $DB->get_records_sql($sql, $this->sql->params);
282         }
283     }
285     /**
286      * Adds the relevant SQL to apply a filter to the report.
287      *
288      * @param int $filtertype Filter type as defined by class constants.
289      * @param array $values Optional array of values passed into the filter type.
290      * @return void
291      * @throws coding_exception
292      */
293     public function add_filter(int $filtertype, array $values = []): void {
294         global $DB;
296         $paramcounterror = false;
298         switch($filtertype) {
299             case self::FILTER_FORUM:
300                 // Requires exactly one forum ID.
301                 if (count($values) != 1) {
302                     $paramcounterror = true;
303                 } else {
304                     // No select fields required - displayed in title.
305                     // No extra joins required, forum is already joined.
306                     $this->sql->filterwhere .= ' AND f.id = :forumid';
307                     $this->sql->params['forumid'] = $values[0];
308                 }
310                 break;
312             case self::FILTER_GROUPS:
313                 // Filter data to only include content within specified groups (and/or no groups).
314                 // Additionally, only display users who can post within the selected option(s).
316                 // Only filter by groups the user has access to.
317                 $groups = $this->get_filter_groups($values);
319                 // Skip adding filter if not applied, or all valid options are selected.
320                 if (!empty($groups)) {
321                     // Posts within selected groups and/or not in any groups (group ID -1) are included.
322                     // No user filtering as anyone enrolled can potentially post to unrestricted discussions.
323                     if (array_search(-1, $groups) !== false) {
324                         list($groupidin, $groupidparams) = $DB->get_in_or_equal($groups, SQL_PARAMS_NAMED);
326                         $this->sql->filterwhere .= " AND d.groupid {$groupidin}";
327                         $this->sql->params += $groupidparams;
329                     } else {
330                         // Only posts and users within selected groups are included.
331                         list($groupusersin, $groupusersparams) = $DB->get_in_or_equal($groups, SQL_PARAMS_NAMED);
332                         list($groupidin, $groupidparams) = $DB->get_in_or_equal($groups, SQL_PARAMS_NAMED);
334                         // No joins required (handled by where to prevent data duplication).
335                         $this->sql->filterwhere .= "
336                             AND u.id IN (
337                                 SELECT gm.userid
338                                   FROM {groups_members} gm
339                                  WHERE gm.groupid {$groupusersin}
340                             )
341                             AND d.groupid {$groupidin}";
342                         $this->sql->params += $groupusersparams + $groupidparams;
343                     }
344                 }
346                 break;
348             default:
349                 throw new coding_exception("Report filter type '{$filtertype}' not found.");
350                 break;
351         }
353         if ($paramcounterror) {
354             $filtername = $this->get_filter_name($filtertype);
355             throw new coding_exception("An invalid number of values have been passed for the '{$filtername}' filter.");
356         }
357     }
359     /**
360      * Define various table config options.
361      *
362      * @return void.
363      */
364     protected function define_table_configs(): void {
365         $this->collapsible(false);
366         $this->sortable(true, 'firstname', SORT_ASC);
367         $this->pageable(true);
368         $this->is_downloadable(true);
369         $this->no_sorting('select');
370         $this->set_attribute('id', 'forumreport_summary_table');
371     }
373     /**
374      * Define the object to store all for the table SQL and initialises the base SQL required.
375      *
376      * @return void.
377      */
378     protected function define_base_sql(): void {
379         $this->sql = new \stdClass();
381         $userfields = get_extra_user_fields($this->context);
382         $userfieldssql = \user_picture::fields('u', $userfields);
384         // Define base SQL query format.
385         // Ignores private replies as they are not visible to all participants.
386         $this->sql->basefields = ' ue.userid AS userid,
387                                    e.courseid AS courseid,
388                                    f.id as forumid,
389                                    SUM(CASE WHEN p.parent = 0 THEN 1 ELSE 0 END) AS postcount,
390                                    SUM(CASE WHEN p.parent != 0 THEN 1 ELSE 0 END) AS replycount,
391                                    ' . $userfieldssql . ',
392                                    SUM(CASE WHEN att.attcount IS NULL THEN 0 ELSE att.attcount END) AS attachmentcount,
393                                    MIN(p.created) AS earliestpost,
394                                    MAX(p.created) AS latestpost';
396         $this->sql->basefromjoins = '    {enrol} e
397                                     JOIN {user_enrolments} ue ON ue.enrolid = e.id
398                                     JOIN {user} u ON u.id = ue.userid
399                                     JOIN {forum} f ON f.course = e.courseid
400                                     JOIN {forum_discussions} d ON d.forum = f.id
401                                LEFT JOIN {forum_posts} p ON p.discussion =  d.id
402                                      AND p.userid = ue.userid
403                                      AND p.privatereplyto = 0
404                                LEFT JOIN (
405                                             SELECT COUNT(fi.id) AS attcount, fi.itemid AS postid, fi.userid
406                                               FROM {files} fi
407                                              WHERE fi.component = :component
408                                                AND fi.filesize > 0
409                                           GROUP BY fi.itemid, fi.userid
410                                          ) att ON att.postid = p.id
411                                          AND att.userid = ue.userid';
413         $this->sql->basewhere = 'e.courseid = :courseid';
415         $this->sql->basegroupby = 'ue.userid, e.courseid, f.id, u.id, ' . $userfieldssql;
417         if ($this->logreader) {
418             $this->fill_log_summary_temp_table($this->context->id);
420             $this->sql->basefields .= ', CASE WHEN tmp.viewcount IS NOT NULL THEN tmp.viewcount ELSE 0 END AS viewcount';
421             $this->sql->basefromjoins .= ' LEFT JOIN {' . self::LOG_SUMMARY_TEMP_TABLE . '} tmp ON tmp.userid = u.id';
422             $this->sql->basegroupby .= ', tmp.viewcount';
423         }
425         $this->sql->params = [
426             'component' => 'mod_forum',
427             'courseid' => $this->cm->course,
428         ];
430         // Handle if a user is limited to viewing their own summary.
431         if (!empty($this->userid)) {
432             $this->sql->basewhere .= ' AND ue.userid = :userid';
433             $this->sql->params['userid'] = $this->userid;
434         }
436         // Filter values will be populated separately where required.
437         $this->sql->filterfields = '';
438         $this->sql->filterfromjoins = '';
439         $this->sql->filterwhere = '';
440         $this->sql->filtergroupby = '';
441     }
443     /**
444      * Overriding the parent method because it should not be used here.
445      * Filters are applied, so the structure of $this->sql is now different to the way this is set up in the parent.
446      *
447      * @param string $fields Unused.
448      * @param string $from Unused.
449      * @param string $where Unused.
450      * @param array $params Unused.
451      * @return void.
452      *
453      * @throws coding_exception
454      */
455     public function set_sql($fields, $from, $where, array $params = []) {
456         throw new coding_exception('The set_sql method should not be used by the summary_table class.');
457     }
459     /**
460      * Convenience method to call a number of methods for you to display the table.
461      * Overrides the parent so SQL for filters is handled.
462      *
463      * @param int $pagesize Number of rows to fetch.
464      * @param bool $useinitialsbar Whether to include the initials bar with the table.
465      * @param string $downloadhelpbutton Unused.
466      *
467      * @return void.
468      */
469     public function out($pagesize, $useinitialsbar, $downloadhelpbutton = ''): void {
470         global $DB;
472         if (!$this->columns) {
473             $sql = $this->get_full_sql();
475             $onerow = $DB->get_record_sql($sql, $this->sql->params, IGNORE_MULTIPLE);
477             // If columns is not set, define columns as the keys of the rows returned from the db.
478             $this->define_columns(array_keys((array)$onerow));
479             $this->define_headers(array_keys((array)$onerow));
480         }
482         $this->setup();
483         $this->query_db($pagesize, $useinitialsbar);
484         $this->build_table();
485         $this->close_recordset();
486         $this->finish_output();
487     }
489     /**
490      * Apply the relevant filters to the report.
491      *
492      * @param array $filters Report filters in the format 'type' => [values].
493      * @return void.
494      */
495     protected function apply_filters(array $filters): void {
496         // Apply the forums filter.
497         $this->add_filter(self::FILTER_FORUM, $filters['forums']);
499         // Apply groups filter.
500         $this->add_filter(self::FILTER_GROUPS, $filters['groups']);
501     }
503     /**
504      * Prepares a complete SQL statement from the base query and any filters defined.
505      *
506      * @param bool $fullselect Whether to select all relevant columns.
507      *              False selects a count only (used to calculate pagination).
508      * @return string The complete SQL statement.
509      */
510     protected function get_full_sql(bool $fullselect = true): string {
511         $groupby = '';
512         $orderby = '';
514         if ($fullselect) {
515             $selectfields = "{$this->sql->basefields}
516                              {$this->sql->filterfields}";
518             $groupby = ' GROUP BY ' . $this->sql->basegroupby . $this->sql->filtergroupby;
520             if (($sort = $this->get_sql_sort())) {
521                 $orderby = " ORDER BY {$sort}";
522             }
523         } else {
524             $selectfields = 'COUNT(DISTINCT(ue.userid))';
525         }
527         $sql = "SELECT {$selectfields}
528                   FROM {$this->sql->basefromjoins}
529                        {$this->sql->filterfromjoins}
530                  WHERE {$this->sql->basewhere}
531                        {$this->sql->filterwhere}
532                        {$groupby}
533                        {$orderby}";
535         return $sql;
536     }
538     /**
539      * Returns an internal and enabled log reader.
540      *
541      * @return \core\log\sql_reader|false
542      */
543     protected function get_internal_log_reader(): ?\core\log\sql_reader {
544         global $DB;
546         $readers = get_log_manager()->get_readers('core\log\sql_reader');
547         foreach ($readers as $reader) {
549             // If reader is not a sql_internal_table_reader and not legacy store then return.
550             if (!($reader instanceof \core\log\sql_internal_table_reader) && !($reader instanceof logstore_legacy\log\store)) {
551                 continue;
552             }
553             $logreader = $reader;
554         }
556         if (empty($logreader)) {
557             return null;
558         }
560         return $logreader;
561     }
563     /**
564      * Fills the log summary temp table.
565      *
566      * @param int $contextid
567      * @return null
568      */
569     protected function fill_log_summary_temp_table(int $contextid) {
570         global $DB;
572         $this->create_log_summary_temp_table();
574         if ($this->logreader instanceof logstore_legacy\log\store) {
575             $logtable = 'log';
576             // Anonymous actions are never logged in legacy log.
577             $nonanonymous = '';
578         } else {
579             $logtable = $this->logreader->get_internal_log_table_name();
580             $nonanonymous = 'AND anonymous = 0';
581         }
582         $params = ['contextid' => $contextid];
583         $sql = "INSERT INTO {" . self::LOG_SUMMARY_TEMP_TABLE . "} (userid, viewcount)
584                      SELECT userid, COUNT(*) AS viewcount
585                        FROM {" . $logtable . "}
586                       WHERE contextid = :contextid
587                             $nonanonymous
588                    GROUP BY userid";
589         $DB->execute($sql, $params);
590     }
592     /**
593      * Creates a temp table to store summary data from the log table for this request.
594      *
595      * @return null
596      */
597     protected function create_log_summary_temp_table() {
598         global $DB;
600         $dbman = $DB->get_manager();
601         $temptablename = self::LOG_SUMMARY_TEMP_TABLE;
602         $xmldbtable = new \xmldb_table($temptablename);
603         $xmldbtable->add_field('userid', XMLDB_TYPE_INTEGER, 10, null, XMLDB_NOTNULL, null, null);
604         $xmldbtable->add_field('viewcount', XMLDB_TYPE_INTEGER, 10, null, XMLDB_NOTNULL, null, null);
605         $xmldbtable->add_key('primary', XMLDB_KEY_PRIMARY, array('userid'));
607         $dbman->create_temp_table($xmldbtable);
608     }
610     /**
611      * Get the final list of groups to filter by, based on the groups submitted,
612      * and those the user has access to.
613      *
614      *
615      * @param array $groups The group IDs submitted.
616      * @return array Group objects of groups to use in groups filter.
617      *                If no filtering required (all groups selected), returns [].
618      */
619     protected function get_filter_groups(array $groups): array {
620         global $USER;
622         $groupmode = groups_get_activity_groupmode($this->cm);
623         $aag = has_capability('moodle/site:accessallgroups', $this->context);
624         $allowedgroups = [];
625         $filtergroups = [];
627         // Filtering only valid if a forum groups mode is enabled.
628         if (in_array($groupmode, [VISIBLEGROUPS, SEPARATEGROUPS])) {
629             $allgroupsobj = groups_get_all_groups($this->cm->course, 0, $this->cm->groupingid);
630             $allgroups = [];
632             foreach ($allgroupsobj as $group) {
633                 $allgroups[] = $group->id;
634             }
636             if ($groupmode == VISIBLEGROUPS || $aag) {
637                 $nogroups = new \stdClass();
638                 $nogroups->id = -1;
639                 $nogroups->name = get_string('groupsnone');
641                 // Any groups and no groups.
642                 $allowedgroupsobj = $allgroupsobj + [$nogroups];
643             } else {
644                 // Only assigned groups.
645                 $allowedgroupsobj = groups_get_all_groups($this->cm->course, $USER->id, $this->cm->groupingid);
646             }
648             foreach ($allowedgroupsobj as $group) {
649                 $allowedgroups[] = $group->id;
650             }
652             // If not all groups in course are selected, filter by allowed groups submitted.
653             if (!empty($groups) && !empty(array_diff($allowedgroups, $groups))) {
654                 $filtergroups = array_intersect($groups, $allowedgroups);
655             } else if (!empty(array_diff($allgroups, $allowedgroups))) {
656                 // If user's 'all groups' is a subset of the course groups, filter by all groups available to them.
657                 $filtergroups = $allowedgroups;
658             }
659         }
661         return $filtergroups;
662     }
664     /**
665      * Download the summary report in the selected format.
666      *
667      * @param string $format The format to download the report.
668      */
669     public function download($format) {
670         $filename = 'summary_report_' . userdate(time(), get_string('backupnameformat', 'langconfig'),
671                 99, false);
673         $this->is_downloading($format, $filename);
674         $this->out($this->perpage, false);
675     }