MDL-52214 core: Fix the is_web_crawler() regression