时间:2021-05-26
本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql数据库操作。分享给大家供大家参考,具体如下:
QueryList4教程 地址:
https://doc.querylist.cc/site/index/doc/45
在ThinkPHP5代码根目录执行composer命令安装QueryList:
composer require jaeger/querylist如果出现 以下错误
Loading composer repositories with package information
Updating dependencies (including require-dev)
Authentication required (packagist.phpcomposer.com):
Username:
出现这样的 情况
使用
composer config -g repo.packagist composer https://packagist.laravel-china.org下面演示在Index控制器中使用QueryList:
use QL\QueryList;public function qulist(){ $data = QueryList::get('http://maoyan.com/board/4') // 设置采集规则 ->rules([ // 爬取图片地址 "src"=>array(".board-wrapper dd img.board-img","data-src"), // 爬取电影名 "name"=>array(".board-wrapper dd .movie-item-info .name","html"), // 爬取电影主演信息 "star"=>array(".board-wrapper dd .movie-item-info .star","html"), // 爬取上映时间 "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"), ]) ->query()->getData(); $excel_array=$data->all(); var_dump($excel_array);exit;}如果没有错的 则
如果想继续抓取下一页的数据 要根据规律来去
这里我继续抓取20页 但是没有那么多就抓取了10页的数据
public function qulist(){ for($i=0;$i<20;$i++){ $page=$i*10; $data = QueryList::get('http://maoyan.com/board/4?offset='.$page) // 设置采集规则 ->rules([ // 爬取图片地址 "src"=>array(".board-wrapper dd img.board-img","data-src"), // 爬取电影名 "name"=>array(".board-wrapper dd .movie-item-info .name","html"), // 爬取电影主演信息 "star"=>array(".board-wrapper dd .movie-item-info .star","html"), // 爬取上映时间 "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"), ]) ->query()->getData(); $excel_array=$data->all(); var_dump($excel_array);exit; }}将数据插入到数据库 详细步骤
更多关于thinkPHP相关内容感兴趣的读者可查看本站专题:《ThinkPHP入门教程》、《thinkPHP模板操作技巧总结》、《ThinkPHP常用方法总结》、《codeigniter入门教程》、《CI(CodeIgniter)框架进阶教程》、《Zend FrameWork框架入门教程》及《PHP模板技术总结》。
希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了thinkPHP5框架实现多数据库连接,跨数据连接查询操作。分享给大家供大家参考,具体如下:1.多数据库连接方法1:在需要连接其他数据库的地方,使
本文实例讲述了tp5(thinkPHP5)框架数据库Db增删改查常见操作。分享给大家供大家参考,具体如下:添加数据insert$data=['name_cn'=
本文实例讲述了thinkphp5框架实现数据库读取的数据转换成json格式。分享给大家供大家参考,具体如下:首先从数据库读数据,然后调用list_to_tree
本文实例讲述了thinkPHP5框架数据库连贯操作之cache()用法。分享给大家供大家参考,具体如下:介绍TP5中自带的缓存系统,是File型缓存。也就是文件
使用Python分析Nginxaccess日志,根据Nginx日志格式进行分割并存入MySQL数据库。一、Nginxaccess日志格式如下:复制代码代码如下: