重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
1W条数据量也不是特别大,那就直接读取,然后在foreach入库就可以了
创新互联从2013年成立,是专业互联网技术服务公司,拥有项目网站设计制作、成都网站设计网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元吉安做网站,已为上家服务,为吉安各地企业和个人服务,联系电话:028-86922220
如果数据量非常大的时候,那就分段读取,然后入库~
考虑到php超时,那就网页端打开,第一部分执行完,刷新页面,开始执行第二部分,依次进行...
当然,直接在命令行下执行也可以~
你用网页的方式,让人点击,服务器采集,简直是弱爆了。每个人的点击循环1000次,来个100人同时点,你要用的是普通的虚拟机就不行了。
最好是换种方式实现,不要通过网页进行采集。
可以非常简单的在数据库的表,创建一个采集队列,后台执行一个crontab的计划任务,去完成队列里的采集任务。
性能指标,无非时间复杂度和空间复杂度。决定性能的,只有算法和硬件。而且解释型语言并不存在真正的数据结构,所以,只能从算法上优化。
一般就两种情况:
1. 超出脚本内存限制
2. 超出脚本执行时间限制
试下下面这样:
set_time_limit(0);
ini_set('memory_limit', '1000M');//自己根据实际调整