php使用curl采集的问题

我采集一个新闻列表,用下面的函数:
                function   get_contents($url){
                                $ch   =   curl_init();          
                                curl_setopt   ($ch,   CURLOPT_URL,   $url);          
                                curl_setopt   ($ch,   CURLOPT_RETURNTRANSFER,   1);
                                curl_setopt   ($ch,   CURLOPT_TIMEOUT,   1000);  
                                $file_contents   =   curl_exec($ch);           数据挖掘论坛
                                curl_close($ch);
                                return   $file_contents;
                }

页面是这样的,一个页面列表,列表里面有100个连接,我首先获取100个连接,然后再根据这些连接去获取连接页面的内容,但是会出现每隔10个连接就有一个内容获取不到,而且每次采集缺失的页面都不同。
这100个连接都能用正则表达式取出,但是用get_contents()这个函数取获取的时候,就会出现上面说的问题,而用ie直接访问这些连接又是正常的。
同一个函数,采集某个连接没问题,但是采集另外的连接就出问题;同一个函数,同一个连接,这个时间采集出问题,另一个时间采集却没问题。。
郁闷阿~~都不知道问题出在哪里,麻烦各位指点一下,谢谢了。  

关注下..

可能对方服务器限制了你的部分连接了,应该是对方服务器每IP最大请求数给限制了。个人观点。

Create By Any-Extract(WL-AE)

数据挖掘论坛

[数据挖掘专家] [数据挖掘研究院] [数据挖掘论坛] [数据挖掘实验室]
上一篇:求代码
下一篇:有谁知道php如何获取单选按钮的值和复选框所在行的记录?
最新评论共有 0 位网友发表了评论 , 查看所有评论
发表评论( 不能超过250字,需审核,请自觉遵守互联网相关政策法规。 )
匿名?
数据挖掘网站导航 数据挖掘论坛导航
  • 数据挖掘工具
  • 数据挖掘论坛
  • DataCruncher - Cognos
  • MineSet - MathSoft
  • Intelligent Miner - GainSmarts
  • Sqlserver - SAS - Clementine
  • CART - Weka - WizSoft
  • NeuroShell - ModelQuest
  • data mining tools - Darwin
  • 数据挖掘交友
  • 数据挖掘博客
  • 数据挖掘工具
  • 数据挖掘资源
  • 数据挖掘技术算法
  • 数据挖掘相关期刊、会议
  • 研究院联盟合作专区
  • 数据挖掘基础与相关技术
  • 数据挖掘厂商与就业
  • 数据挖掘研究者乐园
  • 知名厂商数据挖掘工具资料
  • 国内数据挖掘实验室
  • Foreign Data Mining Lab
  • 热点关注
  • 揭秘成为最牛程序员的五大要诀
  • MYSQL错误:Illegal mix of collations (lat
  • PHP程序不适用大型系统的九大原因
  • 上海酒店公寓,上海短租公寓,上海短租房,上
  • 安装php5.2.5和mysql5.045后phpmyadmin报错
  • 福利彩票幸运号码自动生成器
  • 关于APACHE的配置文件httpd.conf
  • 国际:身处两难境地,PHP 该走向何方?
  • PHP跳转的方法?
  • 函式:preg_match_all()
  • 论坛最新话题
  • Foundations of Statistical Natural Langu
  • Game Theory meet Data Mining: A Recent P
  • System Building: How does it help or hin
  • 数据挖掘与Clementine培训
  • 新手报到
  • 求 SASEM 客户流失预测分析
  • 数据挖掘工程师/搜索研究院—北京——无线
  • 数据挖掘入门介绍(如何着手数据挖掘)
  • Information Overload Survey Results
  • The INEX 2005 Workshop on Element Retrie
  • 相关资讯
  • Module mod_log_config
  • 圣殿骑兵PHP 2007年Web开发技术预言 (四)
  • 圣殿骑兵PHP 2007年Web开发技术预言 (三)
  • 圣殿骑兵PHP 2007年Web开发技术预言 (二)
  • 圣殿骑兵PHP 2007年Web开发技术预言 (一)
  • 一棵php的类树(支持无限分类)
  • 通过对php一些服务器端特性的配置加强php的
  • 如何使用动态共享对象的模式来安装PHP
  • 提升PHP执行速度全攻略(上)
  • phpBBBBcode处理的漏洞
  • 数据挖掘实验室资料
  • 数据挖掘博客地址
  • 数据挖掘实验室网站地址
  • Prepare for Medicare audits by using dat
  • 注册成为SAS用户与爱好者俱乐部会员
  • 水南梅
  • 明日烟
  • 新人报道
  • 下载
  • 厦门服务器托管,450元/月—0592-5177319 高
  • 买空间送域名--0592-5177319 高静