残阳似血的博客

赞！不得不膜拜学弟啊，想想自己一个像样的项目都没有。

怎么感觉你这个评论功能的JS优点问题呢

好厉害~~~~

大概看了下你的例子， 不知道你这个框架除了分布式还有哪些特性，跟scrapy有什么不同

膜拜一下学长。
正在读您的代码，之后尝试着写一些job。

master在多网卡的机器上运行时，好像不能选择在哪块网卡上监听。是不是可以通过修改cola/core/utils.py中的get_ip()来解决？不知道这个问题有没有必要修正？谢谢。

我的印象是，框架只有开发大型软件才用得到。。。

您好，花了两天时间，基本上对Cola的框架有了一些感觉。但是在分布式模式中，当启动了Cola Worker后，终端界面会一直提示在进行RPC调用，根据我的理解，Worker的工作应该是全部后台进行的呀，而我这里启动Worker后，当前终端就无法正常输入其它命令了，请问这是什么原因？

请问Todo中所说的想让Cola支持增量抓取机制具体是指什么？能稍微举例描述一下吗？

“运行js代码和执行ajax请求"

这个应该很难，你想好怎么做了吗？js如何解析，DOM与JS如何交互，考虑过用v8吗，如果用v8,你可能还需要自己实现一个js模块加载的功能。
另外，你打算做到什么程度？
比如，有些js是页面加载完毕执行的，有些是需要触发某些事件才去执行。

大神你好：
试用了一下，感觉框架蛮小巧的，现在出现了以下的问题

1 就是get_ip这块 可以考虑下将这部分放在配置文件里面，之前在centos老是启动不起来，才发现是这个导致。
2 按照wiki上面的说明启动，启动不了
需要加参数--force True
python bin/start_master.py --force True

python bin/start_worker.py --master 127.0.0.1 --force True

到了启动
python bin/coca.py -m 127.0.0.1 -runLocalJob /data/python/tornado/pacong/cola_dd/contrib/wiki
这个的时候老是报错
信息如下
master 127.0.0.1:11103
Pushing job to cola cluster...
ZipFile instance has no attribute '__exit__'
Traceback (most recent call last):
File "bin/coca.py", line 256, in <module>
func(master, *params)
File "bin/coca.py", line 154, in runLocalJob
ZipHandler.compress(zip_file, job_path, type_filters=("pyc", ))
File "/usr/lib/python2.6/site-packages/cola/core/zip.py", line 33, in compress
with zipfile.ZipFile(zip_file, 'w') as zf:
AttributeError: ZipFile instance has no attribute '__exit__'

把zip.py文件中的
with zipfile.ZipFile(zip_file, 'w') as zf:
变成
zf = zipfile.ZipFile(zip_file, 'w')
这个错误没了，后面又有别的错误，
Pushing job to cola cluster...
Push finished.
Start to run job.
<Fault 1: "<type 'exceptions.AttributeError'>:ZipFile instance has no attribute '__exit__'">
Traceback (most recent call last):
File "bin/coca.py", line 257, in <module>
func(master, *params)
File "bin/coca.py", line 163, in runLocalJob
_client_call(master, 'start_job', zip_filename, True, client)
File "bin/coca.py", line 43, in _client_call
return client_call(*args)
File "/usr/lib/python2.6/site-packages/cola/core/rpc.py", line 41, in client_call
return getattr(serv, func_name)(*args)
File "/usr/lib64/python2.6/xmlrpclib.py", line 1199, in __call__
return self.__send(self.__name, args)
File "/usr/lib64/python2.6/xmlrpclib.py", line 1489, in __request
verbose=self.__verbose
File "/usr/lib64/python2.6/xmlrpclib.py", line 1253, in request
return self._parse_response(h.getfile(), sock)
File "/usr/lib64/python2.6/xmlrpclib.py", line 1392, in _parse_response
return u.close()
File "/usr/lib64/python2.6/xmlrpclib.py", line 838, in close
raise Fault(**self._stack[0])
Fault: <Fault 1: "<type 'exceptions.AttributeError'>:ZipFile instance has no attribute '__exit__'">
有点点郁闷，大神能看看是什么问题吗？
环境是centos6.3 系统自带的python 版本python 2.6

可以了，下载了一个 2.7的那个文件 导入到那个文件里面，现在没有报错了。

大神，现在启动某个job的时候报了这个错误
/usr/lib/python2.6/site-packages/data/worker/jobs/wikipedia_crawler/store/lock
192.168.3.167 - - [05/Jul/2013 03:26:21] "POST /RPC2 HTTP/1.0" 200 -
Traceback (most recent call last):
File "/usr/lib/python2.6/site-packages/cola/master/loader.py", line 256, in <module>
client=client, force=force)
File "/usr/lib/python2.6/site-packages/cola/master/loader.py", line 225, in load_job
job_loader.run()
File "/usr/lib/python2.6/site-packages/cola/master/loader.py", line 208, in __exit__
self.finish()
File "/usr/lib/python2.6/site-packages/cola/master/loader.py", line 147, in finish
client_call(rpc_client, 'stop', ignore=True)
File "/usr/lib/python2.6/site-packages/cola/core/rpc.py", line 44, in client_call
return getattr(serv, func_name)(*args)
File "/usr/lib64/python2.6/xmlrpclib.py", line 1199, in __call__
return self.__send(self.__name, args)
File "/usr/lib64/python2.6/xmlrpclib.py", line 1489, in __request
verbose=self.__verbose
File "/usr/lib64/python2.6/xmlrpclib.py", line 1243, in request
headers
xmlrpclib.ProtocolError: <ProtocolError for 192.168.3.167:11303/RPC2: -1 >

11303这个端口没有启动起来，rpc之前没有研究过。是哪里问题导致的呢

good

参考你原来webcrawler的修改了一个爬虫，weibo.cn大规模抓取貌似很容易被封堵，单个账号登陆在100多台机器上抓取，很快就没戏了。不知道怎么解决？weibo.com貌似就好很多。

Hi,我最近也在做Weibo的爬虫，用scrapy做的，相比而言比较简单，分布式也容易实现。
parser部分是参考你的方式，不过是用XPath做的，感觉libxml2的XPath性能也许要好过BeautifulSoup4。

另外，兄台是如何克服目前新浪微博对好友200限制，对微博600限制的呢？

还有查看微博评论的api http://weibo.com/aj/like/big?%s 你是怎么发现的，我很苦逼的解析网页。。。

好吧，很简单的，你能获取到某个人所有的微博么？我发现只能最多看到最近的600条微博。

这个告一段落。。。不过偶尔Json.loads失败。。。这个真心不知道为何了，我看你貌似也没解决。。。只是捕获异常跳过了。

最后打扰。。。 。。。
1、屏蔽的问题，你没遇到过？ 我今天中午抓了半个钟左右，现在没4次才能成功一次了。。。
2、抓粉丝和关注的时候，渣浪自动屏蔽了部分广告用户，这个何解？

好吧。。。 。。。 刚刚发现 渣浪 。。。 改版了！
STK 换成 FM.view了。。。

大神，这个项目让我和我的小伙伴们都惊呆了！
我想问：
1.cola能抓取到起始用户关注和粉丝的关注和粉丝吗？怎么限定搜索深度？
2.单机模式运行weibo,最新版本错误提示：
C:\Python27\cola\cola\core\opener.py:74: UserWarning: gzip transfer encoding is
experimental!
self.browser.set_handle_gzip(True)
login fail
login fail
3.单机模式运行weibo,之前一个版本错误提示：
Exception in thread Thread-3:
Traceback (most recent call last):
File "C:\Python27\lib\threading.py", line 808, in __bootstrap_inner
self.run()
File "C:\Python27\lib\threading.py", line 761, in run
self.__target(*self.__args, **self.__kwargs)
File "C:\Python27\cola\contrib\weibo\cola\worker\loader.py", line 287, in _cal
l
if not self._login(opener):
File "C:\Python27\cola\contrib\weibo\cola\worker\loader.py", line 166, in _log
in
not isinstance(self.ctx.job.login, list):
File "C:\Python27\cola\contrib\weibo\cola\core\config.py", line 40, in __getat
tr__
return [PropertyObject(itm) for itm in attr]
ValueError: dictionary update sequence element #0 has length 1; 2 is required

不错 希望继续完善。。

您好，我运行您的代码，想爬一下weibo，结果出现如下错误，请问是怎么回事儿呢？谢谢
Empty module name
Traceback (most recent call last):
File "coca.py", line 254, in <module>
func(master, *params)
File "coca.py", line 138, in runLocalJob
import_job(job_path)
File "/home/zhutiangang/to/pth/cola/cola/core/utils.py", line 71, in import_job
job_module = __import__(name)
ValueError: Empty module name

楼主：按您说的，单机模式直接运行cola/contrib/weibo下的__init__.py文件， 结果报的这个错，是啥意思啊？刚接触python，不懂

Traceback (most recent call last):
File "D:\cola-master\contrib\weibo\__init__.py", line 30, in <module>
from parsers import MicroBlogParser, ForwardCommentLikeParser,\
File "D:\cola-master\contrib\weibo\parsers.py", line 37, in <module>
from storage import DoesNotExist, Q, WeiboUser, Friend,\
File "D:\cola-master\contrib\weibo\storage.py", line 25, in <module>
from conf import mongo_host, mongo_port, db_name, shard_key
File "D:\cola-master\contrib\weibo\conf.py", line 39, in <module>
shard_key = user_config.job.mongo.shard_key
AttributeError: 'PropertyObject' object has no attribute 'shard_key'

你好，请问你获取用户微博的这些请求的url是怎么得来的？我用firefox23自带的网络开发工具（类似firebug）发现还是比较麻烦的，以获取某用户的微博为例：
初始页面只有5条微博；需要点击“查看更多微博”才能获得15条；之后滑动页面，会有2次加载过程，每次15条，这时的请求url和你这里用的很像，却多了一个“p/” http://weibo.com/p/aj/mblog/mbloglist

还有获取评论的请求，http://weibo.com/aj/comment/small，在哪里有“big”的请求
http://weibo.com/aj/comment/big
还请告知方法，谢谢。

这两天在读cola的代码，还没尝试运行过，不过有个地方我不太明白，请教一下
class MasterJobLoader下的self.stopped是不是尚未初始化就在run函数中使用了？/master/loader.py中整个就两个地方使用了self.stopped.第二处就是finish函数。

此外，对于你设计的class messagequeue，我没太看明白是做什么用的？从名称上看是消息队列，我没看明白，请教。

谢谢

再次请教：1.class messagequeue 用途？
2.core/mq/__init__.py中代码return client_call(node, 'get')似乎没找到对应的get 函数实现？

单机模式下运行，数据有存到mongodb中的吗？怎么我运行的只是写到文件上，数据库中的表是空的。

有些follow打得开，有些follow打不开(get url null)？

Hi，如何解决被封~~~我用5个机器（同一内网下的），300KB/s 一晚上就被封了。。。。。。

你做了特殊的，防封锁处理？

第一次来，我是帕来的

请问一下运行/weibo/__init__.py出现:

File "__init__.py", line 25, in <module>
from cola.core.opener import MechanizeOpener
ImportError: No module named cola.core.opener

是什么情况呢？
我看了一下cola.core.opener这个文件是有的，cola.pth我也加了。
我是在win下运行的。
不好意思，我是开发菜鸟，实在是不太懂。。

不知道性能怎么样

我下载了你的cola 分布式爬虫框架，抓取央视新闻的所有微博，数据库中的微博数目快到200条的时候，程序就会停止，我抓取其他的微博没有发现这个问题，我想咨询一下，这是什么原因造成的，是不是因为我一些设置问题导致的？

内容分享的挺经典，受教了

想请教下，爬取weibo的用户信息怎么没有被存储到文件中啊？

weibosearch运行出来这么个错误：
WARNING: QApplication was not created in the main() thread.
(process:13866): GLib-CRITICAL **: g_main_context_push_thread_default: assertion `acquired_context' failed
[xcb] Unknown request in queue while dequeuing
[xcb] Most likely this is a multi-threaded client and XInitThreads has not been called
[xcb] Aborting, sorry about that.
python: ../../src/xcb_io.c:179: dequeue_pending_request: Assertion `!xcb_xlib_unknown_req_in_deq' failed.
Aborted (core dumped)
PyQT和spynner都已经安装。想请教这是什么原因？

[root@lns ~]# setsid python /usr/cola/bin/start_master.py
[root@lns ~]# Start master at **.**.**.**:11103
Master will run in background. Please do not shut down the terminal.
Traceback (most recent call last):
File "/usr/cola/cola/master/watcher.py", line 334, in <module>
data_path=data_path, force=force) \
File "/usr/cola/cola/master/watcher.py", line 102, in __init__
self.check(force=force)
File "/usr/cola/cola/master/watcher.py", line 127, in check
raise MasterWatcherRunning('There has been a running master watcher.')
__main__.MasterWatcherRunning: There has been a running master watcher.
^C

第一次运行了没报错，但是断网后，我重新连了再启动就报错了版本是2.7.6

在winxp下出现如下情况：
Traceback (most recent call last):
File "C:\to\path\cola\contrib\weibo\__init__.py", line 30, in <module>
from parsers import MicroBlogParser, ForwardCommentLikeParser,\
File "C:\to\path\cola\contrib\weibo\parsers.py", line 37, in <module>
from storage import DoesNotExist, Q, WeiboUser, Friend,\
File "C:\to\path\cola\contrib\weibo\storage.py", line 35, in <module>
raise DependencyNotInstalledError('mongoengine')
DependencyNotInstalledError: Error because lacking of dependency: mongoengine

我mongoengine依赖已经安装了呀

秦版主，您好，最近正在运行您的cola，有以下几个问题请教：
问题1：消息队列会不会有溢出的情况？每次抓取的粉丝和好友列表都会put到mq中去，如果抓取的size足够大，会不会导致错误？我的python很烂，cola中的消息机制看不懂
问题2：timeout错误可能是那些原因导致的？
Traceback (most recent call last):
File "C:\Users\Administrator\Desktop\cola\cola\worker\loader.py", line 384, in _execute_bundle
**options).parse(temp_user,XMLDoc=XMLDoc)
File "C:\Users\Administrator\Desktop\cola\contrib\weibo\parsers.py", line 108, in parse
br = self.opener.browse_open(url)
File "C:\Users\Administrator\Desktop\cola\cola\core\opener.py", line 100, in browse_open
self.browser.open(url, data=data, timeout=timeout)
File "build\bdist.win32\egg\mechanize\_mechanize.py", line 203, in open
return self._mech_open(url, data, timeout=timeout)
File "build\bdist.win32\egg\mechanize\_mechanize.py", line 230, in _mech_open
response = UserAgentBase.open(self, request, data)
File "build\bdist.win32\egg\mechanize\_opener.py", line 204, in open
response = meth(req, response)
File "build\bdist.win32\egg\mechanize\_gzip.py", line 102, in http_response
return stupid_gzip_wrapper(response)
File "build\bdist.win32\egg\mechanize\_gzip.py", line 76, in __init__
gzc.feed(response.read())
File "D:\Python27\lib\socket.py", line 351, in read
data = self._sock.recv(rbufsize)
File "D:\Python27\lib\httplib.py", line 543, in read
return self._read_chunked(amt)
File "D:\Python27\lib\httplib.py", line 612, in _read_chunked
value.append(self._safe_read(chunk_left))
File "D:\Python27\lib\httplib.py", line 658, in _safe_read
chunk = self.fp.read(min(amt, MAXAMOUNT))
File "D:\Python27\lib\socket.py", line 380, in read
data = self._sock.recv(left)
timeout: timed out
问题3：大量AttributeError：
raceback (most recent call last):
File "F:\cola\cola\worker\loader.py", line 385, in _execute_bundle
**options).parse(temp_user,XMLDoc=XMLDoc)
File "F:\cola\contrib\weibo\parsers.py", line 431, in parse
raise e
AttributeError: 'NoneType' object has no attribute 'get'

秦版主，您好，运行您的程序时出现如下问题，请指教：
2014-01-09 21:09:01,348 - loader.complete.182 - INFO - Finish 1743791127
2014-01-10 04:36:45,456 - loader._execute_bundle.419 - ERROR - Error when fetch url: http://weibo.com/aj/mblog/mbloglist?uid=1565440297&_k=1389299804380000
2014-01-10 04:36:45,471 - loader._log_error.253 - ERROR - Error when get bundle: 1565440297
2014-01-10 04:36:45,471 - loader._log_error.254 - ERROR - No JSON object could be decoded
Traceback (most recent call last):
File "C:\Users\Administrator\Desktop\cola\cola\worker\loader.py", line 397, in _execute_bundle
**options).parse(temp_user,XMLDoc=XMLDoc)
File "C:\Users\Administrator\Desktop\cola\contrib\weibo\parsers.py", line 151, in parse
data = json.loads(br.response().read())['data']
File "C:\Python27\lib\json\__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "C:\Python27\lib\json\decoder.py", line 365, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Python27\lib\json\decoder.py", line 383, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded
可以看到，程序中途停了七个多小时，这是什么原因呢，然后抓取每个人的微博时都会出现此错误，是因为cookie过期导致的么？

还有一个问题，我发现不是所有人的微博都能完全拿到，我盯了一下，对于某些人，爬去一部分后就打印finish转向另外目标了，可完成页数没有规则，也没有任何报错，这种情况在爬取一些大V（微博数数千甚至数万）的时候比较频繁，但是对于微博数较少的用户也不是不会发生，这是什么原因呢?,我重现这个问题时，发现导致抓取该用户停止的最后一次请求返回了没有微博数据导致解析到的divs为空（divs = soup.find_all('div', attrs={'class': 'WB_feed_type'}, mid=True)）从而使if len(divs) == 0 or finished：条件为真，返回了空地址使程序认为该人已经爬取完成，打印出来的返回数据为：
<!-- 高级搜索 -->
<!-- /高级搜索 -->

<!-- 微博列表 -->

<!-- /微博列表 -->
<!-- 分页 -->
<div node-type="feed_list_page" class="W_pages">
<a action-type="feed_list_page_pre" action-data="page=4" href="http://weibo.com/charlesxue?page=4"
class="W_btn_c"><span>上一页</span></a>
<span class="list">
<div action-type="feed_list_page_morelist" class="W_pages_layer" style="display: none">
<a action-type="feed_list_page_n" action-data="page=5" href="http://weibo.com/charlesxue?page=5"
class="page current" >第&nbsp;5&nbsp;页</a>
<a action-type="feed_list_page_n" action-data="page=4" href="http://weibo.com/charlesxue?page=4"
>第&nbsp;4&nbsp;页</a>
<a action-type="feed_list_page_n" action-data="page=3" href="http://weibo.com/charlesxue?page=3"
>第&nbsp;3&nbsp;页</a>
<a action-type="feed_list_page_n" action-data="page=2" href="http://weibo.com/charlesxue?page=2"
>第&nbsp;2&nbsp;页</a>
<a action-type="feed_list_page_n" action-data="page=1" href="http://weibo.com/charlesxue?page=1"
>第&nbsp;1&nbsp;页</a>
</div>
<a action-type="feed_list_page_more" action-data="currentPage=5&countPage=5" href="javascript:void(0)" class="W_moredown"><span class="txt">第&nbsp;5&nbsp;页</span><em class="W_arrow"><em class="down">◆</em></em></a>
</span>
</div>
<!-- /分页 -->

只用Python写过一个简单的采集器，我认为采集器只需负责极简单的网页打开功能即可，需要二次解析的任务可以重新发布任务到采集端。
所以这个集群是不是要有几个独立模块：
1、采集器
2、代理IP库
3、结果库
4、解析规则库
5、任务发布器

欢迎探讨。

cola这个分布式爬虫我很喜欢，我仔细看了看源码。但是有一些疑惑，希望您能基于解答。
你在github上这样说：
在一个Cola Job启动时，会启动一个消息队列（Message Queue，主要操作是put和get，worker抓取到的对象会被put到队列中，而要抓取新的对象时，只要从队列中取即可），每个JobWorker上都存在消息队列节点，同时会有一个去重模块（bloom filter实现）。

我在源码中也发现 Message Queue 是每个 jobWorker上都初始化一个， 并且都会有一个file bloom filter。

我的疑惑：
这样会不会造成 去重不完全呢？ 即在每个jobWorker上都是去重的，但是整个job会出现重复下载的情况。


说明：我对FileBoomFilter 不是太懂，但是每个jobWorker 维护自己的boolm文件，我感觉会出现我上面说的问题

单机模式下，运行一段时间后，mongodb中的数据总数一直是这样。
> db.weibo_user.count()
108
> db.micro_blog.count()
136162

控制台最后出现以下信息：
get 2688036242 url: http://weibo.com/2688036242/follow
Error when fetch url: http://weibo.com/2688036242/follow
Error when get bundle: 2688036242
HTTP Error 302: The HTTP server returned a redirect error that would lead to an infinite loop.
The last 30x error message was:
Moved Temporarily
Traceback (most recent call last):
File "/Users/linus/Documents/cola-master/cola/worker/loader.py", line 229, in _execute_bundle
**options).parse()
File "/Users/linus/Documents/cola-master/contrib/weibo/parsers.py", line 512, in parse
return self._error(url, e)
File "/Users/linus/Documents/cola-master/contrib/weibo/parsers.py", line 91, in _error
raise e
httperror_seek_wrapper: HTTP Error 302: The HTTP server returned a redirect error that would lead to an infinite loop.
The last 30x error message was:
Moved Temporarily
Finish 2688036242
start to get 1889511787
Finish visiting pages count: 96
Finish visiting pages count: 96
然后程序就终结了，这个是怎么回事？望指导
之前发到另外一个帖子里去了。。。

今天突然出现的错误，换了账号还是不行，求大神解决
C:\Python27\Lib\site-packages\cola\contrib\weibo>python __init__.py
C:\Python27\Lib\site-packages\cola\cola\core\opener.py:74: UserWarning: gzip tra
nsfer encoding is experimental!
self.browser.set_handle_gzip(True)
Exception in thread Thread-2:
Traceback (most recent call last):
File "C:\Python27\lib\threading.py", line 810, in __bootstrap_inner
self.run()
File "C:\Python27\lib\threading.py", line 763, in run
self.__target(*self.__args, **self.__kwargs)
File "C:\Python27\Lib\site-packages\cola\cola\worker\loader.py", line 314, in
_call
if not self._login(opener):
File "C:\Python27\Lib\site-packages\cola\cola\worker\loader.py", line 188, in
_login
login_result = self.job.login_hook(opener, **kw)
File "C:\Python27\Lib\site-packages\cola\contrib\weibo\__init__.py", line 40,
in login_hook
return loginer.login()
File "C:\Python27\Lib\site-packages\cola\contrib\weibo\login.py", line 100, in
login
json_data = json.loads(regex.search(text).group(1))
File "C:\Python27\lib\json\__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "C:\Python27\lib\json\decoder.py", line 368, in decode
raise ValueError(errmsg("Extra data", s, end, len(s)))
ValueError: Extra data: line 1 column 105 - line 1 column 420 (char 104 - 419)

Finish visiting pages count: 0
Finish visiting pages count: 0

建议博主建一个cola的交流群，大家可以一起交流交流cola的使用心得。

抓数据过程中会出现微博扒不全的情况
1W1千条，4000多条只扒了2000就finish了
非网络问题
但有扒完6000条的情况
求解释

还有就是建议改一改扒info的爬虫
有些明星的sina微博已经没了info页面，改成百度人物资料，再扒info会出现error

博主你好，cola这个框架有几点不太明白。麻烦请教您一下。
第一：
在节点上启用start_worker的时候输入master的IP和端口。这个端口到底是配置文件的哪个端口？我试着输入master_port和port结果都连接失败
终端显示:
Exception in thread Thread-2:
Traceback (most recent call last):
File "/usr/lib/python2.7/threading.py", line 810, in __bootstrap_inner
self.run()
File "/usr/lib/python2.7/threading.py", line 763, in run
self.__target(*self.__args, **self.__kwargs)
File "/usr/lib/python2.7/dist-packages/cola/worker/watcher.py", line 141, in _start
self.register_heartbeat()
File "/usr/lib/python2.7/dist-packages/cola/worker/watcher.py", line 106, in register_heartbeat
client_call(self.master, 'register_heartbeat', self.node)
File "/usr/lib/python2.7/dist-packages/cola/core/rpc.py", line 50, in client_call
raise err
error: [Errno 111] Connection refused

第二个问题。运行wiki这个用例的时候。有些页面经常访问后经常抛出这个异常：
'NoneType' object has no attribute 'text'
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/cola/worker/loader.py", line 258, in _execute_url
next_urls = parser_cls(opener, obj, logger=self.logger, **options).parse()
File "/usr/local/lib/python2.7/dist-packages/data/jobs/wiki/__init__.py", line 132, in parse
title, content, last_update = self._extract(soup)
File "/usr/local/lib/python2.7/dist-packages/data/jobs/wiki/__init__.py", line 105, in _extract
last_update_str = soup.find('li', attrs={'id': 'footer-info-lastmod'}).text
AttributeError: 'NoneType' object has no attribute 'text'
然后程序经常访问10-20个页面后就停止运行。


我是初学者，希望用cola抓取一些数据做其他处理。问题可能比较低级。希望您能指点一下

你的新浪微博爬虫很有意思。
你知道2个P2P的微博平台吗？一个是http://twister.net.co/ , 另一个是vole.cc
我认为只有P2P的微博才能解决现在新浪微博的一些问题。
但这2个P2P的微博平台上面的用户人数很少。因为大家观注的大V，明星，知识分子还都在新浪微博上面，所以“网络效应”导致用P2P微博的人很少。
如果结合你的新浪微博爬虫，使P2P微博平台上面的各种贴子多起来，使仅用P2P微博平台也可以让大家看到他们所关注的人与消息，那就可以改变这一“网络效应”，使P2P微博平台的用户慢慢增加起来。不知你对此有何看法？有无兴趣？

这2个P2P微博是去中心化的，无中心服务器的。抗审查、抗删贴、消息加密、用户身份无需实名登记，且可都是用假名。没人能够把它关掉。因无中心服务器，所以也不存在服务器上的用户名密码被黑客盗取的可能。http://twister.net.co/ 中的FAQ上面有更详细的介绍

有的人捐款给红十字会，捐款给壹基金，认为这是在做慈善。有的人休息天去做义工，去帮助孤老。认为这是在做慈善。我认为，从自己最了解的行业开始做。因为这样的慈善是别人所做不了的，只有你才能做。我认为，支持投入投身于P2P技术也是一种对世界的慈善。它可以让世界更加扁平化，运作的效率更加高。p图p技术，可以削弱金字塔高层，极权的力量，就是对底层劳苦大众的一种慈善。

你好，在测试的时候出现这个问题。。。 是怎么回事？
spark@spark01:~/cola/tests/contrib$ python test_weibo.py
/home/spark/cola/cola/core/opener.py:74: UserWarning: gzip transfer encoding is experimental!
self.browser.set_handle_gzip(True)
EEEEEEE
======================================================================
ERROR: testFriendParser (__main__.Test)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_weibo.py", line 27, in setUp
self.conn = Connection()
File "/usr/local/lib/python2.7/dist-packages/pymongo/connection.py", line 236, in __init__
max_pool_size, document_class, tz_aware, _connect, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 366, in __init__
raise ConnectionFailure(str(e))
ConnectionFailure: [Errno 111] Connection refused

======================================================================
ERROR: testMicroBlogForwardTimeParser (__main__.Test)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_weibo.py", line 27, in setUp
self.conn = Connection()
File "/usr/local/lib/python2.7/dist-packages/pymongo/connection.py", line 236, in __init__
max_pool_size, document_class, tz_aware, _connect, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 366, in __init__
raise ConnectionFailure(str(e))
ConnectionFailure: [Errno 111] Connection refused

======================================================================
ERROR: testMicroBlogForwardsParser (__main__.Test)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_weibo.py", line 27, in setUp
self.conn = Connection()
File "/usr/local/lib/python2.7/dist-packages/pymongo/connection.py", line 236, in __init__
max_pool_size, document_class, tz_aware, _connect, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 366, in __init__
raise ConnectionFailure(str(e))
ConnectionFailure: [Errno 111] Connection refused

======================================================================
ERROR: testMicroBlogLikesParser (__main__.Test)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_weibo.py", line 27, in setUp
self.conn = Connection()
File "/usr/local/lib/python2.7/dist-packages/pymongo/connection.py", line 236, in __init__
max_pool_size, document_class, tz_aware, _connect, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 366, in __init__
raise ConnectionFailure(str(e))
ConnectionFailure: [Errno 111] Connection refused

======================================================================
ERROR: testMicroBlogParser (__main__.Test)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_weibo.py", line 27, in setUp
self.conn = Connection()
File "/usr/local/lib/python2.7/dist-packages/pymongo/connection.py", line 236, in __init__
max_pool_size, document_class, tz_aware, _connect, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 366, in __init__
raise ConnectionFailure(str(e))
ConnectionFailure: [Errno 111] Connection refused

======================================================================
ERROR: testUserInfoParser (__main__.Test)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_weibo.py", line 27, in setUp
self.conn = Connection()
File "/usr/local/lib/python2.7/dist-packages/pymongo/connection.py", line 236, in __init__
max_pool_size, document_class, tz_aware, _connect, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 366, in __init__
raise ConnectionFailure(str(e))
ConnectionFailure: [Errno 111] Connection refused

======================================================================
ERROR: testUserInfoParserForSite (__main__.Test)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_weibo.py", line 27, in setUp
self.conn = Connection()
File "/usr/local/lib/python2.7/dist-packages/pymongo/connection.py", line 236, in __init__
max_pool_size, document_class, tz_aware, _connect, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 366, in __init__
raise ConnectionFailure(str(e))
ConnectionFailure: [Errno 111] Connection refused

----------------------------------------------------------------------
Ran 7 tests in 0.112s

FAILED (errors=7)

您好，我最这几天断断续续用cola爬了大概2400多个微博用户，单机模式，只爬了用户关系没有爬微博，结果被封的厉害，最多爬三四百个用户后账户就被封了，需要手机验证，昨天晚上连手机验证都不行了，直接被封了，恢复账号需要写申诉……
想问一下您爬的时候被封的情况怎么样，有什么避免被封的办法吗，十分感谢！

Traceback (most recent call last):
File "./__init__.py", line 56, in <module>
load_job(os.path.dirname(os.path.abspath(__file__)))
File "/to/pth/cola/cola/worker/loader.py", line 417, in load_job
job_loader.run()
File "/to/pth/cola/cola/worker/loader.py", line 345, in run
self.mq.put(self.job.starts)
File "/to/pth/cola/cola/core/mq/__init__.py", line 121, in put
self._put(k, v, force=force)
File "/to/pth/cola/cola/core/mq/__init__.py", line 71, in _put
self.local_store.put(objs, force=force)
File "/to/pth/cola/cola/core/mq/node.py", line 157, in put
m = mmap.mmap(fp.fileno(), self.NODE_FILE_SIZE)
ValueError: mmap length is greater than file size

大神求指导报以上错误是什么原因？ 我的单机模式下运行的

你好，首先特别非常非常感谢你的分享，让我这个初学者对爬虫有了一个整体的认识~
然后…想问你几个问题，我仔细看了几天也没出结果，后续毕设时间又太紧，所以不得不麻烦你了，也十分希望你能抽空回答，拜托拜托~~
因为我做的东西需要抓取同一个地区，同一个时间段，尽可能多的微博，所以我在想办法改代码。
目前抓取同一个时间段的代码我写了，就是在contrib\weibo的parsers.py中，对mblog.created存储前先做一个判断，符合时间要求的才存入，否则退出解析（……这个思路是对的吧？）
然后抓取同一个地区，在我看来，这个系统工作的原理是：先抓取指定初始用户的关注列表、粉丝列表，其中的每一个用户都视作一个bundle，然后在抓取完初始用户的所有微博正文、个人信息等后，从队列中选取下一个bundle重复如上步骤。
所以我如果需要只抓取指定地区的微博，只要在存入初始用户朋友的bundle时加以判断，那么就可以确保我的bundle队列是符合要求的。
我的代码如下（同样在parsers.py，在UserFriendParser中）：
for li in ul.find_all(attrs={'class': 'S_line1', 'action-type': 'itemClick'}):
data = dict([l.split('=') for l in li['action-data'].split('&')])
friend = Friend()
friend.uid = data['uid']
friend.nickname = data['fnick']
friend.sex = True if data['sex'] == u'm' else False
#
#我增加的代码，用于解析好友信息后紧接着的地址信息
　　#
locationok = False #locationok标记该好友所在地是否符合要求
span = ul.find(attrs={'class': 'addr'}) #找到地址标记
for j in span.stripped_strings:
friend.location = repr(j) #解析所在地
if friend.location == "u'\u6c5f\u82cf \u5357\u4eac'":
　　#这里为了方便，把我需要的“江苏 南京”也转换成了Unicode进行比较
locationok = True
break
if locationok: #新增这个判断，只有所在地是江苏南京，才存入队列
bundles.append(WeiboUserBundle(str(friend.uid)))
if is_follow:
weibo_user.follows.append(friend)
else:
weibo_user.fans.append(friend)
weibo_user.save()
但现在出现的问题是，我对初始的一个南京用户进行抓取，系统先抓取了他的粉丝列表中第一次出现的南京用户，放入了队列，然后接下来的用户就是顺序抓取，不分地区了。一开始我以为是我的解析写的有问题（当然现在可能也不排除这可能），但后面发现，导出来的关注、粉丝列表也并不完全是这样，越往后似乎越混乱……
所以我特别想知道，是不是我对你的系统思路理解还存在比较大偏差，还是就是我的解析代码没写好？
感谢你能耐心看完，期待你的回复~~~！

Hello, im new to python and data mining but while trying to attempt to use this, Im currently using a Mac oxs. And when I run the Cola wiki I keep getting
Traceback (most recent call last):
File "__init__.py", line 28, in <module>
from cola.core.urls import UrlPatterns, Url
ImportError: No module named cola.core.urls

I stored my cola-master folder in the site-packages path.

my current path is

PATH="${PATH}:/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/cola-master/cola/core/"
export PATH

PYTHONPATH="${PYTHONPATH}:/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/cola-master/cola/core/"
export PYTHONPATH

What am I doing wrong that it wont crawl Wikipedia? Thanks

你好！费劲千辛万苦终于装好MongoDB后，运行contrib -> weibo -> _init_.py,然而程序却报错，整个屏幕都是红色的...不知道是我哪里没弄好，第一次使用MongoDB...希望能得到您的指点！以下是Python shell返回的红色的错误：
Warning (from warnings module):
File "F:\python\crawler\cola-master\cola\core\opener.py", line 74
self.browser.set_handle_gzip(True)
UserWarning: gzip transfer encoding is experimental!
start to get 3211200050
get 3211200050 url: http://weibo.com/3211200050/follow
get 3211200050 url: http://weibo.com/3211200050/follow
get 3211200050 url: http://weibo.com/3211200050/follow
start to get 1898353550
get 1898353550 url: http://weibo.com/1898353550/follow
get 3211200050 url: http://weibo.com/3211200050/follow
get 1898353550 url: http://weibo.com/1898353550/follow
get 3211200050 url: http://weibo.com/3211200050/follow
start to get None
start to get None
start to get None
start to get None
start to get None
.
.
.

<script>alert(’hello’)</script>

您的程序爬取出来的数据有两个表，weibo_user和micro_blog，weibo_user这个只有用户ID和用户昵称这两个属性，我需要获取用户粉丝数、关注数、微博数、性别等更详细的属性，看到您的storage.py中都有定义相关类，不知道是否能爬取这些属性数据？在哪里修改代码？（我是初学爬虫技术，想做数据分析学习，还望秦大哥见谅，谢谢！）

你好，请问如果不想使用mongodb而想使用mysql的话需要改那些地方啊，代码大部分没注释看的有点乱。。。。

我怎么都无法取消不用输验证码，根本就抓不到

问题已经解决，谢谢！

前几天看新浪的doc时候发现他有一个anti-crwaler department.
博主怎么看。

Error when fetch url: http://weibo.com/3216506120/follow
Error when get bundle: 3216506120
'NoneType' object has no attribute 'find'
Traceback (most recent call last):
File "D:\cola-master\cola\worker\loader.py", line 229, in _execute_bundle
**options).parse()
File "D:\cola-master\contrib\weibo\parsers.py", line 559, in parse
return self._error(url, e)
File "D:\cola-master\contrib\weibo\parsers.py", line 91, in _error
raise e
AttributeError: 'NoneType' object has no attribute 'find'

楼主，帮忙看看这个是被封了么？才跑了没几分钟呢。 自己手动点击了下这个链接，还得让输入验证码。
http://weibo.com/3216506120/follow

您好，麻烦问一下
我调用你在opener.py写的SpynnerOpener类时，提示 WARNING: QApplication was not created in the main() thread. 我了解到因为Qt目前是不支持在其他线程中进行界面类操作，需要判断界面应用程序是否在主线程中创建。
那么请问这个类应该怎样调用，需要修改那些参数，谢谢了~

大神，您好。我用你的程序爬虫，发现不到两个小时就被封号了，不知道您有没有解决的方法没有。

还有其他分布式的爬虫实现么？

你好，因为数据要求，不需要用户信息，只要微博相关信息，怎么修改代码能让爬虫略过用户信息，只保存微博信息（这样好像也可以减少被封的概率）。
parsers.py storage.py这两个改改就可以了吗？（挺想做成配置式的）

这几天用了博主的cola爬了下微博数据，感觉还是很棒的，修改了几处就比较稳定了，比如添加了发送请求之间的时间间隔，配置文件里的哪个limit好像用途不大。只是发现一个问题，有时候在用户粉丝或者关注列表中获取用户ID的时候有可能会获取到"uid" : "1022:100808fb097329ad32dfa1f7a32a935d27071d"这样无意义的ID，从而导致爬到这个用户的时候会404，我大规模爬过几次，基本都以账号异常为终，我估计是爬到这样的用户时就会产生一些错误。
最后，那个user_info相关的解析已经没用了，好在我只要微博内容数据，还是感谢楼主的辛勤工作和开源的精神！

又来留个言把，由于还不太会github，就在这把我做的一些改动提给博主吧，希望能对以后的修改有帮助。
1.新浪微博官方反爬好像是根据请求时间间隔（或者叫单位时间内的请求次数），直接拿github上下的程序跑的话不到10分钟就会被异常，所以我改了_execute_bundle函数中每次urls遍历后的时间间隔，我测试了几个时间，发现1s-2s比较稳定，连续爬了24小时，没有被异常（当然效率就低了）
2.上次留言提的，有的userid很奇怪是个无意义的很长的字符串，有时候运气不好，队列中连着好几个都是这样的，看了代码的错误机制，是连续错误5次就退出程序，所以如果偶尔遇到一次这样的ID不会出问题，但连续出错就影响工作了，我目前是指标不治本，单纯的在拿job的时候，判断了job的长度，如果超过12（我看到大部分新浪微博ID为10位数）就直接continue掉本次循环
3.经过多次爬虫发现最后都会以封号为终，后来总算发现是因为有一些目标用户是异常用户，而parsers.py中check函数仅仅判断了目标用户不存在，对于异常用户，parser无法解析，于是就连续不断的发请求，再配合没有设置异常之后的时间间隔，就会造成连续发送请求的情况，最后就封号了，所以我直接把check函数中的那句判断用户不存在的改成了if dest_url.startswith('http://weibo.com/sorry'): 这样就包含了多种情况。
4.当前的爬虫是爬取用户的所有微博，也爬取所有关注和粉丝，那如果遇到大V或者明星，就会造成疯狂的读取一个用户的信息，我发现过分读取用户粉丝和关注就会造成系统怀疑封号，因为只想获取用户微博内容，所以我设置了关注页数和粉丝页数都只获取2页，从概率角度讲应该影响不大，同时为了限制获取微博的数量，我加了日期范围判断，比如我只要最近一周的，一旦遇到一条一周前的，就直接停止这个用户的分析，继续队列。

以上就是我用了几天的一些改动和想法，其中一些可以作为配置加进去，可惜我为了拿到实验数据本打算用java实现，当看到博主的爬虫已经很完善了，才开始学习的python，简直就是菜鸟，无法去科学的完善代码，希望对大家有帮助，也相信cola以后肯定会完善，感谢博主。

系统非常稳定．抓取了几十个用户的微博．非常感谢。

但是，不知道怎么才能让ｃｏｌａ继续抓取这些用户后来添加的新微博内容。现在，好像ｃｏｌａ抓取完成后，就会反复提示“no budget left to process”,不会抓取新增加的微博内容．即使关掉ｃｏｌａ，重新再运行，也还是这样。

你好，还想问一下这个系统能抓取到新浪微博用户的基本信息及其粉丝列表和关注列表以及微博内容吗？？最近做一项目，需要获取新浪微博用户的基本信息以及其的关注列表和粉丝列表和微博内容，搞了好久都没搞出来，看到这个cola,感觉看到了希望，望作者尽快回复一下。。。谢谢！！！

没能搞清楚到底应该怎么用！！！！刚接触Python，github也不懂，希望各位大神帮忙指导指导！！！

博主，能稳定爬取新浪微博的时间间隔限制是多少？（我用develop版本的）之前没有限制被永久封了账号。谢谢！

你好：想用你写的这个cola抓写实验数据，但是发现运行是出现如下错误：
E:\Software\Experiment\cola\contrib\weibo>python __init__.py
E:\Software\Experiment\cola\cola\core\opener.py:74: UserWarning: gzip transfer encoding is experimental!
self.browser.set_handle_gzip(True)
Exception in thread Thread-2:
Traceback (most recent call last):
File "C:\Python27\lib\threading.py", line 810, in __bootstrap_inner
self.run()
File "C:\Python27\lib\threading.py", line 763, in run
self.__target(*self.__args, **self.__kwargs)
File "E:\Software\Experiment\cola\cola\worker\loader.py", line 314, in _call
if not self._login(opener):
File "E:\Software\Experiment\cola\cola\worker\loader.py", line 188, in _login
login_result = self.job.login_hook(opener, **kw)
File "E:\Software\Experiment\cola\contrib\weibo\__init__.py", line 40, in login_hook
return loginer.login()
File "E:\Software\Experiment\cola\contrib\weibo\login.py", line 107, in login
json_data = json.loads(regex.search(text).group(1))
File "C:\Python27\lib\json\__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "C:\Python27\lib\json\decoder.py", line 365, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Python27\lib\json\decoder.py", line 383, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

Exception in thread Thread-3:
Traceback (most recent call last):
File "C:\Python27\lib\threading.py", line 810, in __bootstrap_inner
self.run()
File "C:\Python27\lib\threading.py", line 763, in run
self.__target(*self.__args, **self.__kwargs)
File "E:\Software\Experiment\cola\cola\worker\loader.py", line 314, in _call
if not self._login(opener):
File "E:\Software\Experiment\cola\cola\worker\loader.py", line 188, in _login
login_result = self.job.login_hook(opener, **kw)
File "E:\Software\Experiment\cola\contrib\weibo\__init__.py", line 40, in login_hook
return loginer.login()
File "E:\Software\Experiment\cola\contrib\weibo\login.py", line 107, in login
json_data = json.loads(regex.search(text).group(1))
File "C:\Python27\lib\json\__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "C:\Python27\lib\json\decoder.py", line 365, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Python27\lib\json\decoder.py", line 383, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

Finish visiting pages count: 0
Finish visiting pages count: 0
没办法解决，请你帮忙看一下，谢谢

博主，您好。很希望您回复。
在集群中，使用stopRunningJobByName时出现了如下的错误：
File "xxxx/core/rpc.py", line 48, in client_call
return getattr(serv, func_name)(*args)
File "/usr/lib/python2.7/xmlrpclib.py", line 1224, in __call__
return self.__send(self.__name, args)
File "/usr/lib/python2.7/xmlrpclib.py", line 1578, in __request
verbose=self.__verbose
File "/usr/lib/python2.7/xmlrpclib.py", line 1264, in request
return self.single_request(host, handler, request_body, verbose)
File "/usr/lib/python2.7/xmlrpclib.py", line 1297, in single_request
return self.parse_response(response)
File "/usr/lib/python2.7/xmlrpclib.py", line 1473, in parse_response
return u.close()
File "/usr/lib/python2.7/xmlrpclib.py", line 793, in close
raise Fault(**self._stack[0])
Fault: <Fault 1: "<type 'exceptions.IndexError'>:mmap slice assignment must be a string">

后来多试几次，发现在不同地方client_call也许都会出现这种错误。望您帮忙看看，谢谢。

博主，您好，能否回复下。
单机模式，爬新浪微博，但是遇见下面问题，望能给予帮助。
C:\Python27\lib\site-packages\cola\core\opener.py:74: UserWarning: gzip transfer encoding is experimental!
self.browser.set_handle_gzip(True)
Exception in thread Thread-3:
Traceback (most recent call last):
File "C:\Python27\lib\threading.py", line 810, in __bootstrap_inner
self.run()
File "C:\Python27\lib\threading.py", line 763, in run
self.__target(*self.__args, **self.__kwargs)
File "C:\Python27\lib\site-packages\cola\worker\loader.py", line 314, in _call
if not self._login(opener):
File "C:\Python27\lib\site-packages\cola\worker\loader.py", line 188, in _login
login_result = self.job.login_hook(opener, **kw)
File "C:\Python27\Lib\site-packages\cola-master\contrib\weibo\__init__.py", line 41, in login_hook
return loginer.login()
File "C:\Python27\Lib\site-packages\cola-master\contrib\weibo\login.py", line 107, in login
json_data = json.loads(regex.search(text).group(1))
File "C:\Python27\lib\json\__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "C:\Python27\lib\json\decoder.py", line 366, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Python27\lib\json\decoder.py", line 384, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

Exception in thread Thread-2:
Traceback (most recent call last):
File "C:\Python27\lib\threading.py", line 810, in __bootstrap_inner
self.run()
File "C:\Python27\lib\threading.py", line 763, in run
self.__target(*self.__args, **self.__kwargs)
File "C:\Python27\lib\site-packages\cola\worker\loader.py", line 314, in _call
if not self._login(opener):
File "C:\Python27\lib\site-packages\cola\worker\loader.py", line 188, in _login
login_result = self.job.login_hook(opener, **kw)
File "C:\Python27\Lib\site-packages\cola-master\contrib\weibo\__init__.py", line 41, in login_hook
return loginer.login()
File "C:\Python27\Lib\site-packages\cola-master\contrib\weibo\login.py", line 107, in login
json_data = json.loads(regex.search(text).group(1))
File "C:\Python27\lib\json\__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "C:\Python27\lib\json\decoder.py", line 366, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Python27\lib\json\decoder.py", line 384, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

Finish visiting pages count: 0
Finish visiting pages count: 0

Mac下跑单机版weibo爬取程序，CPU占用率非常高，一般在130%，造成散热孔极热。
应该是有速度限制时调用sleep函数造成的？

博主，请问下，wiki上如何获取url的，我现在仿照wiki自己写了一个抓取的demo，进不了parser，打印发现获取不到url，是为什么，急切想知道原因，先谢谢了

您好！谢谢您让我知道Cola这个好东西，但是最近在使用时遇到一个问题：
使用cola-master单机版时，我在weibo.yaml里改动了两个参数starts:-uid 315558336，size由默认的100改为了1000，但是最后程序显示只爬了73个页面，而且MongoDB里没有315558336发布的微博，不知道是不是我哪儿配置错了。
希望能收到您的回答,谢谢了！

你好

我是对门华师的研究生，最近在使用你开发的Cola。首先感谢你同我们分享花费了你很多精力开发的cola，而且耐心的解答大家的问题。

使用下来，我有一些疑问：
1.cola的weibo抓取功能在抓取了99条微博左右就自动停止了，请问是不是被新浪反爬了？
2.cola的weibosearch功能运行之后，没有报错但是也没有成功，mongoDB里也没有新增weibosearch这个数据库。请问这是为什么呢？是不是我配置出错了。
3.cola可以新增抓取微博内容里的地理位置吗？实现这个功能是否很难？

谢谢

您好！
按照您的建议，我在develop上运行了单机模式，发现第一次运行develop，clear为no才能正常工作，为yes会抓不到数据；第二次之后是yes，则能达到清除队列的效果。
然后是粉丝的抓取好像不是很准确：我爬了两个号，第一个号前面6个粉丝没抓到，但是那6个人之后都能抓到，甚至还抓到了用浏览器看不到的几个人（因为浏览器限制看5页，无法断定他们是不是粉丝）；
另一个号的粉丝则很奇怪，好像抓到的都不是粉丝，不知道是不是存入数据库的时候乱了。
关注的抓取则很准确。

您好！
今天跑了您更新的cola-develop，但是程序没法运行，估计是login的问题，因为之前忘了输用户名和密码得到的是一样的错误。完整的错误信息如下：

C:\Users\yc>F:\python\crawler\cola-develop\contrib\weibo\__init__.py
F:\python\crawler\cola-develop\cola\core\opener.py:108: UserWarning: gzip transf
er encoding is experimental!
self.browser.set_handle_gzip(True)
F:\python\crawler\cola-develop\cola\core\opener.py:108: UserWarning: gzip transf
er encoding is experimental!
self.browser.set_handle_gzip(True)
Process Process-3:
TPraceback (most recent call last):
rocess Process-2:
T File "F:\python\python\lib\multiprocessing\process.py", line 258, in _bootstr
ap
raceback (most recent call last):
File "F:\python\python\lib\multiprocessing\process.py", line 258, in _bootstra
p
self.run()
self.run()
File "F:\python\python\lib\multiprocessing\process.py", line 114, in run
File "F:\python\python\lib\multiprocessing\process.py", line 114, in run
self._target(*self._args, **self._kwargs)
self._target(*self._args, **self._kwargs)
File "F:\python\crawler\cola-develop\cola\job\container.py", line 135, in run

File "F:\python\crawler\cola-develop\cola\job\container.py", line 135, in run
self.init()
self.init()
File "F:\python\crawler\cola-develop\cola\job\container.py", line 90, in init

File "F:\python\crawler\cola-develop\cola\job\container.py", line 90, in init
self.init_tasks()
self.init_tasks()
File "F:\python\crawler\cola-develop\cola\job\container.py", line 107, in init_
tasks
File "F:\python\crawler\cola-develop\cola\job\container.py", line 107, in ini
t_tasks
is_local=self.is_local, job_name=self.job_name)
is_local=self.is_local, job_name=self.job_name)
File "F:\python\crawler\cola-develop\cola\job\task.py", line 85, in __init__
File "F:\python\crawler\cola-develop\cola\job\task.py", line 85, in __init__
self.prepare()
File "F:\python\crawler\cola-develop\cola\job\task.py", line 106, in prepare
self.prepare()
self.executor.login()
File "F:\python\crawler\cola-develop\cola\job\task.py", line 106, in prepare
File "F:\python\crawler\cola-develop\cola\job\executor.py", line 160, in logi
n
self.executor.login()
if not self._login(shuffle=random):
File "F:\python\crawler\cola-develop\cola\job\executor.py", line 160, in login
File "F:\python\crawler\cola-develop\cola\job\executor.py", line 183, in _logi
n
if not self._login(shuffle=random):
login_result = self.job_desc.login_hook(self.opener, **kw)
File "F:\python\crawler\cola-develop\cola\job\executor.py", line 183, in _log
in
File "F:\python\crawler\cola-develop\contrib\weibo\__init__.py", line 40, in lo
gin_hook
return loginer.login()
login_result = self.job_desc.login_hook(self.opener, **kw)
File "F:\python\crawler\cola-develop\contrib\weibo\login.py", line 107, in lo
gin
File "F:\python\crawler\cola-develop\contrib\weibo\__init__.py", line 40, in lo
gin_hook
json_data = json.loads(regex.search(text).group(1))
return loginer.login()
File "F:\python\python\lib\json\__init__.py", line 338, in loads
File "F:\python\crawler\cola-develop\contrib\weibo\login.py", line 107, in log
in
json_data = json.loads(regex.search(text).group(1))
File "F:\python\python\lib\json\__init__.py", line 338, in loads
return _default_decoder.decode(s)
return _default_decoder.decode(s)
File "F:\python\python\lib\json\decoder.py", line 365, in decode
File "F:\python\python\lib\json\decoder.py", line 365, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "F:\python\python\lib\json\decoder.py", line 383, in raw_decode
File "F:\python\python\lib\json\decoder.py", line 383, in raw_decode
raise ValueError("No JSON object could be decoded")
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded
ValueError: No JSON object could be decoded
Counters during running:
{}
Processing shutting down
Shutdown finished
Job id:8ZcGfAqHmzc finished, spend 10.99 seconds for running


之后我用以前的版本覆盖您今天更新后的，但程序依然报错，换了几个账号，试着挖几个不同的uid，结果都是上面的错误。好像第一次运行develop，clear填no的时候报的错误也是这样。

您能否指点一二？？

一把辛酸泪啊，没改配置...以下是yaml里的配置信息。其他地方就真没改动了...

job:
db: sina
mode: bundle # also can be `bundle`
size: 100 # the destination (including bundle or url) size
speed:
max: -1 # to the cluster, -1 means no restrictions, if greater than 0, means webpages opened per minute
single: -1 # max restrictions to a single instance
adaptive: no
instances: 2
priorities: 3 # priorities queue count in mq
copies: 1 # redundant size of objects in mq
inc: yes
shuffle: no # only work in bundle mode, means the urls in a bundle will shuffle before fetching
error:
network:
retries: -1 # 0 means no retry, -1 means keeping on trying
span: 20 # seconds span to retry
ignore: no # only work under bundle mode, if True will ignore this url and move to the next after several tries, or move to the next bundle
server: # like 404 or 500 error returned by server
retries: 5
span: 10
ignore: no
components:
deduper:
cls: cola.core.dedup.FileBloomFilterDeduper
mongo:
host: localhost
port: 27017
login:
- username: ############ username
password: ############ password
starts:
- uid: 5545466650
- uid: 1601563722
fetch:
forward: no
comment: no
like: no
clear: no

秦大哥：

真的是注释的问题。。注释之后怎么会有影响。。（强烈建议您在博客回复区内置些表情来表达我现在的心情）

你好，
在运行DEMO， weibo的时候存在一个问题呃
处理用户信息时，每一条都在这里出错
block_title = block_div.find('h4', attrs={'class': 'obj_name'}).text.strip()
返回值NoneType


配置文件如下， 打开了forward选项,修改了size
job:
db: sina_forward
mode: bundle # also can be `bundle`
size: 1000 # the destination (including bundle or url) size
speed:
max: -1 # to the cluster, -1 means no restrictions, if greater than 0, means webpages opened per minute
single: -1 # max restrictions to a single instance
adaptive: no
instances: 2
priorities: 3 # priorities queue count in mq
copies: 1 # redundant size of objects in mq
inc: yes
shuffle: yes # only work in bundle mode, means the urls in a bundle will shuffle before fetching
error:
network:
retries: -1 # 0 means no retry, -1 means keeping on trying
span: 20 # seconds span to retry
ignore: no # only work under bundle mode, if True will ignore this url and move to the next after several tries, or move to the next bundle
server: # like 404 or 500 error returned by server
retries: 5
span: 10
ignore: no
components:
deduper:
cls: cola.core.dedup.FileBloomFilterDeduper
mongo:
host: ***.***.***.***
port: 27017
login:
- username: *****
password: *****
starts:
- uid: 3211200050
- uid: 1898353550
fetch:
forward: yes
comment: no
like: no
clear: no

另外还有几个问题

cola-develop的weibo DEMO
stop.py似乎因为你已经加入程序中的中断机制而没有什么作用，反而会因为缺少库报错。。。


cola-master部分（我使用的6月1日下载的版本

在cola-master 的weibosearch这个DEMO里，
stop.py 有一个小BUG，好像一直没改， 是第44行，recover()，应该在括号里加入job_path吧。

15.6.14 ，广东电信网络测试下，weibosearch的WeiboLogin类无法用于登录
SpynnerOpener 已经无法用于获取登录框架了。
执行时会一直卡在weibosearch/login.py的第32行
self.opener.wait_for_selector('div.info_list')
是新浪官方封锁了吗？ 网页原代码晨这一项还有呃


最后是我想修改cola-master里（cola-develop一直不正常工作）
weibo DEMO部分，
想使用 转发微博中的uid 来扩充队列
不太理解cola的消息队列工作方式，请问如何修改呢？

这个爬虫运行效果非常好，膜拜ing~

你好，最近学习了您的cola代码，想请问一下关于MQ的问题，MQ在被get()一个元素后，不应该把该元素的备份数据也删除的吗？如果不删除备份数据，那么在某些情况下这个元素是不是还会被恢复啊，比如在删除某一个MQ节点的情况下，被删除的元素的备份数据是不是还会被重新put到某一个Node节点上。谢谢！

您好，能不能请教下你在cola编写的过程中是怎么进行调试的，尤其涉及到subprocess.Popen这种的您是如何进行调试的？谢谢。

您好，看了下您的代码，想请问下这个框架是基于什么样的抓取需求编写的，该框架适合于什么样的业务场景？谢谢。

楼主好，再请教几个问题。
我的问题还是基于我在7月份下的您的代码的问题，并不是基于您的最新代码。
1.MessageQueue类中的remove_node方法中，在将被删除节点在其他节点上的数据恢复出来的时候，“self.local_store.put(obj)” 为什么不是将obj对象put到重新调整后的hashring上去，而是将obj对象直接put到本地的Node存储中。
2.Node类中的merge方法中：
for idx, f in enumerate(self.map_files):
if not f.endswith(str(idx+1)):
dir_ = os.path.dirname(f)
self._remove_handles(f)
self.map_files.remove(f)

new_f = os.path.join(dir_, str(idx+1))
os.rename(f, new_f)
self.map_files.append(new_f)
self._add_handles(new_f)
这几行代码的意思我没太理解，能否讲解一下，谢谢！

秦大哥，您好！现在微博账号登录好像强制需要验证码了，我注册了两个账号都是。所以我在运行您的weibo爬虫时，提示以下错误：
Traceback (most recent call last):
File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
self.run()
File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
self._target(*self._args, **self._kwargs)
File "/usr/local/lib/python2.7/dist-packages/Cola-0.1.0beta-py2.7.egg/cola/job/container.py", line 135, in run
self.init()
File "/usr/local/lib/python2.7/dist-packages/Cola-0.1.0beta-py2.7.egg/cola/job/container.py", line 90, in init
self.init_tasks()
File "/usr/local/lib/python2.7/dist-packages/Cola-0.1.0beta-py2.7.egg/cola/job/container.py", line 107, in init_tasks
is_local=self.is_local, job_name=self.job_name)
File "/usr/local/lib/python2.7/dist-packages/Cola-0.1.0beta-py2.7.egg/cola/job/task.py", line 86, in __init__
self.prepare()
File "/usr/local/lib/python2.7/dist-packages/Cola-0.1.0beta-py2.7.egg/cola/job/task.py", line 107, in prepare
self.executor.login()
File "/usr/local/lib/python2.7/dist-packages/Cola-0.1.0beta-py2.7.egg/cola/job/executor.py", line 161, in login
if not self._login(shuffle=random):
File "/usr/local/lib/python2.7/dist-packages/Cola-0.1.0beta-py2.7.egg/cola/job/executor.py", line 184, in _login
login_result = self.job_desc.login_hook(self.opener, **kw)
File "/cola/cola/app/weibo/__init__.py", line 42, in login_hook
return loginer.login()
File "/cola/cola/app/weibo/login.py", line 107, in login
json_data = json.loads(regex.search(text).group(1))
File "/usr/lib/python2.7/json/__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "/usr/lib/python2.7/json/decoder.py", line 366, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/usr/lib/python2.7/json/decoder.py", line 384, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded
Counters during running:
{}
Processing shutting down
Shutdown finished
Job id:8ZcGfAqHmzc finished, spend 10.05 seconds for running

请问这是不是由于没有验证码导致不能完成登录，所以才会报错啊？多谢~

感谢秦大哥在百忙之中为我解答疑惑。我刚才又重新运行weibo爬虫，发现可以爬取了。我觉得可能是前两天我多次尝试登陆导致登陆保护，因此需要输入验证码。但有一点可以肯定，现在注册的微博账户，都没有了你们提到的允许异地登陆选项，现在只有登陆保护这一项。我会好好研究你的cola爬虫框架，开源力量，辛苦你了~