discuz隐藏内容能否爬取
如果论坛中存在隐藏内容，通常可以按以下步骤查看： 注册论坛账号并登录。 发布一定数量的帖子或评论，以满足论坛的要求。有些论坛的隐藏内容只对发帖数、评论数、点赞数等达到一定数量的用户可见。
首先要在浏览器打开discuz网页。其次在主页面找到隐藏界面。最后充值会员点击隐藏内容即可进行观看。
不可以，因为查看源码只能用于本地已经加载，但浏览器暂时不显示的情况。不过DISCUZ的HIDE不同，是服务器上的隐藏的，也就是说你浏览器加载的数据中，就不包括HIDE内的内容，所以怎么查看源码都查不到的。
php实现网络爬虫
php一贯简洁、易用，亲测使用PHPspider框架能写出一个简单的爬虫。匹配方式使用XPach语法。
如phpQuery，phpCrawl，phpSpider，Snoopy。如果使用curl，也是相当不错的。但你要做的事情更多。它只负责请求和下载，并没有实现爬虫的核心。别的事情都要自己做，至少你得先封装一下。
simple_html_dom 实现页面的解析和DOM处理 如果想要模拟浏览器，可以使用casperJS。用swoole扩展封装一个服务接口给PHP层调用 在这里有一套爬虫系统就是基于上述技术方案实现的，每天会抓取几千万个页面。
如何用PHP获取主流视频网站的缩略图
1、直接在文章中调用。也可以通过custom_field方式记录视频地址，在主循环中调用该函数获得缩略图，借助timthumb.php等脚本生成缓存存放到本地，就不用每次都去读网页了。
2、通过imagick让PHP生成PSD文件缩略图第一步、安装ImageMagick首先需要安装 ImageMagick ，因为 imagick 是一个可以供 PHP 调用 ImageMagick 功能的PHP扩展。
3、使用以下代码修改图片大小或创建缩略图。参数说明：$filename：文件名。$tmpname：文件路径，如上传中的临时目录。$xmax：修改后最大宽度。$ymax：修改后最大高度。
4、先抛结论：内容页调用上下篇缩略图的方法分别为{$previous_page[thumb]}和{$next_page[thumb]}。
5、本文实例讲述了C#获取视频某一帧的缩略图的方法。分享给大家供大家参考。具体实现方法如下：读取方式：使用ffmpeg读取，所以需要先下载ffmpeg。网上资源有很多。原理是通过ffmpeg执行一条命令获取视频某一帧的缩略图。
6、你的这个需求可以通过用php下的GD库生成缩略图来解决，请搜索关键字“php生成缩略图”，会有很多现成的范例。
如何通过python调用新浪微博的API来爬取数据
使用python调用API的话，首先要去下一个Python的SDK，sinaweibopy 连接地址在此： http：//michaelliao.github.com/sinaweibopy/ 可以使用pip很快的导入，github连接里的wiki也有入门的使用方法，很容易看懂。
爬取用户微博本项目开发语言是Python 7，项目中用了一些第三方库，第三方库可以用pip的方法添加。既然程序自动登录的想法被验证码挡住了，想要访问特定用户微博页面，只能使用者提供cookies了。
最近开发做了个Python的新浪微博爬虫！源码地址为GitHub - Kevinsss/weibo_spider 从数据库中拿出用户id列表，批量爬取一批用户id的微博数据，然后保存相应的内容到数据库中。
数据来自该地址： https：//weibo.com/5977512966/L6w2sfDXb#comment 爬取的下面的全部评论：微博的网页属于Ajax渲染，当我们向下滑动的时候会显示的评论，地址栏的URL不变，需要找到实际的请求URL。
不过可以百度一下“python编写的新浪微博爬虫（现在的登陆方法见新的一则微博）“，可以找到一个参考的源码，他是用python2写的。
使用Python3实现HTTP get方法。使用聚合数据的应用编程接口，你可以调用小发猫AI写作API。
蜘蛛是如何爬取页面内容的?
蜘蛛的爬行时沿着链接爬行的，如果有高质量的外部链接，蜘蛛爬行的深度会加深，很可能多爬几层，让我们的页面更多的被蜘蛛抓取。蜘蛛喜欢的行为四：距离首页点击距离。
对于新网站来说，想要让蜘蛛爬虫进入到网站，最好的方法就是通过外链的形式，因为蜘蛛爬虫对新网站不熟悉也不信任，通过外链可以让蜘蛛爬虫顺利的进入到网站中，从而增加友好性。
网络蜘蛛即Web Spider，是一个比喻得很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。
首先是对内部连接纵向抓取，其次是对外部横向抓取，也就是说搜索引擎蜘蛛抓取页面是纵向原则和横向原则想结合的。但无论是纵向抓取还是横向抓取，只要网站是和蜘蛛的爬行和胃口，蜘蛛就能将您的网站所有网页爬完。
php爬虫怎么运行
如果你任务比较紧迫，建议选择那些第三方库，集成一下，能用先用着。业务时间还是了解一下爬虫的方方面面比较好。xpath简单，拿到源码，交给phpQuery就可以，像使用jQuery一样，不需要正则。
文件，用记事本和idle工具都行，输入print(hello world)，如果你使用的是idle，直接按f5，就能查看结果，如果用记事本，打开cmd，进入这个目录，输入命令python aa.py就出来结果了。
如果架设好了php运行环境，在浏览器中输入网址，就可以看到php的运行效果。PHP，是英文超级文本预处理语言HypertextPreprocessor的缩写。
php一贯简洁、易用，亲测使用PHPspider框架10分钟就能写出一个简单的爬虫程序。PHP环境安装和python一样，PHP也需要环境，可以使用官网下载的PHP，也可以使用XAMPP、PHPstudy等集成环境下的PHP。
百度一下，在搜索框中输入UPUPW，找到UPUPW官网，查找下载链接。点击UPUPW下载，打开UPUPWAPACHE版下载页找到适合自己的PHP系列下载最新版到本地硬盘。（32位、64位）。
如何安装运行php Unix/Windows： 我的php.ini 文件应该放在哪？UNIX下默认它应该放在 /usr/local/lib 目录下。 这是它的 /lib. 很多人会在编译时改变它，使用--with-config-file-path 标志。
