1. 南猫Home
  2. cj

使用FileManager+基于Python3的爬虫程序建立影音图片库

南猫 • • cj • 89 views

说明：爬虫估计很多人知道，可以自动下载一些网站上面的图片，视频，这里说下使用FileManager和爬虫建立影音、图片库，并分享几个美女站爬虫（1024/mm131/91/mmjpg）。想看美女的可以爬来看看。至于其他学习资料网站的爬虫，可以去Github上找找。

提示：91爬虫已失效，现已移除该爬虫脚本。

截图

请输入图片描述
请输入图片描述

使用教程

注：以下部分爬虫由Eq博主提供。

爬虫使用python3+requests库编写，在Windows系统和Linux系统下都可以运行，大部分Ubuntu、Debian都含有Python3，直接安装最新此系统就可以了。而CentOS需要额外安装Python3，这里只说下CentOS 7系统使用方法。

1、安装FileManager网盘
教程参考：利用Caddy扩展快速安装FileManager私人网盘/在线文件管理器。

2、检查Python3并升级
查看Python3是否安装

python3 -V

如果返回-bash: python3: command not found，就使用Python 3.6一键脚本进行安装：

wget https://www.southcat.net/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh

本脚本包含许多必需库，不会因为缺少依赖而出问题，如果不想用脚本的，也可以手动升级，教程参考：Linux CentOS升级Python 3.6版本方法。

3、安装requests库

pip3 install requests

4、创建文件夹

mkdir /usr/local/caddy/www/file/xx  #用来存储文件
cd /usr/local/caddy/www/file/xx

5、下载并运行爬虫

#1024图片爬虫
wget https://www.southcat.net/usr/shell/Python3/1024_spider.py && python3 1024_spider.py
#mm131图片爬虫
wget https://www.southcat.net/usr/shell/Python3/mm131_spider.py && python3 mm131_spider.py
#mmjpg图片爬虫
wget https://www.southcat.net/usr/shell/Python3/mmjpg.py && python3 mmjpg.py



原创文章，作者：南猫，如若转载，请注明出处：https://southcat.net/1940/


不妨点个广告再走嘛
Like (0)
南猫南猫
0 0 打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Previous 2019年10月24日 am11:03
Next 2019年10月24日 pm2:12

相关推荐

  • 基于内核的单边加速Tcp_china和Tcp_TA安装教程

    说明：目前用的单边加速熟知的有BBR和锐速，这次从91yun看到新的基于内核修改的单边教程Tcp_china和tcp_TA就搬运过来先。听说比BBR效果要好。 注意：适用于kvm，并且锐速，BBR，Tcp_china和tcp_TA不能共存，只能装一样。 tcp_china Github地址：https://github.com/madeye/tcp_china 1、系统为Ubuntu 14.04、Ubuntu 16.04，其它系统未经测试，且未换4.9以上内核时，执行命令： apt-get update && apt-get install gcc make git -y && git clone https://github.com/madeye/tcp_china && cd tcp_china && make && insmod tcp_china.ko && lsmod | grep tcp_china 2、看到tcp_china时说明已经加载成功了。 tcp_TA Github地址：https://github.com/giltu/KernelPCC 1、系统为Ubuntu 14.04、Ubuntu 16.04，其它系统未经测试，且未换4.9以上内核时，执行命令： apt-get update && apt-get install git gcc make -y && git clone https://github.com/giltu/KernelPCC && cd KernelPCC && make && insmod tcp_TA.ko && lsmod | grep tcp_TA 2、看到有tcp_TA时表示加载成功了。

    南猫 南猫
    cj 2020年2月13日
    0 71 0

  • Linux VPS安装DNSmasq搭建自己的DNS服务器

    简介 DNSmasq是一个小巧且方便地用于配置DNS和DHCP的工具，适用于小型网络，它提供了DNS功能和可选择的DHCP功能。自己搭建公共DNS更加灵活，如果是在本地搭建，还可以大幅提高解析速度。 安装DNSmasq 可以下载软件包编译安装，不过一般Linux软件仓库已经提供了DNSmasq，相关命令如下： #centos安装 yum -y install dnsmasq #如果是ubuntu系统 apt-get -y install dnsmasq 配置DNSmasq DNSmasq配置文件在/etc/dnsmasq.conf，我们需要修改几个参数，分别为： resolv-file=/etc/resolv.dnsmasq.conf这个参数表示dnsmasq会从这个指定的文件中寻找上游dns服务器。 取消注释的strict-order，表示严格按照resolv-file文件中的顺序从上到下进行DNS解析, 直到第一个成功解析成功为止。 注释掉no-hosts, 默认情况下这是注释掉的,dnsmasq会首先寻找本地的hosts文件再去寻找缓存下来的域名,最后去上游 dns服务器寻找。 设置listen-address=0.0.0.0, 0.0.0.0改成服务器公网IP。 我们来整理下上面我们修改了那些配置内容 #需要新建一个resolv.dnsmasq.conf文件,这个是配置上游DNS，也就是真正的公共DNS vi /etc/resolv.dnsmasq.conf #内容如下 nameserver 119.29.29.29 nameserver 1.2.4.8 #修改/etc/dnsmasq.conf #上游DNS路径 resolv-file=/etc/resolv.dnsmasq.conf #取消strict-order注释 strict-order #监听地址0.0.0.0对所有网络有效 listen-address=0.0.0.0 使用方法 DNSmasq可以设置不同的域名指定不同的DNS进行解析，修改/etc/dnsmasq.conf文件即可，若不对域名设置DNS，则从上游DNS获取记录。 #指定淘宝使用114 DNS进行解析 server=/taobao.com/114.114.114.114 #google指定8.8.8.8进行解析 server=/google.com/8.8.8.8 也可以对指定的域名进行解析，相当于就是本地hosts指向，可以利用这个功能实现广告屏蔽等效果。也是需要修改/etc/dnsmasq.conf文件，DNSmasq也可以对域名进行泛解析，填写*.southcat.net,这样的格式即可。 #将广告域名指向到127.0.0.1实现广告屏蔽 address=/ad.youku.com/127.0.0.1 address=/ad.iqiyi.com/127.0.0.1 #对southcat.net进行泛解析 address=/*.southcat.net/132.165.25.188 启动与测试 #启动 /etc/init.d/dnsmasq start #停止 /etc/init.d/dnsmasq stop #重新启动 /etc/init.d/dnsmasq restart 比如我在本地一台Linux服务器（192.168.20.127）安装了DNSmasq，并在局域网内其它PC将DNS配置为192.168.20.127，使用dig命令进行测试，第一次查询相对较长，第二次几乎再10ms内，如下截图。 总结 如果是在内网搭建DNSmasq，不仅可以提高解析速度，还可以有效的防止DNS劫持，实现屏蔽广告等作用。如果是在公网搭建DNSmasq，还可以对指定的域名解析hosts指向，从而避免DNS污染，实现fq。 如果您发现DNSmasq启动正常，但就是无法解析，请注意防火墙是否放行tcp/upd 53端口。

    南猫 南猫
    cj 2020年3月9日
    0 107 0

  • 多功能VestaCP全家桶套件一键安装脚本，文件管理器已破解

    说明：关于VestaCP面板就不过多介绍了，之前说过很多，还是挺好用的，VDVESTA是一个小型的shell脚本，为您的CentOS Server Release 7 x86_64自动定制并安装VESTACP。且文件管理器已破解。 安装 Github地址：https://github.com/duy13/VDVESTA 系统要求：CentOS Server 7 x86_64 运行以下命令： curl -L https://github.com/duy13/VDVESTA/raw/master/vdvesta.sh -o vdvesta.sh ; bash vdvesta.sh 脚本界面 欢迎来到VDVESTA： 一个shell脚本自动定制并安装您的CentOS Server Release 7 x86_64的VESTACP。 感谢您的使用！ 你愿意+安装vDDoS代理保护[Y | n]： vDDoS Proxy Protection install => y 您要安装哪个Web Server版本[apache | nginx]： Web服务器版本=> apache 要安装哪个PHP Server版本[5.4 | 5.5 | 5.6 | 7.0 | 7.1]： PHP Server版本=> 7.1 你想要自动配置PHP [Y | n]： 自动配置PHP => y 您要安装哪个MariaDB Server版本[5.5 | 10.0 | 10.1]： MariaDB Server版本=> 10.1 你想要+安装文件管理器[Y | n]： 文件管理器install => y 你想要+安装Zend优化加操作码缓存[Y | n]： Zend操作码缓存install => y 你愿意+安装Memcached [Y | n]： Memcached install...

    南猫 南猫
    cj 2020年1月19日
    0 67 0

  • SSH密钥安装器升级，一键安装VPS密钥安全登录

    说明：使用vps的基本都会有被扫描的情况，可参考：通过Auth.log来查看VPS服务器是否被扫描和暴力破解。一般我们都会修改SSH端口来防止这种事发生，不过安全性更高的操作当属使用密钥登录。之前分享过一个教程，参考：为Linux VPS配置SSH-KEY登录并禁用root密码，感觉有点麻烦，这里分享个由KiritoMiao大佬制作的一键安装脚本，安装很快。 前言 有大佬说可以读Github帐号的公钥，可以不需要再fork修改了（据说可以支持多个公钥，未测试）。 使用 首先准备SSH Key和Github账号。SSH Key配置方法参考：https://www.southcat.net/archives/229/。 然后前往：https://github.com/settings/keys登记你的公钥。 再用服务器运行以下命令： wget https://raw.githubusercontent.com/KiritoMiao/SSHKEY_Installer/master/key.sh bash key.sh [你的Github用户名] 完成后，就可以使用密钥登入了（同时会关闭密码登入提高安全性）。

    南猫 南猫
    cj 2019年11月6日
    0 52 0

  • 使用Docker快速安装NextCloud个人私有云盘

    说明：NexCould是一款不错，也很漂亮的个人私有云网盘，现在使用的人是越来越多了，之前发过一篇常规的搭建教程，参考：一款不错的个人私有云：NextCloud安装教程，鉴于很多人在搭建过程中或多或少都会出点问题，今天博主发个很方便的安装方法，就是用Docker安装NextCloud，看到网上很多这样的教程都是通过编辑docker-compose.yml文件来安装的，还要配置反向代理，期间容易出现很多问题，对新手很不友好，而本教程使用纯命令形式安装，不容易出问题，适合尝鲜的新手。 截图 更新 Docker镜像已替换成更新比较频繁，体积更加小的镜像，使用的是最新稳定版Alpine Linux，环境为PHP 7和Nginx。 安装 Github地址：https://github.com/chrootLogin/docker-nextcloud 1、安装Docker #CentOS 6 rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm yum update -y yum -y install docker-io service docker start chkconfig docker on #CentOS 7、Debian、Ubuntu curl -sSL https://get.docker.com/ | sh systemctl start docker systemctl enable docker 2、安装Nextcloud #拉取Mysql镜像，记得修改数据库信息 docker run --name mysqlnc -d \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=moerats \ -e MYSQL_DATABASE=moerats \ -e MYSQL_USER=moerats \ -e MYSQL_PASSWORD=moerats \ -v /root/nextcloud/mysql:/var/lib/mysql \ mysql:5.7 #拉取Nextcloud镜像 docker run -d --name nextcloud --link mysqlnc \ -v /root/nextcloud/data:/data \ -p 3000:80 \ rootlogin/nextcloud 访问地址为http://IP:3000，启动命令里的3000端口可自行替换，不过后面有关端口的命令都自行修改，/root/nextcloud为网盘的数据库，也可以自行修改。 对于CentOS系统，还需要开启3000端口，开启如下： #CentOS 6 iptables -I INPUT...

    南猫 南猫
    cj 2020年2月13日
    0 225 0

  • Comment2Wechat：一个Typecho新评论微信提醒插件（修改自原版本）

    说明：对于经常使用微信的博主来说，微信提醒确实要比邮件方便的多，之前用wordpress博客的时候，也用过微信提醒，只不过不是用插件，是通过添加代码完成的，参考：给WordPress的新评论添加微信提醒，对于Typecho，有大神做了插件就方便多了。 功能 每当有人评论你的文章时，可以通过Server酱推送到你的微信上。 相比原插件新增了两个功能设置： 当评论者为自己时不提醒。 使用HTTPS与Server酱进行通信。 截图 下载 Github下载：Comment2Wechat V2.0本地下载：Comment2Wechat V2.0 部署 下载完后将Comment2Wechat文件夹解压至(Typecho根目录)/usr/plugins中即可。 注意事项 如果你是从Github下载的，请记得将插件文件夹重命名为Comment2Wechat。如果你已经有原版插件，可以直接覆盖，但是在这之后必须点开设置菜单并保存设置一次（即使你不需要更改默认设置）。 使用 首先去Server酱首页（https://sc.ftqq.com/），根据首页的说明一步步操作即可。然后将你获取的SCKEY粘贴到插件的设置中，保存设置。就这么简单。 作者 插件原作者：Comment2Wechat V1.0.0 by Y!an https://github.com/YianAndCode/Comment2Wechat插件修改者：Comment2Wechat V2.0.0 by Tsuk1ko https://lolico.moe 感谢

    南猫 南猫
    cj 2020年3月13日
    0 71 0

  • eBesucher：利用闲置的VPS服务器挂机赚钱教程

    说明：相信很多人手上有很多闲置的VPS服务器，都不知道拿来干啥，其实我们可以用来挂机回本，让服务器充分得到利用。 简介 Ebesucher是德国目前最好的自动冲浪网站之一，用户可以通过自动冲浪、付费邮件等赚取点数 (BTP)，然后每100000点分数可以兑换两欧元。 关于点数说明：高质量IP，一个小时可以挂10000+点分数。中等质量IP，一个小时可以挂300-400点分数。普通IP，一个小时可以挂50点分数。 引用某个挂机大神的原话： 唯一不能避免就是沖人家網站被強制跳轉導致沖浪沒了 所以才設定30分鐘讓他重啟一次 就是檢查比較煩,要每台都開來看.. 我都是看到點數急降才去檢查… 安装 注册地址： https://www.ebesucher.com系统：Debian7 x32 1、安装必要环境 apt-get update apt-get install -y xorg lxde-core tightvncserver firefox-esr 2、创建一个VNC通用文件 mkdir -p ~/.vnc cat>~/.vnc/xstartup<<EOF #!/bin/sh xrdb $HOME/.Xresources xsetroot -solid black EOF 3、初始化VNC，并设置VNC密码 tightvncserver :1 4、安装Flash播放器 #使用官方源安装 #参考地址 https://get.adobe.com/flashplayer/otherversions/ ARCH='i386' FLASHVER='27.0.0.130' #如果下载出错，说明版本号已经更新，请使用备份源安装。 mkdir -p /usr/lib/mozilla/plugins cd /usr/lib/mozilla/plugins wget --no-check-certificate -qO- https://fpdownload.adobe.com/get/flashplayer/pdc/$FLASHVER/flash_player_npapi_linux.$ARCH.tar.gz |tar -zx libflashplayer.so #直接使用备份源安装 v26.0.0.151_i386 mkdir -p /usr/lib/mozilla/plugins wget --no-check-certificate -qO /usr/lib/mozilla/plugins/libflashplayer.so 'https://docs.google.com/uc?id=0B783U-qC53BDRVIwR2toOUlZNjQ&export=download' 5、输入挂机地址就可以挂机啦 firefox-esr --display=localhost:1.0 --new-tab http://www.ebesucher.com/surfbar/你的用户名 >/dev/null 2>&1 & 6、可以进VNC界面查看情况推荐使用VNC Viewer客户端，下载地址：点击下载 IP:5901 7、设置Firefox由于只安装了桌面的核心功能，所以有些部分操作功能会缺失，不过也不需要。进入火狐的设置 about:preferences 进入火狐扩展页面 about:addons

    南猫 南猫
    cj 2019年11月30日
    0 226 0

  • Linux VPS使用Matomo(Piwik)搭建网站统计系统

    简介 Matomo(原Piwik)是一个PHP和MySQL的开放源代码的Web统计软件，它给你一些关于你的网站的实用统计报告，比如网页浏览人数，访问最多的页面，搜索引擎关键词等等，piwik也可以定位访问者所在的国家、地区、城市，并将这些信息在地图中展现。及对文件下载、网站内链接点击、404页面及网页中的标题、文本等其他的元素跟踪。还有专门的APP(Matomo Mobile)可以进行查询分析数据，还支持中文等多国语言，反正功能很多，就不细说了。 截图 安装 1、搭建WEB环境使用服务器搭建好WEB环境，LNMP/LAMP都可以，然后直接下载并上传程序源码解压到网站根目录，再删除源码压缩包，程序下载：piwik.zip。也可以直接使用命令： cd /www/wwwroot/xx.com wget https://builds.matomo.org/piwik.zip && unzip piwik.zip mv piwik/* ./ rm -rf piwik.zip 2、安装程序新建数据库并打开网站，按要求进行安装。检查下重要组件有没有缺失。然后设置数据库和网站。再到自己网站将代码放进去。安装完成后去后台根据需求进行设置及安装插件了。如果要获得更精确可靠访客地理信息就需要安装GeoIP插件并设置，插件在平台商城那里搜索。 Wordpress的Piwik插件地址：https://wordpress.org/plugins/wp-piwik/，可以方便的连接Piwik和WP博客。

    南猫 南猫
    cj 2019年12月15日
    0 120 0

  • pyLoad：一款开源、免费带Web面板的多功能下载神器

    说明：pyLoad是一款免费和开源下载管理器，用Python编写，旨在通过Web实现极其轻量级，易于扩展和完全可管理的下载器，不仅可以直接下载直链，而且也可以从很多网站中解析出文件/视频等进行下载，比如115网盘，youtube等，包括很多男同学们很喜欢的某些视频网站，不过还是建议少看点好，得注意身体，这里就发个大概搭建方法。 截图 安装 Github地址：https://github.com/pyload/pyload 1、安装依赖 #Debian/Ubuntu系统，Ubuntu系统需要将python-imaging换成python-pil后再运行命令 apt update apt install -y python-setuptools python-requests python-pycurl python-crypto python-imaging python-pyxmpp python-jinja2 python-thrift python-feedparser python-beautifulsoup python-pip tesseract-ocr python-beaker python-django unzip screen #CentOS 7系统 yum install unzip screen -y wget https://bootstrap.pypa.io/get-pip.py python get-pip.py pip install pycryptodome pycurl django jinja jinja2 beaker thrift feedparser beautifulsoup tesseract pillow 2、安装ffmpeg wget https://www.southcat.net/usr/down/ffmpeg/ffmpeg-git-$(getconf LONG_BIT)bit-static.tar.xz tar xvf ffmpeg-git-*-static.tar.xz mv ffmpeg-git-*/ffmpeg ffmpeg-git-*/ffprobe /usr/bin/ rm -rf ffmpeg-git-* 3、安装pyLoad #下载最新稳定版 wget https://github.com/pyload/pyload/archive/stable.zip unzip stable.zip cd pyload-stable #配置，不知道怎么选择的，除了账号设置那里，全部默认即可 python pyLoadCore.py 配置好了就直接启动： python pyLoadCore.py #后台运行 screen -dmS pyload python pyLoadCore.py 访问地址为ip:8000，以你配置期间填的运行端口为准。 CentOS 7需要开一下防火墙端口，使用命令： firewall-cmd --zone=public...

    南猫 南猫
    cj 2020年4月2日
    0 51 0

  • WordPress显示网站已运行时间

    在网站上显示已运行多少时间是一些站长需要的功能，只需要加一段代码即可实现。代码来自六特网站，本站使用下面第三段。代码贴到footer.php或者右侧html小工具。 1.显示的是运行的 天/小时/分/秒 <span id="timeDate">载入天数...</span><span id="times">载入时分秒...</span><script>// <![CDATA[ var now = new Date(); function createtime(){ var grt= new Date("11/25/2013 21:51:00");//此处修改你的建站时间或者网站上线时间 now.setTime(now.getTime()+250); days = (now - grt ) / 1000 / 60 / 60 / 24; dnum = Math.floor(days); hours = (now - grt ) / 1000 / 60 / 60 - (24 * dnum); hnum = Math.floor(hours); if(String(hnum).length ==1 ){hnum = "0" + hnum;} minutes = (now - grt ) / 1000 /60 - (24 * 60 * dnum) - (60 * hnum); mnum = Math.floor(minutes); if(String(mnum).length ==1 ){mnum = "0"...

    南猫 南猫
    cj 2020年2月5日
    0 74 0