1. 南猫Home
  2. cj

使用FileManager+基于Python3的爬虫程序建立影音图片库

南猫 • • cj • 43 views

说明：爬虫估计很多人知道，可以自动下载一些网站上面的图片，视频，这里说下使用FileManager和爬虫建立影音、图片库，并分享几个美女站爬虫（1024/mm131/91/mmjpg）。想看美女的可以爬来看看。至于其他学习资料网站的爬虫，可以去Github上找找。

提示：91爬虫已失效，现已移除该爬虫脚本。

截图

请输入图片描述
请输入图片描述

使用教程

注：以下部分爬虫由Eq博主提供。

爬虫使用python3+requests库编写，在Windows系统和Linux系统下都可以运行，大部分Ubuntu、Debian都含有Python3，直接安装最新此系统就可以了。而CentOS需要额外安装Python3，这里只说下CentOS 7系统使用方法。

1、安装FileManager网盘
教程参考：利用Caddy扩展快速安装FileManager私人网盘/在线文件管理器。

2、检查Python3并升级
查看Python3是否安装

python3 -V

如果返回-bash: python3: command not found，就使用Python 3.6一键脚本进行安装：

wget https://www.southcat.net/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh

本脚本包含许多必需库，不会因为缺少依赖而出问题，如果不想用脚本的，也可以手动升级，教程参考：Linux CentOS升级Python 3.6版本方法。

3、安装requests库

pip3 install requests

4、创建文件夹

mkdir /usr/local/caddy/www/file/xx  #用来存储文件
cd /usr/local/caddy/www/file/xx

5、下载并运行爬虫

#1024图片爬虫
wget https://www.southcat.net/usr/shell/Python3/1024_spider.py && python3 1024_spider.py
#mm131图片爬虫
wget https://www.southcat.net/usr/shell/Python3/mm131_spider.py && python3 mm131_spider.py
#mmjpg图片爬虫
wget https://www.southcat.net/usr/shell/Python3/mmjpg.py && python3 mmjpg.py



原创文章，作者：南猫，如若转载，请注明出处：https://southcat.net/1940/


不妨点个广告再走嘛
Like (0)
南猫南猫
0 0
Previous 2019年10月24日 am11:03
Next 2019年10月24日 pm2:12

相关推荐

  • Linux VPS通过安装CPULimit来限制CPU使用率

    说明：我们手上经常有很多廉价的VPS，有时候使用某些软件应用的时候，会出现CPU跑满的情况，而长时间跑满会被VPS商家停掉，所以这里我们需要想办法来限制进程CPU使用率，这里就说个教程。 简介 cpulimit命令的工作原理是为进程预设一个cpu占用率上限，并实时监控进程是否超出此上限，而做出动态调整。从而可以控制进程的cpu使用率的上限值。 安装 使用root运行命令： #debian/ubuntu系统 apt install -y cpulimit #RHEL/Centos/Fedora系统 yum install epel-release cpulimit 使用 cpulimit -h Usage: cpulimit [OPTIONS...] TARGET OPTIONS -l, --limit=N percentage of cpu allowed from 0 to 100 (required)//cpu限制的百分比 -v, --verbose show control statistics//显示版本号 -z, --lazy exit if there is no target process, or if it dies//如果限制的进程不存在了，则退出。 -i, --include-children limit also the children processes//包括子进程。 -h, --help display this help and exit //帮助，显示参数 TARGET must be exactly one of these: -p, --pid=N pid of the process (implies -z) //进程的pid -e, --exe=FILE name of the executable program...

    南猫 南猫
    cj 2020年3月19日
    0 54 0

  • Vultr利用快照备份Snapshots功能快速的备份和迁移资料

    说明：用了那么久的Vultr，直到今天才发现Vultr还有快照备份Snapshots功能，试了一下后感觉很好用，特别是对于我们经常喜欢换节点服务器的，其实很多商家都有提供Snapshots快照功能，不过别太依赖这个了，都会有翻车的时候，还是乖乖的手动备份下数据。 方法 1、备份数据进入Vultr面板，点击Snapshots选项，选择Add Snapshot，然后在Label那里填一个标签，再点击Take Snapshot。等待备份完成之后，我们才可以去创建。

    南猫 南猫
    cj 2020年2月12日
    0 38 0

  • 一款强大的Linux免费web管理面板：VestaCP安装教程

    简介 VestaCP是一款强大的Linux web控制面板，是由俄罗斯的人编写，支持中文，支持Apache、Nginx、Bind、Exim、Dovecot、vsftpd、MySQL等，提供可视化的网站管理面板，非常适合多用户使用。VestaCP还自带了免费邮局功能和VPS性能监控，还能通过web面板修改防火墙规则！ 系统要求：支持Centos,Ubuntu,Debian,RHEL。 安装 1、安装VestaCP执行以下命令： curl -O http://vestacp.com/pub/vst-install.sh bash vst-install.sh 会让你输入email地址，域名，备份地址等，然后很快就装好了！最后会显示登录地址和用户名密码。

    南猫 南猫
    cj 2020年3月16日
    0 32 0

  • 使用Google Drive File Stream后，C盘没空间/爆满的解决方法

    说明：之前提到了Windows/Mac系统下挂载Google Drive网盘为本地硬盘使用，不过经使用存在着C盘很容易出现爆满的情况，查了下资料，发现是缓存没有清除导致的，这里就说下解决方法。 方法 原理就是利用Windows下的软链接命令做个"快捷方式"，将缓存目录变相的丢进其它盘。 首先确认你的缓存位置，比如我这系统盘是C盘，那么我的缓存路径应该是c:\Users\<用户名>\AppData\Local\Google\DriveFS，你可以丢到资源管理器地址栏回车确认是不是这个位置。 用户名换成你自己的，如果不是你自己的那么可能是Administrator，然后请Win+R，输入CMD确定。再输入命令： mklink /d <link_name> <target> <link_name>为原缓存缓存目录，<target>为新的缓存目录，如： mklink /d c:\Users\<用户名>\AppData\Local\Google\DriveFS d:\DriveFS 请不要在C：\Users ...文件夹中更改DriveFS的名称。而且需要先把DriveFS这个文件夹先移动(剪切)到目标位置然后执行这个命令。 注意：请务必在操作前右击程序点击退出应用。

    南猫 南猫
    cj 2020年2月25日
    0 68 0

  • Smart Resize：基于HTML5的在线批量裁剪图片工具

    简介 Smart Resize——也许是世界上最快且最智能的在线批量裁剪图片工具。 网站地址：https://www.smartresize.com/zh-cn（简体中文） 特点 1、基于HTML5的图片裁剪利器和其它在线图片裁剪工具不一样的是，Smart Resize全部基于HTML5，所有的图片裁剪及尺寸调整都在您的浏览器中进行，不需要上传至后端服务器，这也就意味着它能极速地处理您的图片，无任何文件大小及尺寸的限制。也不需要安装额外的软件或插件，更没有繁琐的注册登录。 2、最智能的图片裁剪工具Smart Resize能智能地检测到每张图片的主次部分并自动裁剪、缩放到目标尺寸，它也能将图片中的人脸作为关键点加入到主体识别的算法中（可选），这个在批量裁剪中是非常方便实用的。所以您无需对每张图片犹豫该裁剪哪，全部交给Smart Resize吧。

    南猫 南猫
    cj 2019年12月29日
    0 45 0

  • thefuck：Linux中一款可以自动纠正前一个命令行错误的工具

    简介 你是不是经常在终端敲错命令？敲错命令，删掉重敲，很烦有没有？当你一再敲错的时候，内心一定是崩溃的，一定在默念What The FUCK!。就这样thefuck神器就诞生了。thefuck不仅能修复字符输入顺序的错误，在很多别的你想说fuck的情况下，thefuck依然有效，反正只要你因为命令的问题报错，就请fuck一下。 截图 示例 1、命令拼写不对 # puthon No command 'puthon' found, did you mean: Command 'python' from package 'python-minimal' (main) Command 'python' from package 'python3' (main) zsh: command not found: puthon # fuck python Python 3.4.2 2、命令输错 # git brnch git: 'brnch' is not a git command. See 'git --help'. Did you mean this? branch # fuck git branch * master 3、权限不够 # apt-get install vim E: Could not open lock file /var/lib/dpkg/lock - open (13: Permission denied) E: Unable to lock the administration directory (/var/lib/dpkg/), are you...

    南猫 南猫
    cj 2020年3月3日
    0 36 0

  • Linux VPS使用skicka将文件上传至Google Drive网盘，支持编辑/下载等

    说明：此前操作VPS和Google Drive网盘都是用的rclone挂载同步方法，教程查看：在Debian/Ubuntu上使用rclone挂载Google Drive网盘，现在再分享个方法，使用skicka来进行VPS和GD之间的同步操作，也可以操作网盘，比如创建文件/文件夹、编辑/下载等，速度都还不错，挺方便的。这里说下安装教程。 安装 Github地址：https://github.com/google/skicka 1、安装golang #32位系统下载 wget -O go.tar.gz https://dl.google.com/go/go1.13.3.linux-386.tar.gz #64位系统下载 wget -O go.tar.gz https://dl.google.com/go/go1.13.3.linux-amd64.tar.gz #解压压缩包 tar -zxvf go.tar.gz -C /usr/local #设置环境变量，将以下一起复制进ssh客户端运行 mkdir $HOME/go echo 'export GOROOT=/usr/local/go export GOPATH=$HOME/go export PATH=$PATH:$GOROOT/bin:$GOPATH/bin' >> /etc/profile source /etc/profile #查看go版本，有输出即为安装成功 go version 2、安装git #Debian/Ubuntu系统 apt -y install git #CentOS/RHEL系统 yum -y install git 3、安装skicka go get github.com/google/skicka mv /root/go/bin/skicka /usr/local/bin #初始化 skicka init 此时会创建一个配置文件，大致路径为/root/.skicka.config.，由于默认的api停用了，这里我们就编辑该配置文件，进行如下修改： #需要修改以下2行 ;clientid=YOUR_GOOGLE_APP_CLIENT_ID ;clientsecret=YOUR_GOOGLE_APP_SECRET #改成以下2行 clientid=850428714661-757h6cilp37g2us5tuh9vg2a0ki3edr7.apps.googleusercontent.com clientsecret=pHNfSgpcdZHNAn_FDua5Ke6w 这里由博主提供的api，如果你不放心，可以自己申请api，申请教程参考→传送门。 #授权 skicka -no-browser-auth ls 然后会出现如下信息： [root@Rats ~]# skicka -no-browser-auth ls Go to the following link in your browser: #将得到的链接在浏览器打开，授权获取验证码 Enter verification code:...

    南猫 南猫
    cj 2019年11月17日
    0 42 0

  • TeleShellBot：通过Telegram机器人远程执行shell命令

    简介 TeleShellBot是我脑洞大开的时候写的一个简单的telegram机器人，可以帮你远程执行shell命令，从而让你可以在手机上操作你的服务器。 截图 教程 Github地址：https://github.com/marknote/TeleShellBot 1、安装 git clone https://github.com/marknote/TeleShellBot.git cd TeleShellBot npm install git和npm安装请参考：Debian/Ubuntu/CentOS安装最新版的Node.js和NPM教程，Debian/Ubuntu/CentOS安装Git教程。 2、配置根据Telegram instructions去创建一个机器人的UserID，然后将UserID和BOT token放到config.js里面。 module.exports = { config:function(){ return ( { adminUsers:[ADMIN_ID], //admin users' telegram id, should be numbers botToken: 'YOUR_BOT_TOEKN', // bot token } ); } }; 3、运行 npm start or node index.js

    南猫 南猫
    cj 2019年12月19日
    0 45 0

  • Xshell 6官方永久免费版，可解决评估期已过的提示问题

    说明：Xshell是一个功能强大的SSH客户端，支持Telnet、Rlogin、SSH、SFTP、Serial等协议，用的人很多，一般我们从网上下载的正版很多是商业版，试用期就1个月，到期后会提示评估期已过，然后购买许可证才能用，这时候估计很多人会去找破解版，很多破解版很容易失效，还不安全。不过还好的是，Xshell 6官方还提供了免费的教育版，功能上和商业版是差不多的，足够我们使用了，这里就提一下，也许还有一些人不知道。 使用 官方版本下载地址：点击访问，目前提供Xshell 6和Xftp 6的教育免费版。 进去后，点击Download，填入你的邮箱等信息，然后直接去邮箱获取下载地址，最后下载安装即可。 如果你之前已经安装过Xshell，但提示评估期已过，那么下载教育版后，直接覆盖安装更新就好了。

    南猫 南猫
    cj 2020年3月30日
    0 53 0

  • 如何查看无人机是否开启了FCC，及开启方法

    说明：之前博主发过几篇无人机开启FCC的教程，查看：大疆无人机通过开启FCC增大遥控距离，通过群里很多玩家的提问来看，大多数都不知道怎么样才算开启成功了，所以博主就单独拿该问题来发篇文章。 目前市面上常见的大疆无人机分为这几类，精灵3系列，精灵4系列，御系列，悟系列，高端玩家M600P系列。每一系列开启FCC后的状态不同，方法也有所差异，这里就介绍下如何判断自己是否开启了FCC。 注意：以下内容仅作技术交流，请勿用于实际用途，并且请按照当地法律法规操作无线电，否则后果自负！ 提示：如果对于FCC不懂的，可以去该论坛提问，地址：www.pilotbbs.com，里面会有大神帮助你。 精灵3系列 1、判断方法因为精灵3系列（包括3s、3p、3se、3 4k等），图传采用Lightbridge图传方案或WIFI图传，不像御系列，是采用OcuSync的高清数字图传系统。因此不能通过看4KM线条在纵坐标100以上来判断。那你说了，没法看，我怎么知道我开启成功了呢？简单，通过飞行测试。你在没开启的情况下，可以飞多远，然后同方向、同高度进行飞行测试，飞行距离比之前远的很明显就是开启成功。 2、开启方法精灵3s、3 4k由于采用的是WIFI图传，因此开启方法有专用的工具，该工具会在群内分享，可以通过下方留的QQ群加群。不会用的可以在群里问下。精灵3系类其它飞机，建议是采用降级固件的方案，因为最新的固件就算你开启了FCC效果也不明显，实际测试过。降级过后再配合开启FCC，就可以像精灵3系列刚出来一样爽飞了。当然，你说有多爽，我觉得能问出这句话的，建议你买御哈苏，毕竟新机器，钱也到位了。御哈苏的图传比御姐升级了不少，除了价格贵，其他都挺好。 精灵4系列 1、判断方法精灵4系列（包括4a、4p），开启FCC不能看图传状态，不过开启32信道是可以明显的看出来的。信道数量增加到了32，会数数的应该都懂。那么如何判断是否开启FCC，方法也是通过飞行测试。 2、开启方法不论安卓还是苹果都可以用低版本的APP来导入配置文件开启FCC，具体的方法可以查看教程→传送门。目前不论安卓还是苹果，最新APP均已支持开启FCC，有需要依然可以通过下方留的QQ群加群。最新苹果APP不仅可以开启FCC，还可以同时开启32信道，信号和图传都得到了加强，效果很好。 御系列及精灵4P 2.0 1、判断方法大疆御系列无人机包括(air、pro、御2)，其中air是WIFI图传，和其他两款不同。精灵4P 2.0因为采用了和御2一样的图传技术，因此我们放在一起讨论。其中AIR是通过看信道判断，没开启的情况下，可以看到12、13两个信道，开启后，就没有这两个信道了。其他的都是存在的。 下图为air没开启FCC的状态，还有12和13两个信道。 下图为air开启了FCC的状态，12和13信道没有了。 御姐和御2系列、精灵4p 2.0无人机都可以通过看4M的线条在纵坐标100以上来判断，没开启的话4KM的线条在100以下。下图为开启FCC成功的状态。 2、开启方法愿意自己捣腾的用户可以使用低版本的APP来导入配置文件开启FCC或者BOOST，教程查看→传送门，但是低版本APP不支持御2、精灵4p 2.0等机型。 M600P系列 1、判断方法和精灵3系列的相同，只有通过飞行测试感受出来。 2、开启方法因为使用的是DJI GO，目前最新的DJI GO还没有直接破解的，开启方法较为复杂，建议加群咨询大神们。 总结

    南猫 南猫
    cj 2019年11月2日
    0 65 0