说明:爬虫估计很多人知道,可以自动下载一些网站上面的图片,视频,这里说下使用FileManager
和爬虫建立影音、图片库,并分享几个美女站爬虫(1024
/mm131
/91
/mmjpg
)。想看美女的可以爬来看看。至于其他学习资料网站的爬虫,可以去Github
上找找。
提示:91爬虫已失效,现已移除该爬虫脚本。
截图
使用教程
注:以下部分爬虫由Eq博主提供。
爬虫使用python3
+requests
库编写,在Windows
系统和Linux
系统下都可以运行,大部分Ubuntu
、Debian
都含有Python3
,直接安装最新此系统就可以了。而CentOS
需要额外安装Python3
,这里只说下CentOS 7
系统使用方法。
1、安装FileManager网盘
教程参考:利用Caddy扩展快速安装FileManager私人网盘/在线文件管理器。
2、检查Python3并升级
查看Python3
是否安装
python3 -V
如果返回-bash: python3: command not found
,就使用Python 3.6
一键脚本进行安装:
wget https://www.southcat.net/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh
本脚本包含许多必需库,不会因为缺少依赖而出问题,如果不想用脚本的,也可以手动升级,教程参考:Linux CentOS升级Python 3.6版本方法。
3、安装requests库
pip3 install requests
4、创建文件夹
mkdir /usr/local/caddy/www/file/xx #用来存储文件
cd /usr/local/caddy/www/file/xx
5、下载并运行爬虫
#1024图片爬虫
wget https://www.southcat.net/usr/shell/Python3/1024_spider.py && python3 1024_spider.py
#mm131图片爬虫
wget https://www.southcat.net/usr/shell/Python3/mm131_spider.py && python3 mm131_spider.py
#mmjpg图片爬虫
wget https://www.southcat.net/usr/shell/Python3/mmjpg.py && python3 mmjpg.py
原创文章,作者:南猫,如若转载,请注明出处:https://southcat.net/1940/
不妨点个广告再走嘛
相关推荐
-
Linux VPS通过安装CPULimit来限制CPU使用率
说明:我们手上经常有很多廉价的VPS,有时候使用某些软件应用的时候,会出现CPU跑满的情况,而长时间跑满会被VPS商家停掉,所以这里我们需要想办法来限制进程CPU使用率,这里就说个教程。 简介 cpulimit命令的工作原理是为进程预设一个cpu占用率上限,并实时监控进程是否超出此上限,而做出动态调整。从而可以控制进程的cpu使用率的上限值。 安装 使用root运行命令: #debian/ubuntu系统 apt install -y cpulimit #RHEL/Centos/Fedora系统 yum install epel-release cpulimit 使用 cpulimit -h Usage: cpulimit [OPTIONS...] TARGET OPTIONS -l, --limit=N percentage of cpu allowed from 0 to 100 (required)//cpu限制的百分比 -v, --verbose show control statistics//显示版本号 -z, --lazy exit if there is no target process, or if it dies//如果限制的进程不存在了,则退出。 -i, --include-children limit also the children processes//包括子进程。 -h, --help display this help and exit //帮助,显示参数 TARGET must be exactly one of these: -p, --pid=N pid of the process (implies -z) //进程的pid -e, --exe=FILE name of the executable program...
-
Vultr利用快照备份Snapshots功能快速的备份和迁移资料
说明:用了那么久的Vultr,直到今天才发现Vultr还有快照备份Snapshots功能,试了一下后感觉很好用,特别是对于我们经常喜欢换节点服务器的,其实很多商家都有提供Snapshots快照功能,不过别太依赖这个了,都会有翻车的时候,还是乖乖的手动备份下数据。 方法 1、备份数据进入Vultr面板,点击Snapshots选项,选择Add Snapshot,然后在Label那里填一个标签,再点击Take Snapshot。等待备份完成之后,我们才可以去创建。
-
一款强大的Linux免费web管理面板:VestaCP安装教程
简介 VestaCP是一款强大的Linux web控制面板,是由俄罗斯的人编写,支持中文,支持Apache、Nginx、Bind、Exim、Dovecot、vsftpd、MySQL等,提供可视化的网站管理面板,非常适合多用户使用。VestaCP还自带了免费邮局功能和VPS性能监控,还能通过web面板修改防火墙规则! 系统要求:支持Centos,Ubuntu,Debian,RHEL。 安装 1、安装VestaCP执行以下命令: curl -O http://vestacp.com/pub/vst-install.sh bash vst-install.sh 会让你输入email地址,域名,备份地址等,然后很快就装好了!最后会显示登录地址和用户名密码。
-
使用Google Drive File Stream后,C盘没空间/爆满的解决方法
说明:之前提到了Windows/Mac系统下挂载Google Drive网盘为本地硬盘使用,不过经使用存在着C盘很容易出现爆满的情况,查了下资料,发现是缓存没有清除导致的,这里就说下解决方法。 方法 原理就是利用Windows下的软链接命令做个"快捷方式",将缓存目录变相的丢进其它盘。 首先确认你的缓存位置,比如我这系统盘是C盘,那么我的缓存路径应该是c:\Users\<用户名>\AppData\Local\Google\DriveFS,你可以丢到资源管理器地址栏回车确认是不是这个位置。 用户名换成你自己的,如果不是你自己的那么可能是Administrator,然后请Win+R,输入CMD确定。再输入命令: mklink /d <link_name> <target> <link_name>为原缓存缓存目录,<target>为新的缓存目录,如: mklink /d c:\Users\<用户名>\AppData\Local\Google\DriveFS d:\DriveFS 请不要在C:\Users ...文件夹中更改DriveFS的名称。而且需要先把DriveFS这个文件夹先移动(剪切)到目标位置然后执行这个命令。 注意:请务必在操作前右击程序点击退出应用。
-
Smart Resize:基于HTML5的在线批量裁剪图片工具
简介 Smart Resize——也许是世界上最快且最智能的在线批量裁剪图片工具。 网站地址:https://www.smartresize.com/zh-cn(简体中文) 特点 1、基于HTML5的图片裁剪利器和其它在线图片裁剪工具不一样的是,Smart Resize全部基于HTML5,所有的图片裁剪及尺寸调整都在您的浏览器中进行,不需要上传至后端服务器,这也就意味着它能极速地处理您的图片,无任何文件大小及尺寸的限制。也不需要安装额外的软件或插件,更没有繁琐的注册登录。 2、最智能的图片裁剪工具Smart Resize能智能地检测到每张图片的主次部分并自动裁剪、缩放到目标尺寸,它也能将图片中的人脸作为关键点加入到主体识别的算法中(可选),这个在批量裁剪中是非常方便实用的。所以您无需对每张图片犹豫该裁剪哪,全部交给Smart Resize吧。
-
thefuck:Linux中一款可以自动纠正前一个命令行错误的工具
简介 你是不是经常在终端敲错命令?敲错命令,删掉重敲,很烦有没有?当你一再敲错的时候,内心一定是崩溃的,一定在默念What The FUCK!。就这样thefuck神器就诞生了。thefuck不仅能修复字符输入顺序的错误,在很多别的你想说fuck的情况下,thefuck依然有效,反正只要你因为命令的问题报错,就请fuck一下。 截图 示例 1、命令拼写不对 # puthon No command 'puthon' found, did you mean: Command 'python' from package 'python-minimal' (main) Command 'python' from package 'python3' (main) zsh: command not found: puthon # fuck python Python 3.4.2 2、命令输错 # git brnch git: 'brnch' is not a git command. See 'git --help'. Did you mean this? branch # fuck git branch * master 3、权限不够 # apt-get install vim E: Could not open lock file /var/lib/dpkg/lock - open (13: Permission denied) E: Unable to lock the administration directory (/var/lib/dpkg/), are you...
-
Linux VPS使用skicka将文件上传至Google Drive网盘,支持编辑/下载等
说明:此前操作VPS和Google Drive网盘都是用的rclone挂载同步方法,教程查看:在Debian/Ubuntu上使用rclone挂载Google Drive网盘,现在再分享个方法,使用skicka来进行VPS和GD之间的同步操作,也可以操作网盘,比如创建文件/文件夹、编辑/下载等,速度都还不错,挺方便的。这里说下安装教程。 安装 Github地址:https://github.com/google/skicka 1、安装golang #32位系统下载 wget -O go.tar.gz https://dl.google.com/go/go1.13.3.linux-386.tar.gz #64位系统下载 wget -O go.tar.gz https://dl.google.com/go/go1.13.3.linux-amd64.tar.gz #解压压缩包 tar -zxvf go.tar.gz -C /usr/local #设置环境变量,将以下一起复制进ssh客户端运行 mkdir $HOME/go echo 'export GOROOT=/usr/local/go export GOPATH=$HOME/go export PATH=$PATH:$GOROOT/bin:$GOPATH/bin' >> /etc/profile source /etc/profile #查看go版本,有输出即为安装成功 go version 2、安装git #Debian/Ubuntu系统 apt -y install git #CentOS/RHEL系统 yum -y install git 3、安装skicka go get github.com/google/skicka mv /root/go/bin/skicka /usr/local/bin #初始化 skicka init 此时会创建一个配置文件,大致路径为/root/.skicka.config.,由于默认的api停用了,这里我们就编辑该配置文件,进行如下修改: #需要修改以下2行 ;clientid=YOUR_GOOGLE_APP_CLIENT_ID ;clientsecret=YOUR_GOOGLE_APP_SECRET #改成以下2行 clientid=850428714661-757h6cilp37g2us5tuh9vg2a0ki3edr7.apps.googleusercontent.com clientsecret=pHNfSgpcdZHNAn_FDua5Ke6w 这里由博主提供的api,如果你不放心,可以自己申请api,申请教程参考→传送门。 #授权 skicka -no-browser-auth ls 然后会出现如下信息: [root@Rats ~]# skicka -no-browser-auth ls Go to the following link in your browser: #将得到的链接在浏览器打开,授权获取验证码 Enter verification code:...
-
TeleShellBot:通过Telegram机器人远程执行shell命令
简介 TeleShellBot是我脑洞大开的时候写的一个简单的telegram机器人,可以帮你远程执行shell命令,从而让你可以在手机上操作你的服务器。 截图 教程 Github地址:https://github.com/marknote/TeleShellBot 1、安装 git clone https://github.com/marknote/TeleShellBot.git cd TeleShellBot npm install git和npm安装请参考:Debian/Ubuntu/CentOS安装最新版的Node.js和NPM教程,Debian/Ubuntu/CentOS安装Git教程。 2、配置根据Telegram instructions去创建一个机器人的UserID,然后将UserID和BOT token放到config.js里面。 module.exports = { config:function(){ return ( { adminUsers:[ADMIN_ID], //admin users' telegram id, should be numbers botToken: 'YOUR_BOT_TOEKN', // bot token } ); } }; 3、运行 npm start or node index.js
-
Xshell 6官方永久免费版,可解决评估期已过的提示问题
说明:Xshell是一个功能强大的SSH客户端,支持Telnet、Rlogin、SSH、SFTP、Serial等协议,用的人很多,一般我们从网上下载的正版很多是商业版,试用期就1个月,到期后会提示评估期已过,然后购买许可证才能用,这时候估计很多人会去找破解版,很多破解版很容易失效,还不安全。不过还好的是,Xshell 6官方还提供了免费的教育版,功能上和商业版是差不多的,足够我们使用了,这里就提一下,也许还有一些人不知道。 使用 官方版本下载地址:点击访问,目前提供Xshell 6和Xftp 6的教育免费版。 进去后,点击Download,填入你的邮箱等信息,然后直接去邮箱获取下载地址,最后下载安装即可。 如果你之前已经安装过Xshell,但提示评估期已过,那么下载教育版后,直接覆盖安装更新就好了。
-
如何查看无人机是否开启了FCC,及开启方法
说明:之前博主发过几篇无人机开启FCC的教程,查看:大疆无人机通过开启FCC增大遥控距离,通过群里很多玩家的提问来看,大多数都不知道怎么样才算开启成功了,所以博主就单独拿该问题来发篇文章。 目前市面上常见的大疆无人机分为这几类,精灵3系列,精灵4系列,御系列,悟系列,高端玩家M600P系列。每一系列开启FCC后的状态不同,方法也有所差异,这里就介绍下如何判断自己是否开启了FCC。 注意:以下内容仅作技术交流,请勿用于实际用途,并且请按照当地法律法规操作无线电,否则后果自负! 提示:如果对于FCC不懂的,可以去该论坛提问,地址:www.pilotbbs.com,里面会有大神帮助你。 精灵3系列 1、判断方法因为精灵3系列(包括3s、3p、3se、3 4k等),图传采用Lightbridge图传方案或WIFI图传,不像御系列,是采用OcuSync的高清数字图传系统。因此不能通过看4KM线条在纵坐标100以上来判断。那你说了,没法看,我怎么知道我开启成功了呢?简单,通过飞行测试。你在没开启的情况下,可以飞多远,然后同方向、同高度进行飞行测试,飞行距离比之前远的很明显就是开启成功。 2、开启方法精灵3s、3 4k由于采用的是WIFI图传,因此开启方法有专用的工具,该工具会在群内分享,可以通过下方留的QQ群加群。不会用的可以在群里问下。精灵3系类其它飞机,建议是采用降级固件的方案,因为最新的固件就算你开启了FCC效果也不明显,实际测试过。降级过后再配合开启FCC,就可以像精灵3系列刚出来一样爽飞了。当然,你说有多爽,我觉得能问出这句话的,建议你买御哈苏,毕竟新机器,钱也到位了。御哈苏的图传比御姐升级了不少,除了价格贵,其他都挺好。 精灵4系列 1、判断方法精灵4系列(包括4a、4p),开启FCC不能看图传状态,不过开启32信道是可以明显的看出来的。信道数量增加到了32,会数数的应该都懂。那么如何判断是否开启FCC,方法也是通过飞行测试。 2、开启方法不论安卓还是苹果都可以用低版本的APP来导入配置文件开启FCC,具体的方法可以查看教程→传送门。目前不论安卓还是苹果,最新APP均已支持开启FCC,有需要依然可以通过下方留的QQ群加群。最新苹果APP不仅可以开启FCC,还可以同时开启32信道,信号和图传都得到了加强,效果很好。 御系列及精灵4P 2.0 1、判断方法大疆御系列无人机包括(air、pro、御2),其中air是WIFI图传,和其他两款不同。精灵4P 2.0因为采用了和御2一样的图传技术,因此我们放在一起讨论。其中AIR是通过看信道判断,没开启的情况下,可以看到12、13两个信道,开启后,就没有这两个信道了。其他的都是存在的。 下图为air没开启FCC的状态,还有12和13两个信道。 下图为air开启了FCC的状态,12和13信道没有了。 御姐和御2系列、精灵4p 2.0无人机都可以通过看4M的线条在纵坐标100以上来判断,没开启的话4KM的线条在100以下。下图为开启FCC成功的状态。 2、开启方法愿意自己捣腾的用户可以使用低版本的APP来导入配置文件开启FCC或者BOOST,教程查看→传送门,但是低版本APP不支持御2、精灵4p 2.0等机型。 M600P系列 1、判断方法和精灵3系列的相同,只有通过飞行测试感受出来。 2、开启方法因为使用的是DJI GO,目前最新的DJI GO还没有直接破解的,开启方法较为复杂,建议加群咨询大神们。 总结