1. 南猫Home
  2. cj

一个基于Python 3的Pixiv爬虫，可下载画师和排行榜原图

南猫 • • cj • 49 views

说明：P站很多人不陌生了，这里分享个萌咖写的爬虫脚本，基于Python3，可直接下载排行榜、画师的原图。无需登录，无需cookies，也不需要其它依赖，使用纯Python原生模块，支持多线程下载，支持过滤已下载。由于官方需要登录才能下载原图，这里就绕过了官方，直接获取下载原图，毕竟不是原图就没得意义了，有需求的可以收藏下。

截图

请输入图片描述

使用

Github地址：https://github.com/MoeClub/Pixiv

要求：Python 3、网络能访问Pixiv站。

1、安装Python 3

#CenOS 6系统
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm
yum install python34 -y

#CenOS 7系统
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum install python36 -y

#Debian 7、8系统
apt update
apt install python3 -y

Debian 9、10和Ubuntu系统自带Python 3，无需安装，可直接进行下一步。

2、下载脚本

wget https://raw.githubusercontent.com/MoeClub/Pixiv/master/pixiv.py

脚本默认25线程，想改的话，直接编辑脚本，搜索25，改成相应数字就可以了。

#下载画师原图，使用画师UID即可
python3 pixiv.py "673179" 
   
#下载排行榜原图，使用排行榜地址即可    
python3 pixiv.py "https://www.pixiv.net/ranking.php?mode=male"



原创文章，作者：南猫，如若转载，请注明出处：https://southcat.net/2435/


不妨点个广告再走嘛
Like (0)
南猫南猫
0 0
Previous 2019年10月14日 am2:33
Next 2019年10月14日 pm1:44

相关推荐

  • 一个免费、安全、稳定、高效的发卡系统：ZFAKA安装教程

    简介 ZFAKA是一款开源的基于yaf+layui开发的发卡系统，永久免费，支持支付宝当面付，支付宝即时到账，码支付，有赞支付。 截图 功能介绍 #会员模块 默认情况下，不支持注册，当然后台可以开放注册；注册成会员可查看历史购买记录。 #购买模块 支持自动发卡和手工发卡模式。 #后台模块 包含订单模块、商品模块、配置模块、卡密导入导出等。 #支付渠道 支付宝当面付，支付宝即时到账，码支付，有赞支付。 安装 Github地址：https://github.com/zlkbdotnet/zfaka 1、安装LNMP wget http://soft.vpser.net/lnmp/lnmp1.5.tar.gz -cO lnmp1.5.tar.gz && tar zxf lnmp1.5.tar.gz && cd lnmp1.5 && ./install.sh lnmp 这里可以选择安装Mysql 5.5、PHP 7.1。 2、添加域名 lnmp vhost add 输入你添加的域名，如果你需要使用自动签发的SSL证书，需要提前将域名解析到服务器。 #添加域名时，这2个选n Allow Rewrite rule? (y/n) n Enable PHP Pathinfo? (y/n) n 3、下载程序源码 cd /home/wwwroot/xx.com git clone https://github.com/zlkbdotnet/zfaka.git mv zfaka/* ./ chown www:www -R ./ mv ./conf/application.ini.new ./conf/application.ini 4、nginx配置修改编辑域名配置文件： #xx.com为你添加的域名 nano /usr/local/nginx/conf/vhost/xx.com.conf 进行如下修改： #将root后面的参数加个public root /home/wwwroot/southcat.net/public; #在配置文件里找个地方添加以下代码 location / { if (!-e $request_filename) { rewrite ^/(.*)$ /index.php?$1 last; } } 然后使用lnmp nginx restart命令重启Nginx。 5、允许跨目录访问由于该网站目录是在public下，LNMP默认是不允许跨目录访问的，所以这里需要将防跨目录访问的设置去掉，不然会出现HTTP...

    南猫 南猫
    cj 2019年11月21日
    0 49 0

  • 使用Docker快速安装NextCloud个人私有云盘

    说明：NexCould是一款不错，也很漂亮的个人私有云网盘，现在使用的人是越来越多了，之前发过一篇常规的搭建教程，参考：一款不错的个人私有云：NextCloud安装教程，鉴于很多人在搭建过程中或多或少都会出点问题，今天博主发个很方便的安装方法，就是用Docker安装NextCloud，看到网上很多这样的教程都是通过编辑docker-compose.yml文件来安装的，还要配置反向代理，期间容易出现很多问题，对新手很不友好，而本教程使用纯命令形式安装，不容易出问题，适合尝鲜的新手。 截图 更新 Docker镜像已替换成更新比较频繁，体积更加小的镜像，使用的是最新稳定版Alpine Linux，环境为PHP 7和Nginx。 安装 Github地址：https://github.com/chrootLogin/docker-nextcloud 1、安装Docker #CentOS 6 rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm yum update -y yum -y install docker-io service docker start chkconfig docker on #CentOS 7、Debian、Ubuntu curl -sSL https://get.docker.com/ | sh systemctl start docker systemctl enable docker 2、安装Nextcloud #拉取Mysql镜像，记得修改数据库信息 docker run --name mysqlnc -d \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=moerats \ -e MYSQL_DATABASE=moerats \ -e MYSQL_USER=moerats \ -e MYSQL_PASSWORD=moerats \ -v /root/nextcloud/mysql:/var/lib/mysql \ mysql:5.7 #拉取Nextcloud镜像 docker run -d --name nextcloud --link mysqlnc \ -v /root/nextcloud/data:/data \ -p 3000:80 \ rootlogin/nextcloud 访问地址为http://IP:3000，启动命令里的3000端口可自行替换，不过后面有关端口的命令都自行修改，/root/nextcloud为网盘的数据库，也可以自行修改。 对于CentOS系统，还需要开启3000端口，开启如下： #CentOS 6 iptables -I INPUT...

    南猫 南猫
    cj 2020年2月13日
    0 82 0

  • ProjectSECURITY：一款多功能强大的网站安全程序

    简介 ProjectSECURITY是一个功能强大的网站安全应用程序，可以保护您的网站免受黑客，攻击和其他威胁。它可以保护您的网站免受 SQLi攻击（SQL注入），大规模请求（Flood/DDOS），XSS漏洞，代理访问者，垃圾邮件发送者，恶意文件（Shell）以及许多其他类型的威胁。 本地下载地址：ProjectSECURITY官方正版及技术支持：点击查看 安装说明 通过FTP从主机上的 “源” 文件夹上传文件，创建一个MySQL数据库（您的主机提供商可以协助)，访问您上传文件的网站（yourwebsite.com/projectsecurity_folder/）安装向导将自动打开，只需按照步骤操作即可。PS: 最好先重命名主站点下的.htaccess 安装过程 类似Wordpress程序进行附截图（网页已汉化）安装脚本部分汉化，运行yourwebsite.com/projectsecurity_folder/，自动跳转到安装程序. 配置网站后台管理员用户 成功安装ProjectSECURITY 输入方才填写的管理员后台帐号密码即可进入后台 在你的程序的heade.php或所需保护的页面添加API调用即可至此完成对接可在ProjectSecurity后台设置方可生效 总结 对于ProjectSECURITY如果真的靠WEB脚本来防止DDOS和CC等，那么抗攻击机房就没有什么事情做了。有兴趣的可以安装试试。只是起到一定作用，不能抱太大希望。 后台功能一览

    南猫 南猫
    cj 2020年3月25日
    0 43 0

  • Holer：又一款带Web管理界面的内网穿透工具

    说明：博主去年介绍过一个免费的内网穿透工具Holer，它可以将局域网服务器代理到公网的内网穿透工具，支持转发基于TCP等协议的报文，不过那时候服务端并未开源，由作者免费提供服务，现在服务端代码已经开源了，而且带Web管理面板，该类似面板博主介绍过不少了，这里就大概说下，我们就可以拿来自建一个内网穿透服务器，使用效果还不错。 截图 安装服务端 Github地址：https://github.com/Wisdom-Projects/holer 支持系统：Windows、Linux系统，这里只说Linux搭建，建议直接Debain。 说明：由于该面板使用的JAVA，所以还是比较消耗内存的，如果内存太小，建议先加一点虚拟内存，可以使用Swap一键脚本→传送门。 1、安装JAVA #CentOS系统 yum install java-1.8.0-openjdk -y #Debian/Ubuntu系统 apt update apt install default-jdk -y 2、安装Mysql #CentOS 6系统 rpm -ivh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm yum install mysql-community-server -y service mysqld start chkconfig mysqld on #CentOS 7系统 rpm -ivh http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server -y systemctl start mysqld systemctl enable mysqld #Debian/Ubuntu系统 apt install mysql-server -y 如果Debian或Ubuntu在安装期间有弹出窗口要你输入密码就设置一个，没有的话密码就是空格。 修改数据库密码： #CentOS系统，第一行登录数据库的时候直接Enter跳过，第二行moerats为要修改的密码，自行修改 mysql -u root -p mysql> set password=password("moerats"); mysql> exit; #Debian、Ubuntu系统，第一行登录数据库的时候直接Enter跳过，第二行moerats为要修改的密码，自行修改 mysql -u root -p mysql> UPDATE mysql.user SET authentication_string=PASSWORD('moerats'), PLUGIN='mysql_native_password' WHERE USER='root'; mysql> exit; 最后修改过密码的还需要重启数据库： #CentOS系统 service mysqld restart #Debian和Ubuntu系统 systemctl restart...

    南猫 南猫
    cj 2020年2月27日
    0 56 0

  • 分享2款网站程序源码/主题等后门检测工具

    说明：我们很多人都喜欢从网上找一些未知来源的网站程序源码，或者一些主题。如果运气不好，这些被植入后门的话，别人就可以很轻松的获得服务器的执行操作权限，比如执行系统命令、窃取用户数据、删除web页面、修改主页等，其危害还是挺大的，所以我们在使用前就需要亲自检测下，看是否含有后门，这里就分享2种检测工具，分别是D盾_Web查杀和WebShellkiller。 WebShellkiller WebShellkiller作为一款web后门专杀工具，不仅支持webshell的扫描，同时还支持暗链的扫描。这是一款融合了多重检测引擎的查杀工具。在传统正则匹配的基础上，采用模拟执行，参数动态分析监测技术、webshell语义分析技术、暗链隐藏特征分析技术，并根据webshell的行为模式构建了基于机器学习的智能检测模型。传统技术与人工智能技术相结合、静态扫描和动态分析相结合，更精准地检测出WEB网站已知和未知的后门文件。下载地址：官方下载，本地下载 D盾_Web查杀

    南猫 南猫
    cj 2019年12月16日
    0 34 0

  • 很好用的DHT磁力链接搜索引擎快速安装方法

    说明 纸上烤鱼是从浩瀚的DHT网络（UDP）中获取磁力链接（magnet）信息的搜索引擎，主要分为爬虫、网站、数据库、索引，爬虫基于socket、bencode库，网站基于flask库，数据库为mysql，索引为sphinx，请勿用于非法用途。 SSBC安装方法可参考：手撕包菜SSBC DHT磁力链一键安装包。 安装 Github地址：https://github.com/wenguonideshou/zsky系统环境：centos7 python2.7。主机要求：至少1G内存、100G硬盘，1G SWAP，具有公网IP的国外主机/服务器 安装命令： wget https://www.southcat.net/usr/shell/zsky.sh && sh zsky.sh 相关操作 修改simdht_worker.py里的max_node_qsize的大小调节爬取速度（队列大小） 执行python manage.py init_db创建表/平滑升级表结构 执行python manage.py create_user 建管理员 执行python manage.py changepassword修改管理员密码 执行systemctl start gunicorn启动网站 执行systemctl start mariadb启动数据库 执行systemctl status mariadb查看数据库运行状态 执行systemctl restart mariadb重新启动数据库 执行systemctl status gunicorn查看gunicorn运行状态 执行systemctl restart gunicorn 重新启动网站 执行systemctl restart indexer手动重新索引 执行systemctl start searchd开启搜索进程 执行systemctl status searchd查看搜索进程运行状态 执行systemctl restart searchd 重新启动搜索进程 相关问题 Q:如何绑定多个域名？ A：在/etc/nginx/nginx/nginx.conf文件内修改，多个域名用空格隔开，修改完成后执行nginx -s reload生效 Q：如何修改站点名？ A：修改manage.py里的常量sitename Q：如何修改地图里的域名？ A：修改manage.py里的常量domain Q：如何修改后台地址？ A：修改manage.py中的以下语句中的url=后面的地址： admin = Admin(app,name='管理中心',base_template='admin/my_master.html',index_view=MyAdminIndexView(name='首页',template='admin/index.html',url='/fucku')) Q：如何屏蔽违禁词 A：在sensitivewords.txt这个文件里面添加违禁词，一行一个，支持.*?等正则符号，添加完成后systemctl restart gunicorn生效 Q：如何实现远程主机反向代理本机的程序？ A：修改本机的/etc/systemd/system/gunicorn.service其中的127.0.0.1:8000修改为0.0.0.0:8000然后执行systemctl daemon-reload，然后执行systemctl restart gunicorn，本机不开启nginx，远程主机开启nginx、配置反向代理、绑定域名即可，nginx的配置文件参考程序内的nginx.conf 。 Q：如何限制/提高爬取速度？ A：修改simdht_worker.py里的max_node_qsize=后面的数字，越大爬取越快，越小爬取越慢 Q：如何修改数据库密码？ A：执行mysqladmin -uroot -p password 123456!@#$%^...

    南猫 南猫
    cj 2020年2月10日
    0 53 0

  • Linux VPS使用rtorrent下载BT种子，并在线观看

    说明：rTorrent是一个非常简洁、优秀、非常轻量的命令行BT下载客户端，和Aria2一样，既可以使用命令行下载，也可以配合自己的Web前端进行控制操作。很多都喜欢用rTorrent配合前端ruTorrent一起使用，毕竟有个图形界面方便些，不过配置起来挺麻烦的，博主觉得单独使用rtorrent下载BT文件速度还可以，操作也不难，关键安装很简单，很适合临时下载BT文件的人。 安装 执行下列命令： #CentOS系统 yum install rtorrent -y #Debian/Ubuntu系统 apt-get update -y apt-get install rtorrent -y 使用 先将需要下载的BT文件上传至VPS一个文件夹，比如home。然后运行rtorrent，使用命令： rtorrent 这时候会出现一个界面，如果显示Could not read resource file: ~/.rtorrent.rc，这是缺少配置文件，可以不用管。然后按Enter，会出现load.normal>命令行。这时候在后面输入你的BT文件路径，比如: load.normal> /home/xx.torrent 确定后，会出现如下界面： 然后按一下键盘↑或↓键，下载列表左边出现*后，按Ctrl+s即可下载。最后下载的BT在/root文件夹。 配置 如果你要使用更多的功能，就需要新建.rtorrent.rc配置文件了。 nano /root/.rtorrent.rc 复制下列参数，不需要的可以不复制，这里只列举常用的一些配置，更多配置：点击查看。 #正在下载和已完成种子的最大和最小节点数 throttle.min_peers.normal.set = 100 throttle.max_peers.normal.set = 100 throttle.min_peers.seed.set = 100 throttle.max_peers.seed.set = 100 #每个种子最大同时上传数 throttle.max_uploads.set = 20 #最大上传和下载速度，0为无限制 throttle.global_down.max_rate.set_kb = 0 throttle.global_up.max_rate.set_kb = 0 #BT下载后保存的目录 directory.default.set = /root/rtorrent/download #设置会话目录，重新启动rTorrent时，所有以前加载的种子将被恢复 session.path.set = /root/rtorrent/.session #设置种子目录，添加种子自动下载，种子删除后自动停止 schedule2 = watch_directory,5,5,load_start=/root/rtorrent/.watch/*.torrent schedule2 = untied_directory,5,5,stop_untied= #服务器硬盘低于200M时停止下载 schedule2 = low_diskspace,5,60,close_low_diskspace=200M #监听的端口范围 network.port_range.set = 5555-8888 network.port_random.set = no #连接UDP trackers trackers.use_udp.set = yes #当trackers失效后，启用DHT...

    南猫 南猫
    cj 2020年1月18日
    0 30 0

  • 可以直接获取并下载Google Play APK的镜像站

    Google Play官网：https://play.google.com/store 1、可以直接搜索应用名并下载的，但需要爬Q http://apkleecher.com/ http://apk-dl.com/ https://apkpure.com/ http://www.apksmart.com/ https://tingyuan.me/apkdownload/ https://androidappsapk.co/apkdownloader/

    南猫 南猫
    cj 2020年3月17日
    0 48 0

  • 一款带Web管理面板的内网穿透工具：lanproxy使用教程

    说明：博主今天找Frp管理面板的时候，无意间发现了lanproxy内网穿透工具，自带Web管理面板，让我们在服务端配置方便了很多，而且一个服务端可以支持多个客户端连接，看起来还不错，这里就分享下。 简介 lanproxy是一个将局域网个人电脑、服务器代理到公网的内网穿透工具，目前仅支持tcp流量转发，可支持任何tcp上层协议，可用作访问内网网站、本地支付接口调试、SSH访问、远程桌面等等，而且带Web在线管理面板，添加端口配置十分简单。 截图 相关链接 主页地址：https://nat.io2c.com/Github地址：https://github.com/ffay/lanproxy发布包下载：https://seafile.cdjxt.net/d/2e81550ebdbd416c933f/ 服务端安装 服务端需要安装在一个有公网IP的服务器上，系统为Linux/Windows均可。 1、安装JAVAjava版本至少为1.7，查看命令为java -version，如果没安装可参考：Linux/Windows系统安装最新版JAVA教程。 2、Linux系统安装首先下载发布包，服务端发布包下载地址：点击进入。 #下载最新发布包 wget -O proxy-server-0.1.zip 'https://seafile.cdjxt.net/d/2e81550ebdbd416c933f/files/?p=/proxy-server-0.1.zip&dl=1' #解压发布包 unzip proxy-server-0.1.zip #进入到文件夹 cd proxy-server-0.1 然后编辑配置文件conf/config.properties，参考如下： server.bind=0.0.0.0 #与代理客户端通信端口 server.port=4900 #ssl相关配置 server.ssl.enable=true server.ssl.bind=0.0.0.0 server.ssl.port=4993 server.ssl.jksPath=test.jks server.ssl.keyStorePassword=123456 server.ssl.keyManagerPassword=123456 #这个配置可以忽略 server.ssl.needsClientAuth=false #WEB在线配置管理相关信息 config.server.bind=0.0.0.0 config.server.port=8090 config.admin.username=admin config.admin.password=admin 运行lanproxy： cd /root/proxy-server-0.1/bin chmod +x startup.sh ./startup.sh 然后打开地址http://ip:8090，使用上面配置中配置的用户名密码登录，进入Web管理面板，且配置数据存放在~/.lanproxy/config.json文件中。 #如果打不开Web界面，就需要开启防火墙，一般CentOS系统出现情况最多 #Centos 6系统 iptables -I INPUT -p tcp --dport 8090 -j ACCEPT service iptables save service iptables restart #CentOS 7系统 firewall-cmd --zone=public --add-port=8090/tcp --permanent firewall-cmd --reload 3、Windows系统安装方法参考上面，只是启动的时候双击bin文件夹里的startup.bat即可运行。 客户端使用 客户端一般安装在一个内网的VPS服务器或Windows电脑上使用。这里说下JAVA和非JAVA两个客户端的使用方法，客户端下载地址：点击进入。 1、配置服务端首先我们通过http://ip:8090进入服务端Web管理界面，先添加客户端，名称随便填。然后点击刚刚添加的客户端名称，再添加配置，设置公网端口，后端IP:端口。截图的配置意思是将内网的888端口映射到服务器的8080端口，也就是访问服务器ip:8080等于访问内网ip:888。 这时候基本配置好了一个客户端节点，且该节点可以供多个客户端使用。 2、JAVA客户端使用本版本需要安装java，且版本依然至少为1.7，查看命令为java -version，如果没安装可参考：Linux/Windows系统安装最新版JAVA教程。 然后进入客户端下载地址，下载proxy-java-client-0.1.zip，再将文件解压到服务器或者Windows电脑上，编辑conf/config.properties配置文件，修改如下： #与在proxy-server配置后台创建客户端时填写的秘钥保持一致； client.key= ssl.enable=true ssl.jksPath=test.jks ssl.keyStorePassword=123456 #这里填写实际的proxy-server地址；没有服务器默认即可，自己有服务器的更换为自己的proxy-server（IP）地址 server.host=lp.thingsglobal.org #proxy-server...

    南猫 南猫
    cj 2020年2月23日
    0 41 0

  • Let's Encrypt将从2018年1月起免费提供通配符证书

    说明：Let’s Encrypt从2018年1月起将要支持野卡泛域名SSL证书的申请。泛域名证书的域名可以填写为*.xx.com，那么所有xx.com的子域名，比如x.xx.com都可以使用同一张证书。 简介 引用wiki介绍：https://zh.wikipedia.org/wiki/Let%27s_EncryptLet's Encrypt是一个于2015年三季度推出的数字证书认证机构，将通过旨在消除当前手动创建和安装证书的复杂过程的自动化流程，为安全网站提供免费的SSL/TLS证书。Let's Encrypt是由互联网安全研究小组（ISRG，一个公益组织）提供的服务。主要赞助商包括电子前哨基金会，Mozilla基金会，Akamai以及思科。2015年4月9日，ISRG与Linux基金会宣布合作。用以实现这一新的数字证书认证机构的协议被称为自动证书管理环境（ACME）。GitHub上有这一规范的草案，且提案的一个版本已作为一个Internet草案发布。Let's Encrypt宣称这一过程将十分简单、自动化并且免费。 公告地址：https://letsencrypt.org//2017/07/06/wildcard-certificates-coming-jan-2018.html

    南猫 南猫
    cj 2019年11月2日
    0 34 0