Tumblr内容丰富，特别是图片和视频。下面利用Tumblr爬虫，结合h5ai目录直读程序，或者其他图床程序，创建图库。
本方法需要一个Python 2.7的环境，CentOS 6升级Python 2.7方法请参考CentOS 6升级Python 2.6至Python 2.7的方法，CentOS 7自带python 2.7，下面使用CentOS 7和python 2.7。
使用tumblr-crawler爬虫
tumblr-crawler爬虫github项目地址：https://github.com/dixudx/tumblr-crawler
1、安装可能使用的依赖
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++
yum -y install readline-devel
2、安装tumblr-crawler
git clone https://github.com/dixudx/tumblr-crawler.git
cd tumblr-crawler
pip install -r requirements.txt
3、使用tumblr-crawler下载图片和视频
1、在sites.txt中添加tumblr站，用逗号分开，但不需要.tumblr.com后缀。如rat.tumblr.com和rats.tumblr.com
rat,rats
保存后，运行
python tumblr-photo-video-ripper.py
2、直接下载
python tumblr-photo-video-ripper.py rat,rats最后将所有图片和视频均保存在当前路径的与tumblr博客名字相同的文件夹
安装、使用h5ai
原创文章，作者：南猫，如若转载，请注明出处：https://southcat.net/1564/
不妨点个广告再走嘛
相关推荐
-
轻量级论坛Carbon Forum搭建教程
简介 Carbon Forum，一个高性能的、高安全性的、基于话题的PHP轻论坛。 优秀的架构，高效的代码，每个页面平均执行时间仅为1~5毫秒，同时恰当地使用异步加载技术，在SEO与用户体验间取得平衡。 论坛摒弃了版块、节点等概念，发帖时无需选择板块，系统根据帖子内容自动推荐话题供用户选择，并且有功能强大而不显冗余的富文本编辑器。 支持关注用户、关注话题等功能，可以作为一个社交网站使用。 官方Demo地址：https://www.94cb.com/ 截图 安装 1、安装准备首先需要搭建web环境，建议lnmp(可参考：https://lnmp.org/install.html)，然后添加域名并解析。 2、程序下载下载地址：https://github.com/lincanbin/Carbon-Forum，点击右上角的clone or download，下载zip包，解压并使用ftp工具上传到网站根目录。 3、建立数据库 mysql -uroot -pmypassword #root为mysql数据库用户名，mypassword为密码 create database carbon; 或者直接进入http://YOUR_IP/PhpMyAdmin(军哥lnmp一键包路径)建立carbon数据库。 4、配置nginx将下载的程序解压后的nginx.conf文件内容复制到域名vhost配置文件里。然后运行/etc/init.d/nginx restart重启nginx。
-
Linux VPS全自动DD安装Windows一键脚本
说明：该脚本支持在无vnc模式，无救援模式能dd进去windows。为我们在VPS上安装Window系统提供了方便。本教程提供了作者自制的Window 10、Window server 2012 r2的DD包及其它来源的Window 7、Window 2008的DD包，有兴趣的的可以折腾下。 更新 【2017.11.19】作者已制作出Windows 10、Window server 2012 r2系统模板。 一键脚本 适用范围：非OVZ架构，KVM、独立服务器均可使用。 命令行中运行： wget https://xiaofd.github.io/ddwin.sh && bash ddwin.sh -w http://直链地址 -d /dev/vda #备用地址 wget https://www.southcat.net/usr/shell/ddwin.sh && bash ddwin.sh -w http://直链地址 -d /dev/vda 类似这么使用，参数请自行修改，其中-w参数为http直连gzip压缩格式dd包链接，-d为dd目标硬盘位置，运行完脚本后等待就能dd成功了。 VNC界面可以看到类似网络重装的界面，有一个地方会一直卡住，那里就是在dd系统了，只要你的dd包下载没有问题，这部分等一等总会过去的。 DD Windows包 1、作者自制的Windows DD包 Windows 10(内存至少1G)： 谷歌网盘地址：https://drive.google.com/open?id=1TmErU8F4SDePUfXixyGJyPDCj4EfTqat #登录用户名和密码 Username: xiaofd Password: xiaofd.win Window server 2012 r2(内存至少512)： 谷歌网盘地址：https://drive.google.com/open?id=1VLODEvdd5BFWrXLKIXsJZqzRlnp5GcLN #登录用户名和密码 Username: Administrator Password: xiaofd.WIN 重点说明：DD包为自制，自制过程：添加驱动，安装win10，设置管理员账户（xiaofd），开启远程桌面，修改计算机名称为（xiaofd），没有额外的操作，可放心使用。有人指出没有Administrator权限不放心，dd完后自行开启admin管理员账户，并删除xiaofd账户即可。（win10安装必须添加一个非Administrator管理员账户，这个用过win10的应该都知道）。 2、其他途径找的DD包 http://down.80host.com/iso/dd/WS2008R2Enterprise-Joodle-Template.gz http://down.80host.com/iso/dd/Windows2012R2-Joodle-Template.gz Username:Administrator Password:Password147 http://down.80host.com/iso/dd/Windows7-Joodle-Template.gz http://down.80host.com/iso/dd/Windows8.1-Joodle-Template.gz Username:Admin Password:Password147 http://down.80host.com/iso/dd/7.ENT.EVAL.64.VIRTIO-SCSI.gz Username:WhatUpTime.com Password:P@ssword64 http://down.80host.com/iso/dd/win7_cn_5gb_virtio_scsi.gz Username:administrator Password:www.80host.com 支持OVH VPS的scsi磁盘驱动，其他viostor的DD包在上面会蓝屏 http://down.80host.com/iso/dd/win7_cn_5gb_virtio_scsi_faster.gz Username:administrator Password:www.80host.com 支持OVH VPS的scsi磁盘驱动，其他viostor的DD包在上面会蓝屏 http://down.80host.com/iso/dd/Kimsufi2003.gz Username:Administrator Password:password!yxz.me http://down.80host.com/iso/dd/win2003_with_update.gz Username:administrator Password:80hostkvmlamjj http://down.80host.com/iso/dd/ikoula92.gz Username:administrator...
-
使用vnstat来查看linux服务器带宽流量统计
说明：因为很多vps或者服务器都是限流量的，但是又很多服务商并没有提供详细的流量表，比如每天的流量表，所以肯定有人很想知道自己服务器到底跑了多少流量。vnstat就是一个很好用的服务器流量统计命令。下面就来看2张截图。 统计天数：统计月份：统计说明：estimated是预估使用量的意思。最后一列avg.rate是平均使用带宽。rx是接收流量（inbound），tx是发送流量（outbound） 安装 centos需要先安装epel源后才能使用yum来安装 yum install epel-release -y && yum install -y vnstat ubuntu、debian的话应该直接apt-get就可以了 创建监控数据库 vnstat -u -i eth0 这里的eth0可以改成你需要的网卡 启动服务并设置开机启动 service vnstat start chkconfig vnstat on 流量查看命令 看每天的流量统计命令： vnstat -d vnstat -m
-
Jirafeau：一个简洁的临时文件分享系统，可随时删除
说明：之前介绍过一个临时文件系统Plik→点击查看，功能比较强大，不过对于不会美化界面的人来说，使用起来可能会觉得不好看。这里再介绍个Jirafeau，可以设置保存时间，密码，生成分享链接的同时也会给你一个删除链接，你可以随时进行删除，功能虽然没前者强大，但够用了，界面也简洁。 截图 安装 要求：PHP >= 5.6，Nginx/Apache等，无需数据库 Gitlab地址：https://gitlab.com/mojo42/Jirafeau 提示：如果你过于小白，还不会搭建环境，可以参考该建站教程→传送门；或许看本文后面的Docker安装。 先搭建好环境，然后下载源码(点击下载)，并上传解压到网站根目录。 再新建配置文件lib/config.local.php，将lib/config.original.php里的代码全部复制进去，并给予写入权限，此后你可以修改该配置文件进行一些功能修改。 最后就可以打开地址进行安装了。后台地址：http://xx.com/admin.php，一般上传者删除链接后，只是不能下载了，但文件暂时还在，可以通过后台进行清空。 #除了后台清空外还可以用命令清空，建议设置为定时任务，命令如下： php /www/wwwroot/xx.com/admin.php clean_expired php /www/wwwroot/xx.com/admin.php clean_async Docker安装 1、安装Docker #CentOS 6 rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm yum update -y yum -y install docker-io service docker start chkconfig docker on #CentOS 7、Debian、Ubuntu curl -sSL https://get.docker.com/ | sh systemctl start docker systemctl enable docker 2、构建镜像 git clone https://gitlab.com/mojo42/Jirafeau.git cd Jirafeau docker build -t mojo42/jirafeau . 3、启动镜像 #8000端口可自行修改 docker run -d -p 8000:80 -v $(pwd):/www mojo42/jirafeau 4、配置修改 #进入lib文件夹 cd /root/Jirafeau #新建配置文件config.local.php，可修改该文件调整一些功能 cp lib/config.original.php lib/config.local.php #授权 chmod 777 lib/config.local.php
-
一款极易搭建的自助Git服务器：Gogs安装教程
简介 Gogs的目标是打造一个最简单、最快速和最轻松的方式搭建自助Git服务。使用Go语言开发使得Gogs能够通过独立的二进制分发，并且支持Go语言支持的所有平台，包括Linux、Mac OS X、Windows以及ARM平台。 截图 功能 支持活动时间线 支持SSH以及HTTP/HTTPS协议 支持SMTP、LDAP和反向代理的用户认证 支持反向代理子路径 支持用户、组织和仓库管理系统 支持添加和删除仓库协作者 支持仓库和组织级别Web钩子（包括Slack和Discord集成） 支持仓库Git钩子和部署密钥 支持仓库工单（Issue）、合并请求（Pull Request）、Wiki和保护分支 支持迁移和镜像仓库以及它的Wiki 支持在线编辑仓库文件和Wiki 支持自定义源的Gravatar和Federated Avatar 支持Jupyter Notebook 支持两步验证登录 支持邮件服务 支持后台管理面板 支持MySQL、PostgreSQL、SQLite3、MSSQL和TiDB（通过MySQL协议）数据库 支持多语言本地化（28种语言） 安装 Github地址：https://github.com/gogits/gogs 1、安装MySQL数据库建议使用CentOS系统，查看：CentOS下Mysql 5.6安装教程及创建数据库，其他系统不会手动安装的直接使用宝塔面板。 #Centos系统 yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh #Ubuntu系统 wget -O install.sh http://download.bt.cn/install/install-ubuntu.sh && sudo bash install.sh #Debian系统 wget -O install.sh http://download.bt.cn/install/install-ubuntu.sh && bash install.sh 安装完成后，安装MySQL，至少5.5.3版本。 2、安装Git #Debian和Ubuntu系统 apt-get -y install git #CentOS系统 yum -y install git 3、安装Gogs这里说2种方法，二进制安装或者Docker安装，建议使用二进制，Docker了解下就行了。 #二进制安装 wget http://7d9nal.com2.z0.glb.qiniucdn.com/0.11.4/linux_amd64.tar.gz tar -zxvf linux_amd64.tar.gz cd gogs ./gogs web #Docker安装 curl -sSL https://get.docker.com/ | sh...
-
一个好用的网站日志分析工具：360星图
简介 360星图360旗下开发的网站日志分析工具，使用360网站卫士核心数据分析模块，云+端联动分析，转化为全新的Web日志分析系统，深入分析黑客攻击行为和异常访问，比如Web漏洞攻击识别、CC攻击识别、恶意爬虫扫描识别、异常访问识别等。使用也比较简单，可以快速生成直观的日志报告。 使用 官方地址：http://wangzhan.360.com/activity/xingtu。下载地址：官方下载，本地下载。 下载后解压，然后进行如下操作： 打开/conf/config.ini在log_file:这一行填写日志路径，可以是目录或具体文件。 运行start.bat自动处理日志。 结果会生成在result目录。 最后打开result文件夹可以看到html报告，直接浏览器打开即可看到直观的结果，包括流量、IP、攻击等情况。
-
apache端口被异常占用导致无法启动的解决方法
说明：在安装LNMPA一键包时候会出现因端口被占用而导致Apache无法启动的问题，一般一键包Apache默认端口是88，具体以错误提示信息为准！如Address already in use: make_sock: could not bind to address 127.0.0.1:88最后面的88即为被占用端口。 1、检查88端口被哪个进程占用 netstat -lnp|grep 88 此时可以看到使用该端口的进程，后面都有LISTEN xx/yy 此信息，xx即为进程号 2、查看进程的详细信息 ps xx #xx为进程号 kill -9 xx #杀掉编号为xx的进程（请根据实际情况输入） service httpd start #启动apache
-
解决Rclone挂载Google Drive时上传失败和内存占用高等问题
说明：之前看到有些人评论使用Rclone挂载Gdrive时，会出现部分文件上传失败和挂载崩掉等问题，后者在挂载OneDrive时也会出现，所以这里就专门花了点时间测试了下这些问题，然后就水个解决方法。一般挂载Gdrive的时候，默认是使用的官方提供的api，所以高峰期上传文件的时候，由于很多人在用，导致api的流量上限，会出现各种403，ratelimit等错误，最常见的报错提示为：Failed to get file: googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded，然后目前的解决方法就是使用自己的api。至于挂载崩掉的问题是可以通过调整部分参数来解决，这里就都一起说下。 方法 首先获取谷歌API凭据，获取方法在之前很多文章都提过，这里就直接复制粘贴了，先启用Google Drive API，启用地址：点击进入。 再创建一个OAuth client ID，创建地址：点击进入。应用类型选择其他(Other)，名称自己填，这里博主填的Rclone。 然后你会获得自己的客户端ID和客户端密钥，再复制下来。 然后使用rclone config命令配置的时候，会有部分提示： #直接将你获取到的客户端id和密匙输进去即可 Google Application Client Id Leave blank normally. Enter a string value. Press Enter for the default (""). client_id> #输入客户端id Google Application Client Secret Leave blank normally. Enter a string value. Press Enter for the default (""). client_secret> #输入客户端密匙 最后打开配置时的链接授权时候，就会显示我们自己设置的应用名称。 然后挂载命令如下： #该参数主要是上传用的 /usr/bin/rclone mount DriveName:Folder LocalFolder \ --umask 0000 \ --default-permissions \ --allow-non-empty \ --allow-other \ --transfers 4 \ --buffer-size 32M \ --low-level-retries 200 #如果你还涉及到读取使用，比如使用H5ai等在线播放，就还建议加3个参数，添加格式参考上面 --dir-cache-time 12h --vfs-read-chunk-size 32M...
-
Linux VPS使用rtorrent下载BT种子，并在线观看
说明：rTorrent是一个非常简洁、优秀、非常轻量的命令行BT下载客户端，和Aria2一样，既可以使用命令行下载，也可以配合自己的Web前端进行控制操作。很多都喜欢用rTorrent配合前端ruTorrent一起使用，毕竟有个图形界面方便些，不过配置起来挺麻烦的，博主觉得单独使用rtorrent下载BT文件速度还可以，操作也不难，关键安装很简单，很适合临时下载BT文件的人。 安装 执行下列命令： #CentOS系统 yum install rtorrent -y #Debian/Ubuntu系统 apt-get update -y apt-get install rtorrent -y 使用 先将需要下载的BT文件上传至VPS一个文件夹，比如home。然后运行rtorrent，使用命令： rtorrent 这时候会出现一个界面，如果显示Could not read resource file: ~/.rtorrent.rc，这是缺少配置文件，可以不用管。然后按Enter，会出现load.normal>命令行。这时候在后面输入你的BT文件路径，比如: load.normal> /home/xx.torrent 确定后，会出现如下界面： 然后按一下键盘↑或↓键，下载列表左边出现*后，按Ctrl+s即可下载。最后下载的BT在/root文件夹。 配置 如果你要使用更多的功能，就需要新建.rtorrent.rc配置文件了。 nano /root/.rtorrent.rc 复制下列参数，不需要的可以不复制，这里只列举常用的一些配置，更多配置：点击查看。 #正在下载和已完成种子的最大和最小节点数 throttle.min_peers.normal.set = 100 throttle.max_peers.normal.set = 100 throttle.min_peers.seed.set = 100 throttle.max_peers.seed.set = 100 #每个种子最大同时上传数 throttle.max_uploads.set = 20 #最大上传和下载速度，0为无限制 throttle.global_down.max_rate.set_kb = 0 throttle.global_up.max_rate.set_kb = 0 #BT下载后保存的目录 directory.default.set = /root/rtorrent/download #设置会话目录，重新启动rTorrent时，所有以前加载的种子将被恢复 session.path.set = /root/rtorrent/.session #设置种子目录，添加种子自动下载，种子删除后自动停止 schedule2 = watch_directory,5,5,load_start=/root/rtorrent/.watch/*.torrent schedule2 = untied_directory,5,5,stop_untied= #服务器硬盘低于200M时停止下载 schedule2 = low_diskspace,5,60,close_low_diskspace=200M #监听的端口范围 network.port_range.set = 5555-8888 network.port_random.set = no #连接UDP trackers trackers.use_udp.set = yes #当trackers失效后，启用DHT...
-
一款支持Markdown语法的Wiki知识管理系统：Wikitten搭建教程
简介 Wikitten是一款开源Wiki知识管理系统，使用PHP开发，支持Markdown语法，无需数据库，自动生成树形目录，适合用来做个人Wiki知识库。 截图 安装 环境要求：PHP >= 5.3，需要Fileinfo组建支持。 搭建好Web环境，建议使用宝塔面板，教程：宝塔面板安装教程，然后进入后台再安装PHP和Nginx环境，再找到左侧软件管理-PHP管理-设置-安装Fileinfo拓展。 #如果Fileinfo拓展安装失败，就是内存太小，我们可以添加swap，不适用于ovz 1、手动添加，方法查看：https://www.southcat.net/archives/19/。 2、面板添加，找到左侧软件管理-系统工具-安装Linux工具箱，然后进入工具箱添加。 接下来解析并添加域名，然后下载源码：Wikitten.zip，再放到站点根目录并解压。将config.php.example重命名为config.php，根据实际情况修改或注释里面内容，配置文件说明如下： #设置站点标题 define('APP_NAME', 'My Wiki'); #选择首页文件，必须位于library文件夹下（一般不需要修改） define('DEFAULT_FILE', 'index.md'); #设置文档目录（一般不需要修改） define('LIBRARY', '/path/to/wiki/library'); #启用任何文件的页内编辑（不知道用来干嘛的，保持默认就行） define('ENABLE_EDITING', true); #启用JSON Front Matter(元数据)，可对文档设置title/keywords等 define('USE_PAGE_METADATA', true); #使用黑色主题 define('USE_DARK_THEME', true); #是否显示左下角LOGO define('USE_WIKITTEN_LOGO', false); Wikitten需要伪静态支持，如果是Apache一般不需要修改，站点根目录已经内置.htaccess伪静态规则。如果是Nginx，请添加下面的配置到server段内，并重启Nginx。 #宝塔面板找到左侧网站点击域名，直接在伪静态添入以下代码 location ~* ^/static/(css|js|img|fonts)/.+.(jpg|jpeg|gif|css|png|js|ico|html|xml|txt|swf|pdf|txt|bmp|eot|svg|ttf|woff|woff2)$ { access_log off; expires max; } location / { rewrite ^(.*)$ /index.php last; } 最后访问你的域名即可。 使用说明 Wikitten支持Markdown语法，直接将写好的Markdown文件存放到网站根目录library文件夹会自动生成树形结构。 Wikitten模板文件位于views目录，你可以适当修改，添加网站统计代码以及评论和一些个性化设置。