Tumblr
内容丰富,特别是图片和视频。下面利用Tumblr
爬虫,结合h5ai
目录直读程序,或者其他图床程序,创建图库。
本方法需要一个Python 2.7
的环境,CentOS 6
升级Python 2.7
方法请参考CentOS 6升级Python 2.6至Python 2.7的方法,CentOS 7自带python 2.7
,下面使用CentOS 7和python 2.7
。
使用tumblr-crawler爬虫
tumblr-crawler
爬虫github
项目地址:https://github.com/dixudx/tumblr-crawler
1、安装可能使用的依赖
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++
yum -y install readline-devel
2、安装tumblr-crawler
git clone https://github.com/dixudx/tumblr-crawler.git
cd tumblr-crawler
pip install -r requirements.txt
3、使用tumblr-crawler下载图片和视频
1、在sites.txt
中添加tumblr
站,用逗号分开,但不需要.tumblr.com
后缀。如rat.tumblr.com
和rats.tumblr.com
rat,rats
保存后,运行
python tumblr-photo-video-ripper.py
2、直接下载
python tumblr-photo-video-ripper.py rat,rats
最后将所有图片和视频均保存在当前路径的与tumblr
博客名字相同的文件夹
安装、使用h5ai
原创文章,作者:南猫,如若转载,请注明出处:https://southcat.net/1564/
不妨点个广告再走嘛
相关推荐
-
BaiduExporter:一个可以将百度云文件直接导出到Aria2下载的插件
简介 一个可以方便的把百度网盘的下载地址导出到aria2/aria2-rpc下载的插件,支持YAAW,AriaNg等。 使用 Github下载:https://github.com/acgotaku/BaiduExporter/releases本地下载:BaiduExporter 下载后打开文件,选择浏览器安装,然后就可以直接进入百度云网盘,选择文件直接ARIA2 RPC导出下载了。 相关教程 Windows系统安装最新版Aria2客户端及使用教程 BT种子/磁力链接下载工具:Aria2一键安装管理脚本 使用Aria2下载BT磁力的时候,速度慢或者没速度的解决方法
-
出现"command 'gcc' failed with exit status 1"错误的解决方法
说明:今天在安装Python库软件的时候遇到"command 'gcc' failed with exit status 1"错误问题,之后有执行过yum安装gcc,但是还是有这样的问题,于是查了点资料发现缺少openssl-devel支持,所以我们需要安装openssl-devel才能解决问题。 方法 这里用的CentOs系统,执行命令: yum install gcc libffi-devel python-devel openssl-devel -y
-
Linux VPS禁止PING简单设置方法
说明:可能由于某些原因我们需要禁止ping,这里就分享个方法 1、修改文件 vi /proc/sys/net/ipv4/icmp_echo_ignore_all #将0改成1即可 或者我们直接写入设置禁止PING echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all 如果是启动则是 echo 0 > /proc/sys/net/ipv4/icmp_echo_ignore_all 需要注意的是,如果用这个方法会使得我们无法PING别人,别人也不好PING我们。这样从性能角度看,无法PING出可能不是太好。 2、修改iptables设置 iptables -A INPUT -p icmp --icmp-type 8 -s 0/0 -j DROP 通过一句话命令脚本,设置禁止PING,如果需要启动,则可以看下面 iptables -D INPUT -p icmp --icmp-type 8 -s 0/0 -j DROP
-
一款强大的私有云盘和在线文件管理器:可道云KodExplorer安装教程
简介 可道云KodExplorer是一款拥有完备的文件管理功能,浏览器端享受本地化的体验,强大的在线文件编辑器,像使用操作系统一样使用体验,右键操作,拖拽,快捷键等;完美取代FTP管理,可用于服务器文件管理,支持图片、音乐、视频预览,在线解压缩,文件夹拖拽上传;全面采用Ajax+Json进行数据通信,毫秒级的响应速度,十分强大! 截图 安装 1、搭建web环境我们可以用lnmp、lamp一键包或者宝塔之类的面板来搭建web环境。lnmp安装方法可参考:lnmp1.4安装教程。宝塔安装方法可看:宝塔面板安装教程。 2、上传KodExplorer程序搭建好web环境后,添加网站并解析,再上传KodExplorer程序到网站目录,KodExplorer官网下载地址:https://kodcloud.com/download.html。这里以lnmp为例,执行命令: cd /home/wwwroot/www.yourdomain.com wget http://static.kodcloud.com/update/download/kodexplorer4.22.zip unzip kodexplorer4.22.zip chmod -Rf 777 ./* 如果unzip解压文件时出现问题,这说明没安装unzip,所以解压前需要先执行命令:apt-get install unzip或者yum install unzip即可。当然这里也可以用WinSCP等ftp工具完成程序上传步骤! 相关教程 一款不错的个人私有云:NextCloud安装教程 Linux VPS一键安装Seafile搭建私有云盘存储 一个轻量级文件管理系统:FileManager安装教程
-
分享一个SSL证书链补全工具,解决部分浏览器显示证书不可信的问题
说明:有时候我们得到并配置上SSL证书后因为种种因素,某些浏览器依然显示证书不可信,也不显示小绿锁,其实原因是因为证书链不完整导致的,这里就分享一个SSL证书链补全工具,可完美解决该问题。 SSL证书链补全地址:https://csr.cheapssl.cn/get_chain
-
分享一款多个音乐网站合一的音乐搜索播放器
说明:之前分享过一款很漂亮的音乐播放器源码,查看:MKOnlineMusicPlayer:一款开源的基于Meting的在线音乐播放器,现在再分享个,支持的音乐网站更广,就是界面没前者好看,有兴趣的可以用用。 简介 麦葱特制多站合一音乐搜索解决方案,支持搜索试听以下网站音乐: 网易云音乐 QQ音乐 酷狗音乐 酷我音乐 虾米音乐 百度音乐 一听音乐 咪咕音乐 荔枝FM 蜻蜓FM 喜马拉雅FM 全民K歌 5sing原创 5sing翻唱 数据调用的是各网站的API接口,有的接口并不是开放的,随时可能失效,本项目相关代码仅供参考。 相关链接 在线演示:http://music.2333.me/GitHub地址:https://github.com/maicong/music下载地址:开发版、稳定版更新日志:CHANGELOG.md 界面截图 常见问题 1、提示数据获取失败 #方案1 修改index.php文件里的MC_PROXY为您的代理地址。 将core/music.php里需要代理的URL 'proxy'=>false改为'proxy' => true。 #方案2 在core/music.php里查找setTimeout,将其后面的数值20改为更大。 在static/js/music.js里查找timeout,将其数值30000改为更大。 #方案3 服务器要支持curl。 更换服务器,选择延迟更低的服务器。 #音乐链接为空 1、音乐需要付费才能收听。 2、版权限制,外站无法获取。 3、服务器IP所在地不在源站允许的区域。 4、音乐下架了,链接被去除。 #音乐链接不为空 1、当前IP所在地因版权限制而无法播放。 2、音乐格式浏览器无法正常解析。
-
一款非常好用的Web端SSH工具:GateOne安装教程
说明:GateOne是一个能在浏览器上运行的Terminal SSH客户端,无论你在哪里,只要有网,你就可以用浏览器操控你的VPS服务器,还支持右键复制/粘贴等客户端常用功能,包括多窗口等,使用起来非常方便,而且其它人也可以使用,之前也说过一种类似的工具WebSSH2,查看:WebSSH2安装教程,都挺好用的,这里就说下使用Docker快速安装GateOne,并添加SSL证书。 截图 安装 1、安装Docker curl -sSL https://get.docker.com/ | sh service docker start 2、拉取镜像 docker pull liftoff/gateone 3、启动镜像 #命令 docker run [-d/-t] -p [443]:8000 -h [hostname] --name gateone liftoff/gateone gateone #示例,如果服务器上443被占用,请使用其它未被占用的端口 docker run -t -p 443:8000 -h Rats --name gateone liftoff/gateone gateone 参数说明: -d/-t:决定镜像是使用Deamon(后台)模式启动,或者显示启动过程 -p 443:8000:绑定端口,注意:GateOne强制使用SSL,8000端口为Docker容器内的固定映射端口,请只改动冒号前面的端口,不要动后面的端口号! -h hostname:设置Docker容器的主机名(这个将会显示在你的浏览器标题中) --name gateone:设置Docker容器的名称(不是主机名),用来docker ps时识别用 liftoff/gateone:镜像名称 gateone:启动命令行,勿动(默认命令行会发生Python io_loop报错,故使用此命令行来避免错误) 安装完成后,进入https://xx.com:端口,如果端口是443,可直接进入https://xx.com,xx.com可以为IP也可以为域名,地址前面的https别漏掉了,访问时浏览器可能会报不安全,无视即可,如果你想添加SSL证书,请将域名解析到服务器,然后继续往下看。 添加SSL 想添加SSL证书的,继续看,不想的就跳过。 1、停掉容器 docker kill gateone 2、导入SSL证书在root目录创建Dockerfile。 #将以下整体复制到命令行 echo "FROM liftoff/gateone ADD gateone-ssl/ssl.crt /etc/gateone/ssl/certificate.pem ADD gateone-ssl/ssl.key /etc/gateone/ssl/keyfile.pem CMD [ "gateone" ]" > /root/Dockerfile 同目录创建gateone-ssl文件夹,并上传SSL证书。 mkdir gateone-ssl 然后通过FTP客户端上传SSL证书到gateone-ssl文件夹。没有SSL证书的,请在本博客搜索关键词,很多申请方法。 3、重建镜像上传SSL成功后,重建镜像,执行命令: docker build -t="gateone-ssl" . #英文.别漏掉了 当出现Successfully Built即重建成功。...
-
Nginx环境强制http 301跳转https的方法
说明:现在越来越多的人开始为网站启用ssl证书了,安装了ssl后我们都需要让http强制跳转https,并确定网站唯一性,这里介绍了几种方法。 方法 提示:以军哥的lnmp一键安装包为例,Nginx配置文件修改地址为/usr/local/nginx/conf/vhost/xx.com.conf。方法一: if ($scheme = http ) { return 301 https://$host$request_uri; } 方法二: server_name southcat.net ; rewrite ^(.*) https://southcat.net$1 permanent; 方法三: if ($server_port = 80 ) { return 301 https://$host$request_uri; } 方法四: server_name southcat.net ; return 301 https://$server_name$request_uri;
-
ImgURL:一款功能多且简洁的图床程序
简介 ImgURL是继:https://github.com/helloxz/xz-pic,小Z大佬写的另一款图床程序,依然保持以往简洁风格,在XZ Pic基础上完善了UI,增加了部分实用的功能。 截图 功能 拽拖上传,自动生成连接,一键复制。 图片预览与探索。 基本的图片管理。 支持TinyPNG图片压缩。 图片鉴黄 API上传 油猴脚本上传 安装 环境要求:PHP>=5.6,需要exif函数支持。 先访问:https://github.com/helloxz/imgurl下载最新版ImgURL程序,放到您的站点根目录并解压。修改一下config.php设置你自己的域名和密码,访问http(s)://domain.com/即可,就是这么简单。 Demo:https://imgurl.org/帮助文档:https://wiki.xiaoz.me/docs/imgurl/源码:https://github.com/helloxz/imgurl ImgURL专业版 目前作者开发发布了ImgURL Pro专业版图床程序,满足更多用户需要,功能如下: 支持拽拖上传、多图上传、Ctrl + V粘贴上传、URL上传 支持图片裁剪,自动生成缩略图 限制访客上传数量/限制上传大小 图片压缩 图片鉴黄 API支持 无广告 自定义底部版权 多个外部存储(本地、Backblaze B2、腾讯COS、FTP) 永久更新 + 6个月技术支持
-
一个美观且支持对接多个存储的多用户网盘程序:BeDrive V2.0.9
说明:BeDrive是一款支持多用户的商业版网盘程序,功能强大,支持对接Amazon S3、DigitalOcean、Dropbox、FTP等存储,界面很漂亮,安装也简单,不过这是一款收费的程序,目前官方更新到了V2.0.9,这里就分享下由顶点网破解的BeDrive V2.0.9程序,博主用了下,感觉还行,不过不是很适合个人使用,有兴趣的可以用下。 截图 特性 基于Ajax 分享功能 文件上传 共享链接 多语言 响应式设计 文件预览 Amazon S3、DigitalOcean、Dropbox存储 认证管理 角色和权限 禁用注册 网格和列表视图 广告系统 专业设计 外观编辑 Analytics(分析) 多个主页 付款系统 拖放上传 上下文菜单 回收站 收藏 搜索 文件细节 安装 环境要求:Nginx/Apache、PHP >= 5.6、Mysql、PDO和Fileinfo拓展。 1、安装宝塔 #CentOS系统 wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh #Ubuntu系统 wget -O install.sh http://download.bt.cn/install/install-ubuntu_6.0.sh && sudo bash install.sh #Debian系统 wget -O install.sh http://download.bt.cn/install/install-ubuntu_6.0.sh && bash install.sh 安装完成后,进入面板,点击左侧软件管理,然后安装PHP、Nginx或Apache、Mysql。 再找到左侧软件管理-PHP管理-设置-安装Fileinfo扩展。 #如果Fileinfo拓展安装失败,就是内存太小,我们可以添加swap,不适用于ovz 1、脚本添加,脚本地址:https://www.southcat.net/archives/722/。 2、面板添加,找到左侧软件管理-系统工具-安装Linux工具箱,然后进入工具箱添加。 2、上传源码点击面板左侧-添加站点,数据库选择Mysql,设置好数据库名称、密码。 然后上传源码到根目录并解压出来(源码下载:BeDrive_V2.0.9),也可以直接在SSH客户端使用命令: #将下面根目录地址改成自己的再运行 cd /www/wwwroot/www.southcat.net wget https://www.southcat.net/usr/down/BeDrive_V2.0.9.zip unzip BeDrive_V2.0.9.zip && rm -rf BeDrive_V2.0.9.zip 3、配置网站进入到域名设置,点击网站目录,去除跨站攻击的√,并设置运行目录为public。 如果你是Nginx环境,还需要再点击伪静态设置,填入以下代码: location / { try_files $uri $uri/ /index.php?$query_string; } 最后打开域名进行安装即可。 相关教程...