GitHub上一些有意思地址/有趣的网站:收藏链接

收藏github上一些有趣的东西或各有趣的网站。(持续更新)

(1)各领域各语言上可供学习的项目:(构建自己的项目)
https://github.com/danistefanovic/build-your-own-x
(2)虽然不知道有没有用,但是保存起来,感觉未来会使用到的Git 的工程师模板。
https://github.com/github/gitignore
(3)开源!免费!公用!API接口:以后我肯定有用!
https://github.com/public-apis/public-apis
(4)命令行操作,一言难尽,以前就是不知道怎么操作,浪费了好多时间。
https://github.com/jlevy/the-art-of-command-line
(5)数据增强网站——可以自动矫正关键点,真实框的位置。
https://github.com/aleju/imgaug
(6)看论文网站。
https://paperswithcode.com/
(7)看互联网各行业的研究报告:
https://www.iresearch.com.cn/Research/IndustryList.shtml
(8)OCR 文字提取器:
https://github.com/JaidedAI/EasyOCR
(9)上传项目到github的操作:(每次要上传都忘了,气吐了。保存一下)
https://www.jianshu.com/p/8282eced3bf2
(10)流程图、结构图,线上作图。
https://www.processon.com/
(11)爬虫项目:下面这一串来源于码农学习联盟公众号:https://mp.weixin.qq.com/s/L73VOz8LlAYt_AgSlBvUXQ

微信公众号爬虫:基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。
https://github.com/Chyroc/WechatSogou

豆瓣读书爬虫:可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的Sheet ,采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封。
https://github.com/lanbing510/DouBanSpider

知乎爬虫:此项目的功能是爬取知乎用户信息以及人际拓扑关系,爬虫框架使用scrapy,数据存储使用mongo
https://github.com/LiuRoy/zhihu_spider

Bilibili用户爬虫:总数据数:20119918,抓取字段:用户id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。抓取之后生成B站用户数据报告。
https://github.com/airingursb/bilibili-user

新浪微博爬虫:主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注。代码获取新浪微博Cookie进行登录,可通过多账号登录来防止新浪的反扒。主要使用 scrapy 爬虫框架。
https://github.com/LiuXingMing/SinaSpider

小说下载分布式爬虫:使用scrapy,Redis, MongoDB,graphite实现的一个分布式网络爬虫,底层存储MongoDB集群,分布式使用Redis实现,爬虫状态显示使用graphite实现,主要针对一个小说站点。
https://github.com/gnemoug/distribute_crawler

中国知网爬虫:设置检索条件后,执行src/CnkiSpider.py抓取数据,抓取数据存储在/data目录下,每个数据文件的第一行为字段名称。
https://github.com/yanzhou/CnkiSpider

链家网爬虫:爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码,包括链家模拟登录代码。
https://github.com/lanbing510/LianJiaSpider

京东爬虫:基于scrapy的京东网站爬虫,保存格式为csv。
https://github.com/taizilongxu/scrapy_jingdong

QQ 群爬虫:批量抓取 QQ 群信息,包括群名称、群号、群人数、群主、群简介等内容,最终生成 XLS(X) / CSV 结果文件。
https://github.com/caspartse/QQ-Groups-Spider

乌云爬虫:乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在MongoDB中,大概约2G内容;如果整站爬全部文本和图片作为离线查询,大概需要10G空间、2小时(10M电信带宽);爬取全部知识库,总共约500M空间。漏洞搜索使用了Flask作为web server,bootstrap作为前端。
https://github.com/hanc00l/wooyun_public

hao123网站爬虫:以hao123为入口页面,滚动爬取外链,收集网址,并记录网址上的内链和外链数目,记录title等信息,windows7 32位上测试,目前每24个小时,可收集数据为10万左右
https://github.com/simapple/spider

机票爬虫(去哪儿和携程网):Findtrip是一个基于Scrapy的机票爬虫,目前整合了国内两大机票网站(去哪儿 + 携程)。
https://github.com/fankcoder/findtrip

163spide: 基于requests、MySQLdb、torndb的网易客户端内容爬虫
https://github.com/leyle/163spider

doubanspiders – 豆瓣电影、书籍、小组、相册、东西等爬虫集
https://github.com/fanpei91/doubanspiders

QQ空间爬虫:包括日志、说说、个人信息等,一天可抓取 400 万条数据
https://github.com/LiuXingMing/QQSpider

百度mp3全站爬虫:使用redis支持断点续传
https://github.com/Shu-Ji/baidu-music-spider

淘宝和天猫的爬虫:可以根据搜索关键词,物品id来抓去页面的信息,数据存储在mongodb。
https://github.com/pakoo/tbcrawler

一个股票数据(沪深)爬虫和选股策略测试框架:根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
https://github.com/benitoro/stockholm

百度云盘爬虫
https://github.com/k1995/BaiduyunSpider

社交数据爬虫:支持微博,知乎,豆瓣。
https://github.com/Qutan/Spider

Python爬虫代理IP池(proxy pool)
https://github.com/jhao104/proxy_pool

爬取网易云音乐所有歌曲的评论
https://github.com/RitterHou/music-163

(12)换脸项目APP
https://github.com/alievk/avatarify#configure-video-meeting-app

(13)清华大学开源迁移学习算法库-PyTorch
https://github.com/thuml/Transfer-Learning-Library

(14)图解算法题典
https://github.com/geekxh/hello-algorithm

(15)学习深度学习
https://github.com/scutan90/DeepLearning-500-questions

(16)最全的中文NLP资源库
https://github.com/fighting41love/funNLP

(17)flameshot:操作简单、功能强大的截图工具
https://github.com/lupoDharkael/flameshot

(18)目标检测和跟踪算法总结
https://github.com/yehengchen/Object-Detection-and-Tracking

(19)字节跳动一名非科班程序员的自学笔记,目前收录了 C++、算法、操作系统笔记……
https://github.com/huangrt01/CS-Notes

(20)深度学习模型部署的那些事儿
https://www.jianshu.com/p/d1c2f5559c98?from=singlemessage

(21)PFLD 人脸关键点检测
https://zhuanlan.zhihu.com/p/73546427
PFLD-pytorch github 代码

(22)tqdm:强大、快速、易扩展的 Python 进度条库。pip install tqdm
https://github.com/tqdm/tqdm

(23)langid:语言识别(LangID)工具。(支持97种语言)
https://github.com/saffsd/langid.py

(24)flask-admin:简单的文件管理界面和Redis客户端控制台。
https://github.com/flask-admin/flask-admin

(25)nat:可以代替“ls”的模块。可以显示文件特权/大小/修改日期等。
https://github.com/willdoescode/nat

(26)Netron: 神经网络结构可视化。
https://netron.app/

(27)神经网络模型优化的一些技巧。(这篇是对39个Kaggle比赛中总结的语义分割建议和技巧,但是大部分技巧是通用的。)
https://www.aiuai.cn/aifarm1370.html

(28)命名规则:不管做项目还是写脚本,有时候一个变量名要想好怎么命名,跟注释一样,好的命名对以后管理代码,回头看代码的时候有很大帮助。
https://github.com/kettanaito/naming-cheatsheet

(29)风格迁移:这个项目很有意思啊,输入两张图片,就可以将目标图片的风格转换为另一张图片的模样。
https://github.com/ProGamerGov/neural-style-pt

(30)自学算法、机器学习、深度学习的一个大量相关知识汇总的地方。
https://github.com/ml-tooling/best-of-ml-python

(31)技术调研:这个我觉得是真牛逼。在机器之心的sota模块中,把各种技术任务的基础知识、sota模型,公共数据集都总结好了。
https://www.jiqizhixin.com/
https://www.jiqizhixin.com/sota

猜你喜欢

转载自blog.csdn.net/weixin_41809530/article/details/107168141