DL知识总结
1、优化方法
https://blog.csdn.net/yinyu19950811/article/details/90476956---精读，讲的非常好
https://blog.csdn.net/u011984148/article/details/99800544--RADAM
https://www.cnblogs.com/wishchin/p/9199825.html
https://baijiahao.baidu.com/s?id=1643019716161086382&wfr=spider&for=pc--RAdam和LOOKHEAD结合
2、权重衰减、L2正则、
3、权重裁剪、梯度裁剪、学习率裁剪
4、数据增强（通用的数据增强(传统的、新提出的mixup等)、特点任务的数据增强、基于GAN的数据增强）
https://blog.csdn.net/hacker_long/article/details/89104317
5、ROC、froc、pr曲线、精确率、召回率、灵敏度、特异度、假阳率、准确率
https://blog.csdn.net/rocling/article/details/93602303
https://www.cnblogs.com/freebird92/p/9021405.html
https://blog.csdn.net/b876144622/article/details/80009867
https://www.thepaper.cn/newsDetail_forward_6848696---froc
https://www.lmlphp.com/user/56/article/item/1756/
6、偏差和方差
https://blog.csdn.net/qq_41951186/article/details/82534050
7、学习率和batch size
https://zhuanlan.zhihu.com/p/64864995
https://blog.csdn.net/fanhongyuan21/article/details/103100398
8、模型的宽度和深度影响
https://blog.csdn.net/hacker_long/article/details/89608750
https://blog.csdn.net/hacker_long/article/details/100138274
9、FPN(top-down等)、图像金字塔(多尺度输入、输出预测)、多层预测如SSD、正常卷积特征最后一层预测(如检测faster-rcnn的公共特征图)、NMS(softnms等改进)、OHEM、focal loss
https://blog.csdn.net/u012426298/article/details/81773319
https://blog.csdn.net/qq_43243022/article/details/88895057---NMS及python代码
10、样本不平衡解决(样本端、loss端)
要分清是样本类别不均衡还是检测中的正负样本(前景、背景不均衡)
数据端：
离线+在线数据增强(imgaug)
loss端：
focal loss
https://zhuanlan.zhihu.com/p/49981234
ohem
GHM
circle loss--将softmax+交叉熵推广到多标签分类，缓解不平衡(一般的多标签分类采用sigmoid+交叉熵，然后用阈值卡，无法缓解不平衡)，circle-loss是度量学习的loss思想
libra-rcnn：检测中的不平衡问题的解决(sample不平衡、low-high level的特征不平衡、分类、检测loss的不平衡)
lovrax-softmax：分割中用bce无法解决不同样本图片中label区域大小带来的loss计算的不平衡，有wight bce loss，直接用IOU loss训练会带来严重的震荡，loss曲线不平滑，因此有lovrax-softmax loss
11、attention(通道和图像层面)、hard/soft attention等
https://www.jianshu.com/p/366b8e9bfb99
https://zhuanlan.zhihu.com/p/65459972---SEnet(https://www.sohu.com/a/161633191_465975)
https://blog.csdn.net/qixutuo6087/article/details/88822428---senet、sknet
https://blog.csdn.net/elaine_bao/article/details/80821306----non-local(https://zhuanlan.zhihu.com/p/33345791)
https://zhuanlan.zhihu.com/p/33345791
https://blog.csdn.net/u011345885/article/details/96566339----GCNet
https://blog.csdn.net/l2181265/article/details/86754225-----CCNet
https://www.lizenghai.com/archives/45076.html---scse attention
https://blog.csdn.net/qq_32768091/article/details/86612132---BAM attention
https://blog.csdn.net/u013738531/article/details/82731257----CBAM attention
https://www.jianshu.com/p/06742d8bd8ff---Dual attention语义分割
https://blog.csdn.net/mieleizhi0522/article/details/84873101--OCNet
https://zhuanlan.zhihu.com/p/53466363-------RCAN：超分辨率中的注意力机制
12、dicom、nii、nrrd等医学图像格式
https://www.jianshu.com/p/9bf31ac4f184--dicom信息
Pydicom+SimpleITK操作DICOM图像数据和TAG
pydicom和SimpleITK分别解析医学影像中dicom文件
软件：ITK-SNAP(https://blog.csdn.net/qq_33254870/article/details/100125788)
https://www.cnblogs.com/duter/p/4974755.html
https://www.cnblogs.com/XDU-Lakers/p/10781321.html(dcm转mhd、raw)
http://blog.sina.com.cn/s/blog_4bce5f4b0100rl7t.html
https://www.manongdao.com/article-1134706.html
https://blog.csdn.net/caixiajia/article/details/53749495
https://blog.csdn.net/shaguawo/article/details/80609810?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2-----[Python][DICOM]去除一个Series下重复Instance Number的DICOM图像文件
https://blog.csdn.net/qq_26293147/article/details/68924393
https://zhidao.baidu.com/question/745943474307776412.html
3d-slicer、MITK
13、unet、resunet、attention-unet、3d-unet、2.5d、vnet、nnunet等
https://blog.csdn.net/zhang_jing5/article/details/90452924
14、faster-rcnn系列、mask-rcnn、yolo系列、deeplab系列
15、roi-pooling、roi-align、prroi-pooling等
16、upsamplining、uppooling、反卷积、pixel-shuffle等
17、sigmoid、softmax、relu、prelu、maxout等
18、1D/2D/3D CNN、十大拍案叫绝的卷积设计(组卷积、深度可分离卷积)等
https://blog.csdn.net/u010801994/article/details/85005979------卷积原理：几种常用的卷积（标准卷积、深度卷积、组卷积、扩展卷积、反卷积）
https://blog.csdn.net/isMarvellous/article/details/80087705-----关于转置卷积（反卷积）的理解---https://blog.csdn.net/tsyccnh/article/details/87357447
https://blog.csdn.net/zhulf0804/article/details/86676279?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-3----3D卷积和去(反)卷积----https://zhuanlan.zhihu.com/p/31841353----https://blog.csdn.net/liuweiyuxiang/article/details/84202352----https://zhuanlan.zhihu.com/p/47490523
19、inception系列、resnet系列、inception-resnet系列
https://blog.csdn.net/u010712012/article/details/84862797
20、dropout、dropblock、常见的normalization(BN\LN)等
https://blog.csdn.net/qq_26598445/article/details/81950116
21、标注工具labelme、labelimg、CVAT等，以及遥感、文本中的一些旋转标注工具
22、检测专题直到anchor-free、分割专题(语义分割、实例分割、全景分割)、分类(单分类、多分类、多标签分类、人脸属性识别)等
分类
https://zhuanlan.zhihu.com/p/22214112-------CNN--结构上的思考
论文笔记：CNN经典结构1（AlexNet，ZFNet，OverFeat，VGG，GoogleNet，ResNet） ---写的非常好
论文笔记：CNN经典结构2（WideResNet，FractalNet，DenseNet，ResNeXt，DPN，SENet）-----精读
https://blog.csdn.net/u011501388/article/details/79262115---DenseNets
https://blog.csdn.net/winycg/article/details/86760274------Pytorch实现ResNet V2-Pre-activation ResNet
https://blog.csdn.net/zkq_1986/article/details/84142047------【深度学习】alexnet、vgg19_bn、ResNet-110、PreResNet-110、ResNeXt-29, 8x64等模型性能对比
https://www.cnblogs.com/huanxifan/p/12626863.html----Wide Resnet（Resnet的有趣变种：WRN--https://blog.csdn.net/shwan_ma/article/details/78168629）
http://www.mamicode.com/info-detail-2293789.html---总结近期CNN模型的发展(一)---- ResNet [1, 2] Wide ResNet [3] ResNeXt [4] DenseNet [5] DPNet [9] NASNet [10] SENet [11] Capsules [12]
https://blog.csdn.net/ruoruojiaojiao/article/details/89074763----Res2Net------论文理解
https://blog.csdn.net/hejin_some/article/details/80743818-----ResNeXt算法详解（resnet提升篇）(组卷积)
https://blog.csdn.net/qq_39478403/article/details/105567088?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase------【论文阅读】Improved Residual Networks for Image and Video Recognition (iResNet)----https://github.com/iduta/iresnet（分布式训练）
https://www.jianshu.com/p/46d76bd56766------干货 | 深度详解ResNet及其六大变体
Resnest
Xception、Mobienet是google利用深度可分离卷积提出的分类网络
https://blog.csdn.net/lk3030/article/details/84847879
https://www.jianshu.com/p/4708a09c4352
检测
https://blog.csdn.net/baidu_30594023/article/details/82623623---FPN
https://github.com/AlexeyAB/darknet----yolov4
https://www.cnblogs.com/silence-cho/p/11717135.html----yolov1-v3精读
https://zhuanlan.zhihu.com/p/59910080------RetinaNet(Focal Loss)
https://baijiahao.baidu.com/s?id=1651514751262272881&wfr=spider&for=pc-------比当前SOTA小4倍、计算量少9倍，谷歌最新目标检测器EfficientDet
https://blog.csdn.net/czp_374/article/details/81162923-----人脸检测和识别
https://blog.csdn.net/weixin_43489950/article/details/94720958---AP loss（https://blog.csdn.net/jiaoyangwm/article/details/91479594）
Anchor free
http://www.dataguru.cn/article-14837-1.html--------重磅！13篇基于Anchor free的目标检测方法
https://zhuanlan.zhihu.com/p/93703085------一文看尽8篇目标检测最新论文(EfficientDet/EdgeNet/ASFF/RoIMix等）
小目标检测(通用的小目标检测、人脸小目标检测)：
https://blog.csdn.net/mary_0830/article/details/103100001?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-7-----ICCV2019 | 目标检测论文阅读 SCRDet：Towards More Robust Detection for Small, Cluttered and Rotated Objects
https://www.jianshu.com/p/7e7f677bc8eb----Efficient Coarse-to-Fine Non-Local Module for the Detection of Small Objects
tinyperson
实时目标检测
https://blog.csdn.net/mingqi1996/article/details/91873719-----Receptive Field Block Net for Accurate and Fast Object Detection论文笔记
分割：
https://github.com/ShawnBIT/Loss-family---分割的各种loss
https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247486129&idx=1&sn=67bdf950e107ae2508fb9763450c4871&chksm=ec1fe748db686e5e6a2aa5af4ca39c85a5e6e8d9cf6386bd62fd4f46a117da49a5133868d2e2&scene=21#wechat_redirect------CVPR 2018|分割算法——可以分割一切目标（附各种分割总结）
https://www.sohu.com/a/314483400_823210---精度高、模型小、速度快！梯形DenseNets结构实现语义分割新高度！
https://blog.csdn.net/Najlepszy/article/details/104212394?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2------图像分割论文“Adaptive Context Network for Scene Parsing”
https://blog.csdn.net/guleileo/article/details/80544835?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-7&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-7---------北大、北理工、旷视联手：用于图像语义分割的金字塔注意力网络（PANet）
https://blog.csdn.net/mieleizhi0522/article/details/83651195-------MS-NFN Model for Retinal Vessel Segmentation（血管分割）
https://blog.csdn.net/Formlsl/article/details/80373200---Unet
https://www.jianshu.com/p/a782aba60ede-----Unet---写的很细，包括Over-tile策略、边缘像素加权
大规模数据目标检测
https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/105648318
concurrent-softmax loss---大规模多标签目标检测--CVPR2020 Oral
实时语义分割：
https://blog.csdn.net/Freeverc/article/details/83591210---Bisenet
https://zhuanlan.zhihu.com/p/129803377---Bisenetv2
YOLACT
https://blog.csdn.net/sinat_37532065/article/details/89415374
YOLCAT++(实时实例分割)、SOLO、SOLOv2
多标签分类：
OCR
Reid
https://blog.csdn.net/m0_37615398/article/details/98040663
23、GAN系列，原理loss上的改进、特定任务的结构(如风格迁移、样本生成、用GAN做异常检测)
24、OCR系列(检测、识别、end-to-end或者按照水平、倾斜、弯曲等划分)
25、人群计数、用分割代替检测用于数钢筋等
26、NAS(NAS-FPN、Auto-deeplab)、AutoML自动调参等
27、模型量化、压缩、知识蒸馏(teacher-student\mean-teacher)等、mimic
28、tensorRT、ONNX、tf-lite、tensorRT-inference-server、tf-serving等部署相关
https://blog.csdn.net/lidawei0124/article/details/90116124-----跑通Jetson Nano TensorRt sampleSSD例程
29、netro等网络结构可视化、模型转换工具、t-sne、large-vis数据可视化
30、全监督、半监督、弱监督、无监督、自监督(用于训练得到预训练模型)和各个领域的结合(如MAML)，例如无监督领域自适应也可以看成一定的半监督问题（DA根据数据范围不同也可以分类、openset、closed-set的DA等）、多示例学习
31、深度强化学习系列
32、图像复原(去雾、去雨、去模糊、去噪等)、行人重识别reid、单目标、多目标跟踪、人脸检测、人脸识别、图像、视频检索、行为识别、视频关键帧、图像视频描述、关键点、姿态估计、超分辨率、显著性检测
姿态估计
高IOU遮挡下的姿态估计（HintPose）
https://blog.csdn.net/lh641446825/article/details/103110837?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-6-----[ICCV 2019] 解决位姿估计中遮挡、对称、无纹理物体的方法
目标跟踪
MDNet
https://blog.csdn.net/elaine_bao/article/details/78824357-----视频物体检测(VID)系列 NoScope:1000x的视频检索加速算法
医学图像异常检测
https://blog.csdn.net/inkky/article/details/88943533---Skip-GANomaly
33、医学图像处理(2维X光、3维CT、MR、病理切片、OCT、糖网眼底彩照)、遥感图像处理是否可借鉴病理切片、工业检测
34、CAM、Grad-CAM热图绘制
35、训练时单机单卡、单机多卡、多级多卡分布式、多线程处理、训练加速、混合精度优化
https://baijiahao.baidu.com/s?id=1610222052714852444&wfr=spider&for=pc
https://blog.csdn.net/xiaojiajia007/article/details/103472850/---一个 Pytorch 训练实践 （分布式训练 + 半精度/混合精度训练）
https://blog.csdn.net/m0_37192554/article/details/106078207?utm_source=blogxgwz7----pytorch半精度，混合精度，单精度训练的区别amp.initialize
https://www.sohu.com/a/197649510_465975----学界 | 减少模型半数内存用量：百度&英伟达提出混合精度训练法
http://nvidia.zhidx.com/content-6-1651-1.html-----单精度、双精度、多精度和混合精度计算的区别是什么?
https://blog.csdn.net/zyy617532750/article/details/104219708----GPU加速实战——混合精度训练
https://www.sohu.com/a/292425196_114877------实战 PK！RTX2080Ti 对比 GTX1080Ti 的 CIFAR100 混合精度训练
http://www.gpus.cn/gpus_list_page_techno_support_content?id=61-----利用Tensor Core优化GPU性能的几个小窍门---https://www.cnblogs.com/marsggbo/p/11686184.html
36、padding等模式、图像卷积后尺寸计算
37、梯度爆炸、梯度消失等
38、NLP相关知识、知识图谱
https://zhuanlan.zhihu.com/p/107917373-----从transformer到bert
39、不确定度解决领域自适应(MICCAI眼科文章)、主动学习等
40、小目标检测专题、图像中多尺度物体检测
41、课程学习、自步学习、在线学习、持续学习等
42、三大特性含义：旋转不变性、平移不变性等
43、比赛方案分析总结
44、感受野、参数量、flops等计算
45、无人驾驶、车道线检测、点云等、轻量级的网络设计(mobilnetv1-v3、shufflenet、EfficientNet、FBNetv2，PVANet等)
46、latex论文写作使用
47、docker、nvidia-docker使用、git使用
48、不同特定任务各种loss、比如分割的dice、bce、soft-dice等
49、jupyter notebook、pycharm、markdown使用
50、各种任务评价指标的计算
51、GNN、GCN、胶囊网络等、强化学习药物研发
52、element-add、element-相乘、concat用处区别(好像add用的多，是梯度反传时比较好吗？)
53、BN和激活函数的顺序
54、模型的特征提取能力、模型的特征上下文信息、语义信息、模型的泛化能力、感受野、特征的reduction程度、通道和空间层面的特征表示含义、模型的计算量GFLOPS和参数量#P(卷积和全连接层不一样)、显存占用、flops、模型的吞吐量
https://zhuanlan.zhihu.com/p/86587652---参数量、FLOPs计算https://blog.csdn.net/Seven_year_Promise/article/details/69360488------resnet50参数量计算(https://blog.csdn.net/qq_42278791/article/details/90690747、https://blog.csdn.net/qq_36401512/article/details/105640808)
http://www.elecfans.com/d/598165.html----五种CNN模型的尺寸，计算量和参数数量对比详解
https://www.jianshu.com/p/883df8e81450-----史上最全的cnn参数计算详解
55、zero-shot、one-shot、few-shot、小样本学习、元学习
56、5x5卷积可以由几个3x3卷积替代(作用：降低参数量等)、或者由3x3卷积，空洞率为2的空洞卷积替代、1X1卷积的用处等
57、孪生网络、实时检测、分割等网络
58、卷积神经网络的两个特点，增大感受野的方式(卷积层的堆叠)、训练网络的tricks(亚马逊的分类、检测tricks论文)
分割技巧：
https://www.aiuai.cn/aifarm826.html
https://www.zhihu.com/question/272988870/answer/562262315
59、各种网络模型初始化策略(正太分布、kaiming等初始化)、模型预训练模型加载、冻结指定层训练等、warm up等技巧
60、传统图像特征
https://www.jianshu.com/p/2a06c68f6c14--边缘检测(sobel、canny、laplacian)
http://www.luyixian.cn/news_show_24847.aspx
https://www.cnblogs.com/henuliulei/p/10797634.html---图像的Garbor和hog特征
61、项目开发中的版本控制
https://learngitbranching.js.org/?locale=zh_CN---git命令图形化学习
https://hacker-tools.github.io/version-control/
https://www.jianshu.com/p/ea6341224e89--------Git中.gitignore的配置语法
62、一些新颖的产品背后的技术
AI换脸
https://www.zhihu.com/question/316591736/answer/778920100
https://blog.csdn.net/qq_36625422/article/details/90053241---DeepFack实现
https://www.boxuegu.com/news/2156.html
https://www.zhihu.com/question/308193404
63、模型轻量化改进思路
https://zhuanlan.zhihu.com/p/33345791---5X5--->3X3(https://www.zhihu.com/question/265791259)
64、生产环境、测试环境、开发环境
https://blog.csdn.net/yanglangdan/article/details/102552388
65、imgcat终端查看图片、jupyter notebook
https://blog.csdn.net/Li_suhuan/article/details/100281263
https://www.jianshu.com/p/91365f343585------Jupyter Notebook介绍、安装及使用教程
66、宽度学习
https://blog.csdn.net/weixin_40802676/article/details/100161494