​ Segment Anything相关​

窦啸
2023-12-01

GitHub - microsoft/TaskMatrix连接ChatGPT和一系列Visual Foundation模型,以便在聊天过程中发送和接收图像。需要有openAI的API key,export OPENAI_API_KEY=xxx, 同时支持 GroundingDINO and segment-anything

ChatGPT的API调用可参考:

https://github.com/GitHubDaily/ChatGPT-Prompt-Engineering-for-Developers-in-Chinese

# B站吴恩达ChatGPT的prompt提示工程师【1-9集】
https://www.bilibili.com/video/BV1No4y1t7Zn/?p=1&vd_source=f38da35b858b95328ce554b41c06e64b

# Segment Anything Model(SAM)通过点或框等输入提示生成高质量的对象遮罩,并且可以用于为图像中的所有对象生成遮罩。它已经在1100万张图像和11亿张掩模的数据集上进行了训练,并且在各种分割任务上具有强大的零样本性能
https://github.com/facebookresearch/segment-anything

# 目的是能检测和分割带有文本输入的任何内容
https://github.com/IDEA-Research/Grounded-Segment-Anything

# DINOv2能够拍摄视频并生成比原始DINO方法更高质量的分割。DINOv2允许出现显著的特性,例如对对象部分的有力理解,以及对图像的有力语义和低级理解
https://ai.facebook.com/blog/dino-v2-computer-vision-self-supervised-learning/

# 引入了SEEM,它可以通过多模式提示一次分割所有内容。SEEM允许用户使用不同类型的提示轻松分割图像,包括视觉提示(点、标记、框、涂鸦和图像片段)和语言提示(文本和音频)等。它还可以使用任何提示组合或推广到自定义提示!
https://github.com/UX-Decoder/Segment-Everything-Everywhere-All-At-Once

# Segment and Track Anything是一个开源项目,专注于视频中任何对象的分割和跟踪,同时使用自动和交互式方法。所使用的主要算法包括用于自动/交互式关键帧分割的SAM(Segment Anything Models)和用于高效多对象跟踪和传播的DeAOT(将对象与变换器关联的解耦特征)(NeurIPS2022)。SAM跟踪管道实现SAM对新对象的动态和自动检测和分割,而DeAOT负责跟踪所有已识别的对象。
https://github.com/z-x-yang/Segment-and-Track-Anything

# 在SemanticKITTI的单次和多次扫描中都获得了第一名,在NuScenes lidarseg中获得了第三名,一直在更新代码
https://github.com/yanx27/2DPASS

 类似资料: