【图像生成与编辑】最新进展!( 二 )


项目开源于,最新功能更新了聊天机器人,实现语音输入,一键更换语义场景等,结合SD可以做到局部替换功能 。
功能1:通过模块对语音进行转换,直接对图片的检测对象进行替换,例如将狗替换成猴子,看图片确实是毫无违和感:
功能2:实现自动数据标注,包括标签信息及预测概率,有点类似于系列,借助SAM分割万物的思想可以直接对图片中的所有场景进行分割及分类标注 。使用直接生成标签,使用-SAM进行box和mask生成 。具有卓越的标记和字幕功能 。使用BLIP生成标题,使用提取标签,使用-SAM生成框和MASK图片 。浅浅的谈一句,针对简单场景,确实该项目有很多过人的优势,复杂场景的实际应用还有待商榷,目前看来最大的一个问题是分割的场景会存在分割过细的情况,需要手动人工check,而且并不是所有参数对不同图片都适用,针对训练的大量图片,实际自动标注效果还有待优化 。
功能3:实例替换 。如更换头发颜色、背景、交互式应用等 。