分类： AIGC

近期关于text-to-image可控生成问题的讨论

从2022年5月stable diffusion开源开始，生成式AI的文生图模型（Text-to-Image Model in Generative AI）就火出了圈。使用文字生成图像，跳过了绘画技艺

最近在整一个X光三维重建的深度学习项目。客观的说，接手之前从没搞过深度学习，接手后压力是很大的，但难题还是一个一个解决了。一开始连相关模型都半天部署不好，后来搞定了。然后是制作自己的医疗图像数据集，也

一.LLM jailbreak 早些年间Jailbreak通常指代苹果越狱，越狱就是借助某些特定的⼯具,对 iphone内的操作系统进⾏破解,从⽽让⽤户可以做到很多苹果预先禁⽌的事情。

近期的研究总结显示，NeRF技术在新视角合成任务方面越来越受关注。新视角合成是指通过给定源图像、源姿态和目标姿态来生成目标姿态对应的图片，这项技术在3D重建、AR/VR等领域有广泛的应用。 NeRF技

大家接触AI绘画，不能仅仅把自己的目标放在尝试各种工具上。那样虽然可以学会一些工具的使用，但是做不出好的图画，做不出有深度的研究。在尝试这些工具的同时，可以考虑以下问题： 0.AI绘画与计算机科学研究

AI画漫画主要痛点有两个：一是如何保持不同画面中人物的一致性, 二是如何对一些动作变化如何快速生成对于一，之前已经有了一些方案如基于mask的图生图，现在又有了新方案：reference-onl

最近因为工作原因天天在finetune stable diffusion模型和clip模型，现将一些重要的相关网站总结如下。一、模型gallery huggingface.co 此网站人称机器学习界

运行对象：https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/finetune_taiyi_stable_

自己的数据集里中文为主。虽然原生clip居然也能处理中文，不过github上也有个chinese clip，据说使用大规模中文数据进行训练（~2亿图文对），旨在帮助用户快速实现中文领域的图文特征&am

近期因为论文项目的原因，需要部署使用clip模型。但是学生那边没有安装这类软件的经验弄不好。我就想着让学生装个docker的clip镜像解决问题。但是我在docker hub和github上找了半天，

假期的时候我带了一批本科生以“用chatGPT生成一个故事，然后用AI绘画做成连环画”为目标，做了AI绘画和模型微调的尝试并撰写了报告。但是我本人并没有亲自fineture模型，导致对一些AI绘画痛点

2021年的时候我受dataComic启发，曾有个 NLP+交互的方式创建普通漫画的idea，但受限于当时人员有限、开发能力不足未能搞定。2022年10月来浙大访学的时还曾跟浙大博士提过这个idea，

从2022年11月开始，以stable diffusion为代表的AI绘画模型大行其道。到12月份，又来了chatGPT。浙大陈为老师认为，chatGPT为代表的大模型是今年以来的计算机科技圈的最大热