IC-Light

用一致可控的灯光效果重塑您的图像

2024-05-18

IC-Light(Imposing Consistent Light)是一个运用深度学习技术调控图像光照的前沿项目。该项目目前提供两类模型:文本条件重照明模型与背景条件模型。两种模型均以前景图像作为输入,允许用户通过文字描述或背景参考来调整光照条件。

核心功能:

  • 文本条件重照明:用户可通过方位指令(如"左侧光"、"右下方光")和文字描述(如"窗户透入的阳光"、"霓虹灯光")实现定制化光照效果
  • 背景条件重照明:自动协调前景与背景的光照风格,确保视觉统一性
  • 高一致性处理:模型通过训练实现连贯的光线传递,可生成逼真的重照明效果,甚至能融合至法线贴图

技术亮点:

  • 基于潜在扩散模型(LDM)架构,配备专用MLP网络确保光照一致性
  • 同时支持HDR与常规光照调节
  • 提供预训练模型如iclight_sd15_fc.safetensors(文本条件版)和iclight_sd15_fbc.safetensors(背景条件版)

应用场景:

  • 人像布光:调整肖像光照以适应不同场景(室内/户外/影棚)
  • 创意特效:为艺术创作生成风格化照明(霓虹/落日/赛博朋克等)
  • 背景替换:使前景与新背景的光照自然融合,实现无缝合成

IC-Light特别适合摄影师、平面设计师及希望优化图像光照流程的开发者。该项目已开源,模型可通过GitHub下载,并附有Gradio演示界面供快速体验。

Image Processing Deep Learning Computer Vision Illumination Manipulation Generative Models