最新要闻
- 世界热讯:简历上写QQ邮箱会掉分吗引热议 网友:邮箱也分三六九等?
- 全焦段光学覆盖!小米13 Ultra影像参数公布:1+3黄金组合
- 环球消息!4999元起 荣耀MagicBook 14 2023笔记本发布:5项世界第一
- 天天即时:优酷回应非会员遇3000多秒广告:bug已修复 是文案显示问题
- iPhone 15 Pro固态按键设计临时改了!只因难度太大
- 快看:本周最火AutoGPT!GitHub3.6万+标星:解决复杂任务全程无需人类插手
- 环球微速讯:性能升级 13代酷睿来了? 华为MateBook笔记本新品即将发布
- 曾力推每天睡4小时 张朝阳建议年轻人别睡懒觉不要熬夜
- 每日动态!李书福抢跑马斯克发小钢炮!冰箱彩电大沙发全标配:理想直呼内行
- 【环球热闻】售价高达15000元!宾得专为黑白摄影推出K-3 Mark III Monochrome
- 金色的草地课文朗读音频_金色的草地课文
- Intel突然杀死服务器整机业务!新CEO连砍十余刀挽救亏损
- 马保国直播带货现演“闪电五连鞭”:销量惨淡 网友只看不买
- 克里克森_克里克拉克
- 每日速递:日本部分地区出现大量黄沙:能见度不足10公里
- 环球热点!高颜值!关晓彤晒华为nova 11:本月发
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
全球观速讯丨Mac | iOS | Windows:安装Stable diffusion教程
热烈欢迎,请直接点击!!!
进入博主App Store主页,下载使用各个作品!!!
注:博主将坚持每月上线一个新app!!!
(相关资料图)
Apple已支持的开源库:https://machinelearning.apple.com/research/stable-diffusion-coreml-apple-silicon
一、MAC部署安装:https://github.com/apple/ml-stable-diffusiongit clone https://github.com/apple/ml-stable-diffusion// 下载的文件夹运行pip install -e .注册登陆:hugging face点击生成token并复制:https://huggingface.co/settings/tokens
接下去命令行输入指令,按提示输入
huggingface-cli login
运行指令,在文件夹下运行,顺便创建一个放置ml模型的文件夹,替换下面的-o
python -m python_coreml_stable_diffusion.torch2coreml --convert-unet --convert-text-encoder --convert-vae-decoder --convert-safety-checker -o ./output_ml官方还给了一个api:
--model-version runwayml/stable-diffusion-v1-5 #可以指定其他版本的diffusion模型,默认是 CompVis/stable-diffusion-v1-4--bundle-resources-for-swift-cli #将ml文件整理成一个swift包,python生成不需要使用--chunk-unet #ios和ipados部署需要,后面两个之后有机会我想去尝试一下在真机上的部署--attention-implementation #在Apple芯片上的npu上实现如果想部署手机和平板可以参考:
python -m python_coreml_stable_diffusion.torch2coreml --convert-unet --convert-text-encoder --convert-vae-decoder --convert-safety-checker -o ./sd2_ml --chunk-unet --model-version stabilityai/stable-diffusion-2-1-base --bundle-resources-for-swift-cli大约20几分钟,会生成下列文件:接着还是在ml-stable-diffusion的文件夹下运行,对了再创建一个放图片的文件夹:
python -m python_coreml_stable_diffusion.pipeline --prompt "a photo of an astronaut riding a horse on mars" -i ./output_ml -o ./output_image --compute-unit ALL --seed 93swift用下面这个:
swift run StableDiffusionSample "A photo of a little girl walking on the beach with the Jenny Turtle" --resource-path ./sd2_ml/Resources/ --seed 93 --output-path ./output_image
--model-version #如果前面修改了这个也要修改--num-inference-steps #默认推理50次,用这个可以自定义次数参考了官方的基准指南--compute-unit 选择了CPU_AND_NE,swift 2秒左右一个step,快了很多。
就是从上图中我们可以看到似乎无后缀的M芯片由于GPU数量较少吧我猜--compute-unit 都推荐选CPU_AND_NE,pro系列芯片选ALL,以上选CPU_AND_GPU。
--attention-implementation 直接看GPU核心数,小于等于16个使用SPLLIT_EINSUM,就是默认的其实啥也不用加。大于16个使用ORIGINAL。我猜因为M芯片是16核NPU的,GPU核心数比NPU小那肯定用NPU,GPU核心数大大超过NPU,那还是GPU的效率更高吧。二、iPhone & iPad部署打开Xcode,导入库和上面生成的ML文件1 import SwiftUI 2 import StableDiffusion 3 import CoreML 4 5 struct ContentView: View { 6 @State var prompt: String = "a photo of an astronaut riding a horse on mars" 7 @State var step = 10 8 @State var seed = 100 9 @State var image: CGImage?10 @State var progress = 0.011 @State var generating = false12 @State var booting = true13 14 @State var pipeline: StableDiffusionPipeline?15 16 private let disableSafety = false17 18 19 var body: some View {20 VStack {21 if booting {22 Text("Initializing...")23 } else {24 if let image {25 Image(uiImage: UIImage(cgImage: image))26 .resizable()27 .scaledToFit()28 }29 if generating {30 ProgressView(value: progress)31 }32 if !generating {33 TextField("Prompt", text: $prompt)34 Stepper(value: $step, in: 1...100) {35 Text("steps: \(step)")36 }37 Stepper(value: $seed, in: 0...10000) {38 Text("Seed: \(seed)")39 }40 Button("Generate") {41 progress = 0.042 image = nil43 generating = true44 Task.detached(priority: .high) {45 var images: [CGImage?]?46 do {47 print("generate")48 images = try pipeline?.generateImages(prompt: prompt, stepCount: step,seed: seed, disableSafety: disableSafety, progressHandler: { progress in49 print("test")50 self.progress = Double(progress.step) / Double(step)51 if let image = progress.currentImages.first {52 self.image = image53 }54 return true55 })56 } catch let error {57 print(error.localizedDescription)58 }59 print("finish")60 if let image = images?.first {61 self.image = image62 }63 generating = false64 }65 }66 }67 }68 }69 .padding()70 .onAppear{71 Task.detached(priority: .high) {72 do {73 print(os_proc_available_memory())74 guard let path = Bundle.main.path(forResource: "CoreMLModels", ofType: nil, inDirectory: nil) else {75 fatalError("Fatal error: failed to find the CoreML models.")76 }77 let resourceURL = URL(fileURLWithPath: path)78 let config = MLModelConfiguration()79 config.computeUnits = .cpuAndNeuralEngine80 pipeline = try StableDiffusionPipeline(resourcesAt: resourceURL, configuration: config,reduceMemory: true)81 try pipeline?.loadResources()82 print("initialized pipeline")83 } catch let error {84 print("error initializing pipeline")85 print(error.localizedDescription)86 }87 booting = false88 }89 }90 }91 }92 93 struct ContentView_Previews: PreviewProvider {94 static var previews: some View {95 ContentView()96 }97 }在iPad和Mac上建议config.computeUnits = .cpuAndNeuralEngine。如果要继续在iPhone上部署的话改为这个config.computeUnits = .cpuAndGPU,然后来到Signing界面,点击Capability,选择Increased Memory Limit。这样就可以在iPhone真机上运行了。这个项目在iPhone真机上需要3GB多一点的内存,我是iPhone 14pro,程序默认可用内存也是3GB多一点刚好杀死。所以通过Increased Memory Limit将可用内存提升至4GB左右才可以运行。另外,即使提升了内存使用神经引擎还是会抱内存错误,只有用GPU才可以,iPad air5没有这种报错两个都可。GPU的运行速度是比神经引擎慢一点的,但是一台手机可以本地运行diffusion还是蛮酷的。
三、Windows部署
下载库:去github网址下载 - >https://github.com/CompVis/stable-diffusion
git clone https://github.com/CompVis/stable-diffusion.git
配置环境和文件
简单的操作,在下载后的文件夹下直接输下面两个:
conda env create -f environment.yamlconda activate ldm这样就配置好了。或者就像我一样傻傻的报错一个安装一个,环境是pytorch torchvision。
pip install transformers==4.19.2 diffusers invisible-watermarkpip install -e .pip install OmegaConf einops taming-transformers pytorch-lighnting clip kornia
问题
第一个问题官网是有说明的,但就是这个下载地址藏得很深不好找。
找了一会才找到https://huggingface.co/CompVis/stable-diffusion-v-1-4-original,把这个sd-v1-4.ckpt文件下载下来,随便哪个都行,大概四个G。
下载模型文件放置到这个文件夹下,就是上面官方说明的那个位置,命名成model.ckpt。
运行下面的代码,不出意外会报错。
python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms
问题好像是原作者修改了这个库,将你的quantize.py(报错的信息里包含文件所在的绝对路径)文件替换成这个网址的文件https://github.com/CompVis/taming-transformers/blob/master/taming/modules/vqvae/quantize.py
再运行一次又报错
现在有一个简单的办法了,感谢数学系之耻的建议,直接降精度就可以释放显存了。如下修改txt2img.py文件第244行
效果图:
或者接下去看比较复杂的方法!不知道需要多大的内存才可以,网上找到方法是用优化的库。网上还有一种办法说注释掉什么安全检查的我试了没有变化。https://github.com/basujindal/stable-diffusion下载完后在新的库上也是需要安装一些环境,在新的文件夹下运行下面的安装代码
pip install -e .
优化的库代码放在optimizedSD文件夹下,也保留了之前的源代码,不要搞错了。
重新安装一下这个优化库的环境,将ckpt放到对应的位置。
python optimizedSD/optimized_txt2img.py --prompt "Cyberpunk style image of a Tesla car reflection in rain" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 5 --ddim_steps 50
运行后报这个错。查了一下,好像是最近优化的作者也换了一个库https://github.com/basujindal/stable-diffusion/issues/175用下面的办法就能解决了。
pip install git+https://github.com/crowsonkb/k-diffusion.git
然后打开编辑optimizedSD/ddpm.py文件,将from samplers…改成上面图片的三个from k_diffusion…然后贫穷的显卡的电脑也就可以跑了,不说了要努力搬砖买24g的显卡了。
关键词:
-
天天速读:MegEngine 使用小技巧:使用 Optimizer 优化参数
MegEngine的optimizer模块中实现了大量的优化算法,其中Optimizer是所有优化器的抽象基类,规定了必须提...
来源: -
全球观速讯丨Mac | iOS | Windows:安装Stable diffusion教程
热烈欢迎,请直接点击!!!进入博主AppStore主页,下载使用各个作品!!!注:博主将坚持每月上线一个...
来源: -
世界短讯!科创板收盘播报:科创50指数低开低走跌2.59% 软件服务及半导体股跌幅居前
科创50指数13日低开低走,至收盘时报1100 13点,跌幅2 59%,指数振幅为2 35%,总成交额约1046亿元。...
来源: 天天速读:MegEngine 使用小技巧:使用 Optimizer 优化参数
每日动态!图片压缩&视频截取
全球观速讯丨Mac | iOS | Windows:安装Stable diffusion教程
世界短讯!科创板收盘播报:科创50指数低开低走跌2.59% 软件服务及半导体股跌幅居前
世界热讯:简历上写QQ邮箱会掉分吗引热议 网友:邮箱也分三六九等?
全焦段光学覆盖!小米13 Ultra影像参数公布:1+3黄金组合
环球消息!4999元起 荣耀MagicBook 14 2023笔记本发布:5项世界第一
天天即时:优酷回应非会员遇3000多秒广告:bug已修复 是文案显示问题
iPhone 15 Pro固态按键设计临时改了!只因难度太大
天天最资讯丨动态代理与Spring AOP
在LINQPad中使用FreeSql查询数据库
minio分片上传
12函数进阶
环球快看点丨[Docker]Namespace与Cgroups
快看:本周最火AutoGPT!GitHub3.6万+标星:解决复杂任务全程无需人类插手
环球微速讯:性能升级 13代酷睿来了? 华为MateBook笔记本新品即将发布
曾力推每天睡4小时 张朝阳建议年轻人别睡懒觉不要熬夜
每日动态!李书福抢跑马斯克发小钢炮!冰箱彩电大沙发全标配:理想直呼内行
【环球热闻】售价高达15000元!宾得专为黑白摄影推出K-3 Mark III Monochrome
金色的草地课文朗读音频_金色的草地课文
焦点精选!论结构化、系统性的学习
【天天热闻】RocketMQ是是如何管理消费进度的?又是如何保证消息成功消费的?
【天天聚看点】C# 根据前台传入实体名称,动态查询数据
每日关注!电商流量分析怎么做?试试这款数据工具 DataLeap!
Intel突然杀死服务器整机业务!新CEO连砍十余刀挽救亏损
马保国直播带货现演“闪电五连鞭”:销量惨淡 网友只看不买
手把手教你如何免费Midjourney Adobe FireFly AI绘图—Window本地快速部署stable diffusion AI绘图及使用指南(小白
克里克森_克里克拉克
每日速递:日本部分地区出现大量黄沙:能见度不足10公里
环球热点!高颜值!关晓彤晒华为nova 11:本月发
每日资讯:开启影像光学新时代!小米13 Ultra搭载全焦段5000万像素徕卡四摄
真反向虚标!实测比亚迪秦PLUS EV冠军版:标610开出646.5
5.98万起真不贵!五菱缤果上市两周狂卖10000台:再成爆款
【3D建模工具】上海道宁与McNeel为您提供强大的专业3D造型软件
环球快资讯丨学系统集成项目管理工程师(中项)系列04c_项目管理一般知识(下)
【大兴调查研究】临夏税务:“把脉问诊”助企纾困
今日热闻!新款特斯拉Model 3实车首曝:大灯更精神、颜值再提升
焦点短讯!张艺谋:《满江红》票房让我很意外 20亿就是伟大胜利
观热点:美曾通报生物实验室感染病毒的小白鼠逃了:去年还发生实验猴逃窜
世界快看:5.58万起 五菱荣光新卡上市:2.0L动力、3.3米货厢
当前看点!微信推送8.0.35测试版:和Android 5.0说再见
华硕A52J笔记本最大存储空间是多少?华硕a52j笔记本参数
金立GN105手机怎么换屏幕?金立gn105手机参数配置
ATI HD4500是集成显卡吗?ATI HD4500参数配置
华硕y581c是什么系列?华硕y581c笔记本电脑配置
苹果iPhone7有几种颜色?苹果iphone7怎么截长图?
环球速递!《梦西游》4月14日合服维护公告
环球快消息!C#--TextBox的四种禁止编辑方法
热点评!4月22日,云数据库技术沙龙【杭州站】来了
用java做一个并发10W的网站,需要用到的技术有这些!
释放1英寸全部实力!小米13 Ultra支持可变光圈:重金打造
埃安Hyper GT摊牌了:比特斯拉贵 但你会选我
广东惠东发现“世界最神秘的鸟”:中国特产、比大熊猫还稀少
世界通讯!《名侦探柯南》优衣库联名T恤引争议 柯哀党PK新兰党
观焦点:小米平板6系列正式官宣:5000万摄像头 超强生产力工具
环球微速讯:093期杨光福彩3D预测奖号:定位直选参考
天天时讯:百度文心大模型API测试
世界通讯!浅析DNS Rebinding
Linux运维进阶之路
环球观点:美国通胀降温 油价随宽松预期下上行
天天日报丨男子要求抹零被拒与店员起争执 就为10元打女服务员:网友吐槽没必要
世界快资讯:打车去拉萨的超远订单显著增加 车费超1.3万 滴滴:希望大家理性下单
每日动态!曾是第一大股东 软银抛售阿里巴巴股份:快清空了
世界热资讯!剧版《哈利·波特》官宣 先导预告发布:JK罗琳监制 忠于原著的十年大剧
每日速递:和iPhone一样四边等宽!华为nova 11正面照泄露
天天报道:1、内网渗透基础知识
4月13日生意社二氯甲烷基准价为2607.50元/吨
【国际大宗商品早报】国际油价显著上涨超2% 基本金属全线走高
喊话北京打车太便宜应涨价!乘联会秘书长:燃油车用户纳税但未享受权益
世界速看:中老铁路首趟国际旅客列车发车:昆明当日通达万象 二等座470元
白玉兰奖《狂飙》张颂文呼声最高:国产电视剧质量、口碑爆发
有7/14nm光刻机国产芯片就能赶上来?全球半导体设备、材料核心已被全垄断
【读财报】房企3月融资:境内信用债发行规模环比翻倍 美元债发行回落
焦点滚动:银河证券:继续看好银行板块投资机会
每日动态!四大证券报精华摘要:4月13日
微头条丨高校围捕1.26米40斤“鳄雀鳝”:人为放生 长嘴如鳄鱼
兰博基尼推出插电混动超级跑车 60万美元迅速卖光
比亚迪汉、唐车主狂喜!今年内可OTA升级云辇系统 车型一览
焦点滚动:小米13 Ultra跑分出炉:第二代骁龙8 顶配16GB内存
天天时讯:俄罗斯国家空间站计划2027年开建:最新构型图正式公布
每日播报!信贷投放靠前发力为经济发展注入活力
比亚迪又放大招 直接对标奔驰
今日最新!403秒!我国人造太阳创造新的世界纪录:可控核聚变又近一步
世界滚动:校园内最美的舞蹈
四则运算练习&竞赛系统(结对编程)
世界滚动:[GIT]GIT之删除远程仓库中的目录或文件
神谷英树发文怒喷Switch:想把这垃圾砸碎!
世界快讯:10nm以下最强候选 中国半导体性单壁碳纳米管获突破
快看点丨被吐槽像绿皮火车!空姐飞机上推销商品吆喝40分钟 业内人士:不违规
【天天新视野】世界上最孤独的鲸鱼死了:圈养44年 5个孩子全部夭折
世界观焦点:技嘉发布韩国特供版RTX 4070:真花哨
穗是哪个城市的简称_广州的简称
全球看点:美国3月消费者价格指数环比增长0.1%
最新:面试题百日百刷-kafka篇(二)
全球看热讯:融创达成复牌指引 明起正式复牌
柯纳米员工袭击老板
每日快讯!是兄弟就来找ChatGPT漏洞 最高赏金2万刀:你敢来吗
当前头条:AMD 3D缓存大杀四方!Intel 14代酷睿上四级缓存
我国首颗太阳专用卫星 夸父一号观测数据将向国内外试开放
Vulnhub Mercy Walkthrough