試行錯誤を重ねるブログ

https://developer.nvidia.com/ja-jp/blog/accelerating-stable-diffusion-inference-with-tensorrt/?ncid=so-twit-197120&=&linkId=100000220768036 TensorRT を使うことで、Stable Diffision の推論を高速化することができるようです。 TensorRT の導入がいろいろ手順があって大変なようですが、今回はその手順をコンテナを使って楽して試してみましょう。なお、VRAM 8GB の GeForce 2070 でも実行可能でした。前提・RTX 世代の GeForce ・Docker で GPU が使えるようになっている事前準備・GeForce のドライバを更新する (多分) 2023年10月にリリースされている最新版のドライバをインストールする必要があります。下記の TensorRT の拡張機能の GitHub には、「Windows: >=452.39」という記載がありますので、それ以上のバージョンにすれば OK だと思います。・お好きな Stable Diffision のモデルをダウンロードしておく ※SDXL は、2023年10月時点では対応していない様子です。 ⇒拡張子 .safetensors を /work ディレクトリに保存しました。・NGC の TensorRT コンテナイメージをダウンロードする docker pull nvcr.io/nvidia/tensorrt:23.09-py3 ・TensorRT の拡張機能をダウンロードする https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT ⇒今回は ZIP でダウンロードして、/work ディレクトリ配下に保存しました。実行・WebUI 用のポートと、モデルデータ共有用のディレクトリを設定してコンテナを起動する docker run -it --gpus=all --rm -v /work:/work -p 7860:7860 nvcr.io/nvidia/tensorrt:23.09-py3 /bin/bash ・必要なパッケージをインストールする

SDXL Turboを試してみた

リアルタイムテキスト画像生成モデル、SDXL Turboのご紹介推論が速いモデル、SDXL Turbo が公開されました。要約 GeForce 2070 (VRAM 8GB) でも動作した画像の生成が早い準備いつもの Docker イメージで起動します。 docker run -it --gpus=all --rm -v /work:/work nvidia/cuda:11.8.0-base-ubuntu22.04 /bin/bash 必要なツールをインストールします。 apt update apt install -y git git-lfs python3-pip libgl1-mesa-dev libglib2.0-0 ffmpeg pip install diffusers transformers accelerate gradio --upgrade 生成せっかく生成が速いとのことなので、テキストを入力すると順次画像生成がされるように gradio で WebUI を作ってみます。 from diffusers import AutoPipelineForText2Image import torch import gradio as gr pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16") pipe.to("cuda") def greet(name): image = pipe(prompt=name, num_inference_steps=1, guidance_scale=0.0).images[0] return image with gr.Blocks() as app: out = gr.Image() textbox = gr.Textbox(elem_id = 'prompt') textbox.change(fn = greet, inputs = [textbox], outputs = [out]) app.lau

Japanese Stable Diffusion XL を試してみた

日本特化の商用利用可能 text-to-image モデル「Japanese Stable Diffusion XL」をリリースしました Stablity AI 社より、日本語プロンプトで入力可能な、出力画像も日本向けにチューニングした text-to-image モデルがリリースされました。要約 GeForce 2070 (VRAM 8GB) でも動いた Hugging Face の Usage にあるコードを実行すると、1枚画像を生成するのに 40 分ぐらいかかる Google colab のノートブックを使うと、Gradio の WebUI で実行できる。これだと 1 枚生成するのに 40 秒ぐらい。手順 1 Hugging Face でモデルの利用許諾を承認し、アクセストークンを取得します。 https://huggingface.co/stabilityai/japanese-stable-diffusion-xl いつもの Docker イメージで起動します。 docker run -it --gpus=all --rm -v /work:/work nvidia/cuda:11.8.0-base-ubuntu22.04 /bin/bash 必要なツールをインストールします。 apt update apt install -y git python3-pip libgl1-mesa-dev libglib2.0-0 pip install Diffusers sentencepiece アクセストークンを使って Hugging Face にログインします。 huggingface-cli login 例にある Python コードを実行します。 from diffusers import DiffusionPipeline import torch pipeline = DiffusionPipeline.from_pretrained( "stabilityai/japanese-stable-diffusion-xl", trust_remote_code=True ) pipeline.to("cuda") # if using torch < 2.0 # pipeline

Powered by Blogger

試行錯誤を重ねるブログ

このブログを検索

Japanese Stable CLIP を試してみた

Belgium Community Event

コメント

コメントを投稿