Spouštění Qwen3-Coder:480B ve VSCodium s Ollama Cloud

Již nějakou dobu používám Ollama lokálně společně s OpenWebUI.

Tato konfigurace funguje skvěle, ale můj hardware má své limity. Používám počítač s grafickou kartou RTX 3070, což znamená, že pohodlně mohu provozovat modely do velikosti zhruba 8B parametrů. Cokoli většího se rychle stává pomalým a pro každodenní použití nepraktickým.

Během experimentování s Ollama jsem zjistil, že ke cloudovým modelům lze přistupovat prostřednictvím Ollama API:

https://ollama.com/v1

I v bezplatné verzi byl výkon a kvalita modelu výrazně lepší, než co jsem mohl provozovat lokálně. Najednou se staly použitelné i modely, které by na mém hardwaru běžně nebyly možné.

To kompletně změnilo pravidla hry.

Hledání programovacího agenta

Dalším krokem bylo experimentování s agenty pro psaní kódu (coding agents).

Zkoušel jsem Google Antigravity, ale rychle jsem narazil na limity tokenů. Jelikož jsem již používal Ollama, začal jsem hledat něco, co by se integrovalo s mým stávajícím nastavením, namísto přidávání další platformy.

Jelikož pracuji hlavně ve VSCodium, prozkoumal jsem dostupná rozšíření a nakonec objevil Continue.

Jedna z věcí, která se mi okamžitě zalíbila, byla možnost Continue připojit se přímo k instanci Ollama API.

Moje lokální modely fungovaly bez problémů.

S cloudovými modely to bylo jiné.

Problém

Chtěl jsem použít Qwen3-Coder 480B prostřednictvím Ollama Cloud.

V OpenWebUI byl model dostupný a fungoval perfektně.

Ve VSCodium (přes Continue) však nefungoval.

Moje konfigurace vypadala takto:

name: Local Config
version: 1.0.0
schema: v1
models:
  - name: qwen3-coder
    provider: ollama
    model: qwen3-coder:480b
    apiBase: http://localhost:11434
    roles:
      - chat
      - edit
      - apply

Všechny mé lokální modely fungovaly správně.

Cloudové modely ale nefungovaly, i když byly v Continue nakonfigurovány správně.

Zpočátku jsem předpokládal, že jde o problém s konfigurací, ale po otestování různých nastavení tomu tak nebylo.

Řešení

Po chvíli zkoumání jsem našel opravu.

Ollama vyžaduje, aby byly cloudové modely registrovány lokálně předtím, než je někteří klienti uvidí.

Řešení bylo jednoduché:

ollama pull qwen3-coder:480b-cloud

Tímto se model NESTAHUJE lokálně.

Místo toho se cloudový model registruje tak, aby byl viditelný prostřednictvím lokálního Ollama API.

Poté, co jsem model nastavil ve VSCodium tímto způsobem:

name: Local Config
version: 1.0.0
schema: v1
models:
  - name: qwen3-coder-cloud
    provider: ollama
    model: qwen3-coder:480b-cloud
    apiBase: http://localhost:11434
    roles:
      - chat
      - edit
      - apply

Poté začal model fungovat správně.

Co jsem se naučil

I když OpenWebUI může přistupovat ke cloudovým modelům přímo, ostatní nástroje využívající lokální Ollama API je nemusí automaticky vidět.

Hlavní poznatek:

• Cloudové modely mohou vyžadovat lokální registraci
• ollama pull není vždy jen o stahování
• Některé nástroje závisejí na lokálním registru modelů, nejen na API

Pokud cloudový model chybí, vyzkoušejte:

ollama pull jméno-modelu:tag-cloud

Závěrečné myšlenky

To, co začalo jako cesta k používání lepších modelů, než dovoluje můj hardware, se změnilo ve flexibilnější pracovní postup:

• OpenWebUI pro experimentování s modely
• Ollama pro správu lokálních i cloudových modelů
• Continue ve VSCodium pro asistenci při psaní kódu
• Ollama Cloud pro přístup k velkým modelům

Tato konfigurace představuje skvělou rovnováhu mezi lokální kontrolou a cloudovými možnostmi.

Toto je začátek mé série AI Playground, kde budu dokumentovat malé, ale užitečné objevy při práci s AI nástroji.