pali112 83640467aa TTS: wykrywanie języka z wypowiedzi pilota (nie z odpowiedzi)
- _reply_lang zapamiętuje język ostatniej wiadomości pilota; głos wybierany
  z niego (pl=gosi, en=ryan), a nie z tekstu odpowiedzi (krótkie polskie
  odpowiedzi często nie mają diakrytyków).
- _detect_lang rozszerzony o listy częstych słów PL/EN jako fallback.
2026-11-17 12:18:52 +01:00

XCoPilot

Lokalny co-pilot (AI) dla X-Plane 12, podłączony do własnego serwera llama.cpp. W odróżnieniu od XSayATC (który tylko „gada" jako ATC), co-pilot realnie steruje samolotem — wydaje polecenia, a wtyczka wykonuje je na datarefach i komendach X-Plane.

Wtyczka zbiera kontekst lotu z datarefów, wysyła Twoją wiadomość (tekst lub głos) do lokalnego modelu, a model odpowiada strukturalnym JSON-em z listą akcji (np. gear_up, set_heading 270). Wtyczka parsuje ten JSON i wykonuje akcje. Okno widoczne także w VR.

Jak to działa

  1. Mówisz/piszesz polecenie: „schowaj podwozie i ustaw kurs 270".
  2. Wtyczka dokleja do promptu: kontekst lotu (pozycja, wysokość, prędkość, stan autopilota, podwozia, klap itd.) oraz listę dostępnych akcji (nazwa + opis) z controls.json.
  3. Model odpowiada JSON-em:
    {
      "say": "Chowam podwozie i ustawiam kurs dwa siedem zero.",
      "actions": [
        { "control": "gear_up" },
        { "control": "set_heading", "value": 270 }
      ]
    }
    
  4. Wtyczka wykonuje actions na głównym wątku (datarefy/komendy), a say czyta na głos (piper) i pokazuje w oknie.

Dzięki temu AI nie zgaduje nazw datarefów — zna tylko nazwy akcji z controls.json, a Ty mapujesz je na właściwe datarefy dla danego samolotu.

Gotowe profile samolotów

controls.json zawiera już kompletny profil Zibo 737-800X (match b738) z własnymi datarefami laminar/B738/*:

  • Podwozie — dźwignia laminar/B738/controls/gear_handle_down (0=GÓRA, 0.5=OFF, 1=DÓŁ).
  • Klapy — dźwignia laminar/B738/flt_ctrls/flap_lever (0=up, 0.125=1, 0.25=2, 0.375=5, 0.5=10, 0.625=15, 0.75=25, 0.875=30, 1.0=40) — gotowe akcje flaps_0…flaps_40.
  • Autopilot MCP — mcp_hdg_dial, mcp_alt_dial, mcp_speed_dial_kts, V/S.
  • Tryby — lnav, vnav, hdg_sel, alt_hld, vs_mode, lvl_chg, speed_mode, app_mode, n1_mode, ap_on (CMD A), autothrottle, flight_director.
  • Odczyt stanu — statusy CMD/AT/FD/LNAV/VNAV/HDG SEL/ALT HLD/VS/LVL CHG/APP/N1 + dźwignie podwozia/klap.

Jest też przykładowy profil ToLiss (AirbusFBW). Dopisz własne wpisy w aircraft[] dla kolejnych samolotów.

Funkcje

  • Sterowanie samolotem — co-pilot wykonuje akcje (podwozie, klapy, autopilot, transponder, radio, hamulec postojowy…).
  • Tylko na Twoje polecenie — co-pilot reaguje wyłącznie na to, co powiesz/napiszesz (nie działa proaktywnie).
  • Mapowanie akcji → datarefy — plik controls.json, z sekcją default i per-samolot (match po fragmencie ścieżki ACF / kodzie ICAO).
  • Push-to-talk głosowe — whisper transkrybuje, piper czyta odpowiedź co-pilota.
  • Tekstowe PTT — pole tekstowe + Enter lub komenda xcopilot/ptt.
  • Okno widoczne w VR — automatyczne przełączanie monitor ↔ WindowVR.
  • Kontekst lotu doklejany do promptu z datarefów.
  • Podgląd wykonanych akcji (log w oknie).
  • Konfigurowalny GUI — adres serwera, model, temperatura, prompt, głos.

Wymagania

  • X-Plane 12
  • XPPython3 v4.x (Python 3.12 + imgui + requests)
  • działający serwer llama.cpp z endpointem OpenAI-compat (/v1/chat/completions)
  • Głos (opcjonalnie): whisper-cli (STT) + piper (TTS) + PipeWire (pw-record / pw-play)

Instalacja

  1. Zainstaluj XPPython3 do X-Plane 12/Resources/plugins/XPPython3/.
  2. Skopiuj PythonPlugins/PI_XCoPilot.py oraz controls.json do:
    X-Plane 12/Resources/plugins/PythonPlugins/
    
  3. (Opcjonalnie) skopiuj config.example.json jako config.json i dopasuj (adres serwera, ścieżki whisper/piper).
  4. Uruchom X-Plane. W menu Plugins → XCoPilot znajdziesz okno i konfigurację.

Użycie

  1. Uruchom serwer llama.cpp (np. port 8081).
  2. Uruchom X-Plane 12.
  3. Przypisz klawisz PTT: Settings → Keyboard → Plugins → XCoPilot → push-to-talk (opcjonalnie toggle window).
  4. Mów lub pisz polecenia: „wysuń podwozie", „ustaw wysokość 3500", „włącz autopilota", „ustaw kod 1200"…

Plik controls.json (mapowanie akcji)

To serce wtyczki. Struktura:

{
  "default": {
    "controls": {
      "gear_up": { "desc": "Chowaj podwozie", "ops": [ { "cmd": "sim/flight_controls/landing_gear_up" } ] },
      "set_heading": { "desc": "Kurs autopilota (value=stopnie)", "ops": [ { "set": "sim/cockpit/autopilot/heading_mag", "value": "{value}" } ] },
      "brake_parking_on": { "desc": "Hamulec postojowy", "ops": [ { "set": "sim/cockpit2/controls/parking_brake_ratio", "value": 1.0 } ] }
    },
    "state": {
      "gear_handle": "sim/cockpit2/controls/gear_handle_down",
      "flap_ratio": "sim/cockpit2/controls/flap_ratio"
    }
  },
  "aircraft": [
    {
      "match": "AirbusFBW",
      "controls": {
        "gear_up": { "desc": "Dźwignia podwozia GÓRA", "ops": [ { "set": "AirbusFBW/GearLever", "value": 0 } ] }
      },
      "state": { "gear_lever": "AirbusFBW/GearLever" }
    }
  ]
}

Sekcje

  • default — stosowana dla wszystkich samolotów.
  • aircraft — lista nadpisań; match to fragment ścieżki ACF lub kodu ICAO (wielkość liter bez znaczenia). Pierwszy pasujący wpis wygrywa; jego klucze nadpisują/rozszerzają default.
  • controls — nazwane akcje widoczne dla AI. Każda ma desc (opis, który AI widzi) i listę ops.
  • state — dodatkowe datarefy odczytywane do kontekstu (AI widzi ich aktualne wartości).

Typy operacji (ops)

Typ Opis Przykład
{ "cmd": "..." } Wyzwala komendę X-Plane { "cmd": "sim/flight_controls/landing_gear_up" }
{ "set": "...", "value": X } Zapisuje wartość do datarefu { "set": "sim/cockpit/autopilot/altitude", "value": 3500 }
{ "set": "...", "value": "{value}" } Wartość podaje AI (akcja z parametrem) { "set": "sim/cockpit/autopilot/heading_mag", "value": "{value}" }
{ "toggle": "..." } Przełącza dataref 0 ↔ 1 { "toggle": "sim/cockpit2/controls/gear_handle_down" }

Wartość value może być liczbą, stringiem liczbowym, albo szablonem {value} (wtedy AI musi podać "value" w akcji). Typ zapisu (int/float/string) dobierany jest automatycznie po typie datarefu.

Surowe datarefy (opcjonalnie)

Gdy w config.json ustawisz allow_raw_actions: true, AI może też bezpośrednio użyć:

{ "actions": [ { "dref": "sim/cockpit/autopilot/heading_mag", "value": 270 } ] }
{ "actions": [ { "command": "sim/flight_controls/landing_gear_up" } ] }

⚠️ Zalecane trzymać false — wtedy AI korzysta tylko z nazwanych akcji i nie wymyśla błędnych ścieżek.

Konfiguracja (config.json)

Klucz Opis
base_url Adres serwera llama.cpp (np. http://localhost:8081)
model Nazwa modelu; puste = auto-wykrycie z /v1/models
temperature Temperatura próbkowania (niższa = stabilniejsze akcje)
max_tokens Maksymalna liczba tokenów odpowiedzi
system_prompt Osobowość + format wyjścia (JSON) co-pilota
include_flight_context Czy doklejać kontekst lotu
no_think Token /no_think (Qwen3 reasoning)
controls_file Ścieżka controls.json (puste = obok wtyczki)
allow_raw_actions Pozwól AI na surowe dref/command
voice_enabled / tts_enabled Głos wejściowy / wyjściowy
whisper_model Ścieżka modelu STT (whisper)
piper_model_pl / piper_model_en Głos TTS: polski (pl_PL-gosia-medium) i angielski (en_US-ryan-high). Wybierany automatycznie po języku wypowiedzi co-pilota.
voice_ptt_mode hold (przytrzymaj) lub toggle

Push-to-talk

Wtyczka rejestruje komendy:

  • xcopilot/ptt — push-to-talk,
  • xcopilot/toggle_window — pokaż/ukryj okno.

Przypisz klawisze w Settings → Keyboard → Plugins → XCoPilot.

Uwagi techniczne

  • Bezpieczeństwo wątków: odczyty i zapisy datarefów oraz komendy (xp.getData*, xp.setData*, xp.command*) muszą działać na głównym wątku X-Plane. Wątek roboczy robi wyłącznie sieć i parsowanie JSON; wynik trafia do kolejki, a główna pętla (flight loop) wykonuje akcje bezpiecznie.
  • Format wyjścia: model musi zwracać JSON. Wtyczka tolerancyjnie wyciąga pierwszy obiekt JSON (także z code fence ```json). Jeśli parsowanie się nie uda, odpowiedź jest traktowana jako zwykła wypowiedź (bez akcji).
  • controls.json można edytować w locie — wtyczka przeładowuje go przy każdym wysłaniu (i przyciskiem „Przeładuj controls.json").
  • Polskie znaki w oknie ImGui mogą się wyświetlać jako ? (domyślny font). Głos i treść promptu działają poprawnie.

Przykłady poleceń

  • „schowaj podwozie" → gear_up
  • „wysuń klapy" → flaps_down
  • „ustaw wysokość trzy tysiące pięćset" → set_altitude 3500
  • „ustaw kurs dwa siedem zero" → set_heading 270
  • „włącz autopilota i ustaw prędkość dwieście dwadzieścia" → ap_on + set_speed 220
  • „ustaw transponder jeden dwa zero zero" → set_squawk 1200

Licencja

Do uzupełnienia.

S
Description
No description provided
Readme
96 KiB
0 Stars 1 Watchers 0 Forks
Languages
Python 100%