LINUX.ORG.RU
решено Форум — Admin  

Proxmox vm raid controller passthrough

 , , , ,


0

1

Приветствую, решил собрать себе облачко в виртуалке, по разным статейкам все просто неимоверно, но что-то не прет, proxmox 8.0-2, adaptec 8405e v2, при пробросе в виртуалку она стартует, но не подключается vnc, в логах ошибка команды старта, но при этом проксмокс показывает что виртуалка работает и потребляет ресурсы, по настройкам q35, ovmf, пробовал эмуляцию проца и проброс, 4 потока, 4 гига оперативы без подкачки, модули для проброса устройств, iommu и его расширенной версии включены в системе и в биос, платформа тредриппер первого поколения и плата гигабайт х399 аурус про.

в логах ошибка команды старта

какая именно ошибка, разверни ее и вставь сюда текст ошибки - может там с IOMMU-группами проблема, может еще чего...

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

Это выдает при старте виртуалки

TASK ERROR: start failed: command ‘/usr/bin/kvm -id 100 -name ‘vm100,debug-threads=on’ -no-shutdown -chardev ‘socket,id=qmp,path=/var/run/qemu-server/100.qmp,server=on,wait=off’ -mon ‘chardev=qmp,mode=control’ -chardev ‘socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5’ -mon ‘chardev=qmp-event,mode=control’ -pidfile /var/run/qemu-server/100.pid -daemonize -smbios ‘type=1,uuid=ec40945c-943e-41fc-8857-d3880c7e791f’ -drive ‘if=pflash,unit=0,format=raw,readonly=on,file=/usr/share/pve-edk2-firmware//OVMF_CODE_4M.secboot.fd’ -drive ‘if=pflash,unit=1,id=drive-efidisk0,format=raw,file=/dev/pve/vm-100-disk-0,size=540672’ -smp ‘4,sockets=1,cores=4,maxcpus=4’ -nodefaults -boot ‘menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg’ -vnc ‘unix:/var/run/qemu-server/100.vnc,password=on’ -cpu host,+kvm_pv_eoi,+kvm_pv_unhalt -m 4096 -object ‘iothread,id=iothread-virtioscsi0’ -readconfig /usr/share/qemu-server/pve-q35-4.0.cfg -device ‘vmgenid,guid=a22fb3bd-2b8b-4441-99ca-c3c34aa9da81’ -device ‘usb-tablet,id=tablet,bus=ehci.0,port=1’ -device ‘vfio-pci,host=0000:42:00.0,id=hostpci0,bus=pci.0,addr=0x10,rombar=0’ -device ‘VGA,id=vga,bus=pcie.0,addr=0x1’ -iscsi ‘initiator-name=iqn.1993-08.org.debian:01:327b39c715b’ -drive ‘file=/var/lib/vz/template/iso/ubuntu-22.04.3-desktop-amd64.iso,if=none,id=drive-ide2,media=cdrom,aio=io_uring’ -device ‘ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=101’ -device ‘virtio-scsi-pci,id=virtioscsi0,bus=pci.3,addr=0x1,iothread=iothread-virtioscsi0’ -drive ‘file=/dev/pve/vm-100-disk-1,if=none,id=drive-scsi0,format=raw,cache=none,aio=io_uring,detect-zeroes=on’ -device ‘scsi-hd,bus=virtioscsi0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,rotation_rate=1,bootindex=100’ -netdev ‘type=tap,id=net0,ifname=tap100i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown’ -device ‘e1000,mac=BC:24:11:03:43:5B,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=102’ -machine ‘type=q35+pve0’’ failed: got timeout

Это следует в логах за ним

VM 100 qmp command ‘set_password’ failed - unable to connect to VM 100 qmp socket - timeout after 51 retries TASK ERROR: Failed to run vncproxy.

AndreyRz
() автор топика
Ответ на: комментарий от AndreyRz

Если погуглить по последней ошибке.

https://forum.proxmox.com/threads/ver-7-1-5-after-update-vm-xxx-qmp-command-set_password-failed-unable-to-connect-to-vm-xxx-qmp-socket-timeout-after-31-retries.100118/

То там рекомендации поменять тип контроллера с SATA на virtio.

И поиграться с параметрами отложенной записи и синхронизации данных threads, native, async io.

Так же неплохо бы обновить компоненты hyper-визора.

Пробуй.

Хотя у тебя, вроде бы и так уже virtio и threads стоит.

Я с такой ошибкой не встречался и у меня пока на кластерах 7-ой прокс.

Ещё может быть тип контроллера virtio-single и просто virtio, второй лучше.

kostik87 ★★★★★
()
Ответ на: комментарий от AndreyRz

В самой консоли узла кластера позапускай через qm команду с нужными параметрами и посмотри команды и параметры для включения дебага, там будет больше сообщений.

kostik87 ★★★★★
()
Ответ на: комментарий от AndreyRz

Должно быть что-то у pct, например, а точнее у lxc-start примерно вот так:

lxc-start -n 137 -lDEBUG -o lxc-137.log

Искал причину, что после обновления системы в LXC контейнере Debian он перестал запускаться.

Оказалось, что в коде 7-го proxmox в pl (perl) скриптах для LXC контейнеров Debian не учитывается, что 12 версия может быть с точкой, т.к. там стояло просто сравнение, условно if ( $os_version <= 12 ), а вот то, что в этой os_version может быть не просто 10, 11, 12, а например 12.1 или сейчас уже 12.5 разработчики 7-ой версии proxmox почему-то не подумали.

Для qm что-то тоже должно быть, ну либо это будет не qm, а что-то другое, как например, не pct, а lxc-start было.

kostik87 ★★★★★
()
Последнее исправление: kostik87 (всего исправлений: 1)
Ответ на: комментарий от kostik87

Оказалось, что в коде 7-го proxmox в pl (perl) скриптах для LXC контейнеров Debian не учитывается, что 12 версия может быть с точкой

Известная бага, ее починили спустя некоторое время.

einhander ★★★★★
()
Ответ на: комментарий от einhander

Честно, я не гуглил по этой проблеме, просто подебажил и поправил PL скрипты. Посредством приведённой команды.

Не всегда готовое решение лучше, не всегда оно в принципе есть, не всегда предложенное кем-то решение полностью можно применить.

А так хоть понятно почему.

kostik87 ★★★★★
()
Ответ на: комментарий от AndreyRz

А куда подключены диски, на которых сам proxmox и эта виртуалка? Случайно не в тот-же контроллер, который пытаетесь пробросить в виртуалку?

Покажите, например, вывод

lshw -businfo -class storage -class disk
DiMoN ★★★
()
Последнее исправление: DiMoN (всего исправлений: 1)
Ответ на: комментарий от kostik87

Не смог найти дебаг в qm, но посмотрел dmesg и вот что начинается примерно через минуту после старта виртуалки, номер ядра всегда разный, но оно циклично идет влог и веб морда начинает лагать

watchdog: BUG: soft lockup - CPU#15 stuck for 26s! [kvm:2421] [ 544.821537] Modules linked in: veth tcp_diag inet_diag ebtable_filter ebtables ip_set ip6table_raw iptable_raw ip6table_filter ip6_tables iptable_filter bpfilter nf_tables bonding tls softdog sunrpc nfnetlink_log nfnetlink binfmt_misc intel_rapl_msr nvidia_vgpu_vfio(OE) intel_rapl_common nvidia(POE) snd_hda_codec_realtek snd_hda_codec_generic ledtrig_audio snd_hda_codec_hdmi snd_hda_intel snd_intel_dspcfg edac_mce_amd snd_intel_sdw_acpi snd_hda_codec kvm_amd crct10dif_pclmul snd_hda_core polyval_clmulni snd_hwdep polyval_generic ghash_clmulni_intel snd_pcm aesni_intel mdev snd_timer crypto_simd snd cryptd kvm rapl wmi_bmof mxm_wmi pcspkr gigabyte_wmi soundcore ccp k10temp mac_hid zfs(PO) spl(O) vhost_net vhost vhost_iotlb tap vfio_pci vfio_pci_core irqbypass vfio_iommu_type1 vfio iommufd drm efi_pstore dmi_sysfs ip_tables x_tables autofs4 btrfs blake2b_generic xor raid6_pq simplefb dm_thin_pool dm_persistent_data dm_bio_prison dm_bufio libcrc32c nvme xhci_pci nvme_core xhci_pci_renesas crc32_pclmul aacraid igb [ 544.821632] nvme_common i2c_piix4 i2c_algo_bit xhci_hcd ahci dca libahci wmi gpio_amdpt [ 544.821643] CPU: 15 PID: 2421 Comm: kvm Tainted: P OE 6.5.11-8-pve #1 [ 544.821646] Hardware name: Gigabyte Technology Co., Ltd. X399 AORUS PRO/X399 AORUS PRO-CF, BIOS F3a 11/30/2021 [ 544.821648] RIP: 0010:pci_mmcfg_read+0xcb/0x110 [ 544.821654] Code: 45 31 c9 e9 47 31 0c 00 4c 01 e8 66 8b 00 0f b7 c0 41 89 04 24 eb c9 4c 01 e8 8a 00 0f b6 c0 41 89 04 24 eb bb 4c 01 e8 8b 00 <41> 89 04 24 eb b0 e8 ba db 1e ff 41 c7 04 24 ff ff ff ff 48 83 c4 [ 544.821656] RSP: 0018:ffffaa31d429fb48 EFLAGS: 00000286 [ 544.821658] RAX: 00000000ffffffff RBX: 0000000004200000 RCX: 0000000000000ffc [ 544.821660] RDX: 0000000000000000 RSI: 0000000000000000 RDI: 0000000000000000 [ 544.821662] RBP: ffffaa31d429fb78 R08: 0000000000000004 R09: ffffaa31d429fb9c [ 544.821663] R10: 0000000000000042 R11: ffffffff895b5470 R12: ffffaa31d429fb9c [ 544.821665] R13: 0000000000000ffc R14: 0000000000000000 R15: 0000000000000004 [ 544.821667] FS: 00007fa28c869480(0000) GS:ffff8c153d640000(0000) knlGS:0000000000000000 [ 544.821669] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 [ 544.821671] CR2: 00007fc1be5a3a1c CR3: 000000010c7ae000 CR4: 00000000003506e0 [ 544.821673] Call Trace: [ 544.821674] [ 544.821677] ? show_regs+0x6d/0x80 [ 544.821682] ? watchdog_timer_fn+0x1d8/0x240 [ 544.821686] ? __pfx_watchdog_timer_fn+0x10/0x10 [ 544.821689] ? __hrtimer_run_queues+0x108/0x280 [ 544.821692] ? srso_return_thunk+0x5/0x10 [ 544.821698] ? hrtimer_interrupt+0xf6/0x250 [ 544.821702] ? __sysvec_apic_timer_interrupt+0x62/0x140 [ 544.821707] ? sysvec_apic_timer_interrupt+0x8d/0xd0 [ 544.821710] [ 544.821711] [ 544.821713] ? asm_sysvec_apic_timer_interrupt+0x1b/0x20 [ 544.821718] ? __pfx_pci_mmcfg_read+0x10/0x10 [ 544.821722] ? pci_mmcfg_read+0xcb/0x110 [ 544.821725] ? pci_mmcfg_read+0x52/0x110 [ 544.821729] pci_read+0x55/0x90 [ 544.821732] pci_bus_read_config_dword+0x4a/0x90 [ 544.821737] pci_read_config_dword+0x25/0x50 [ 544.821740] pci_find_next_ext_capability+0x83/0xe0 [ 544.821744] pci_restore_state.part.0+0x8f/0x3e0 [ 544.821749] pci_dev_restore+0x58/0x80 [ 544.821753] pci_try_reset_function+0x6a/0xa0 [ 544.821757] vfio_pci_core_ioctl+0x69a/0x11a0 [vfio_pci_core] [ 544.821765] ? srso_return_thunk+0x5/0x10 [ 544.821768] ? srso_return_thunk+0x5/0x10 [ 544.821771] ? node_is_toptier+0x42/0x60 [ 544.821774] ? srso_return_thunk+0x5/0x10 [ 544.821779] vfio_device_fops_unl_ioctl+0x82/0x7a0 [vfio] [ 544.821787] ? srso_return_thunk+0x5/0x10 [ 544.821790] ? __handle_mm_fault+0xa36/0xc30 [ 544.821793] ? srso_return_thunk+0x5/0x10 [ 544.821796] ? __fget_light+0xa5/0x120 [ 544.821801] __x64_sys_ioctl+0xa3/0xf0 [ 544.821805] do_syscall_64+0x5b/0x90 [ 544.821808] ? srso_return_thunk+0x5/0x10 [ 544.821811] ? __count_memcg_events+0x65/0xc0 [ 544.821814] ? srso_return_thunk+0x5/0x10 [ 544.821817] ? count_memcg_events.constprop.0+0x2a/0x50 [ 544.821820] ? srso_return_thunk+0x5/0x10 [ 544.821822] ? handle_mm_fault+0xad/0x360 [ 544.821826] ? srso_return_thunk+0x5/0x10 [ 544.821829] ? exit_to_user_mode_prepare+0x39/0x190 [ 544.821832] ? srso_return_thunk+0x5/0x10 [ 544.821835] ? irqentry_exit_to_user_mode+0x17/0x20 [ 544.821838] ? srso_return_thunk+0x5/0x10 [ 544.821841] ? irqentry_exit+0x43/0x50 [ 544.821843] ? srso_return_thunk+0x5/0x10 [ 544.821846] ? exc_page_fault+0x94/0x1b0 [ 544.821850] entry_SYSCALL_64_after_hwframe+0x6e/0xd8 [ 544.821853] RIP: 0033:0x7fa28f579c5b [ 544.821868] Code: 00 48 89 44 24 18 31 c0 48 8d 44 24 60 c7 04 24 10 00 00 00 48 89 44 24 08 48 8d 44 24 20 48 89 44 24 10 b8 10 00 00 00 0f 05 <89> c2 3d 00 f0 ff ff 77 1c 48 8b 44 24 18 64 48 2b 04 25 28 00 00 [ 544.821870] RSP: 002b:00007ffc6d3f0bf0 EFLAGS: 00000246 ORIG_RAX: 0000000000000010 [ 544.821873] RAX: ffffffffffffffda RBX: 0000561a4c1b6480 RCX: 00007fa28f579c5b [ 544.821874] RDX: 0000000000000000 RSI: 0000000000003b6f RDI: 000000000000001b [ 544.821876] RBP: 0000561a4c1b6504 R08: 00000000000002e2 R09: ffffffffffffffff [ 544.821878] R10: 0000561a4c1b8a15 R11: 0000000000000246 R12: 0000561a4ad530c0 [ 544.821879] R13: 0000561a480918c0 R14: 0000561a4abfa770 R15: 0000000000000000 [ 544.821884]

И напомните как тут спойлер сделать на форуме, чет быстро не нашел инфы

AndreyRz
() автор топика
Ответ на: комментарий от AndreyRz

https://forum.proxmox.com/threads/amd-epyc-pcie-passthrough-flr-error.106070/ Нашел решение здесь, оказывается на платформе амд есть такая проблема с работой flr при пробросе некоторых устройств и его просто надо отключить для этого устройства, уже достаточно старая проблема прям как работа виртуалок винды 10 после версии 1909 с msrs

AndreyRz
() автор топика
Ответ на: комментарий от AndreyRz

Ты молодец, что выложил кашу на форум. Сам эту кашу съел, т.е. разобрался в каше и даже тарелку помыл, т.е. ответ написал.

Потому как я или кто-либо другой в каше сообщением выше разбираться бы не стал.

https://www.linux.org.ru/help/markdown.md

kostik87 ★★★★★
()
Последнее исправление: kostik87 (всего исправлений: 1)
Admin