|
|
## 🚫 Отключение IPv6
|
|
|
|
|
|
Если у сетевых интерфейсов настроены IPv6-адреса, `DeepSpeed` и `NCCL` могут пытаться использовать их для межнодового обмена, что часто приводит к ошибкам соединения или подвисаниям, особенно если IPv6 на вашей сети фактически не используется. Чтобы этого избежать, рекомендуется полностью отключить IPv6 на всех машинах.
|
|
|
|
|
|
### Как отключить IPv6 на Ubuntu
|
|
|
|
|
|
Откройте (или создайте) файл `/etc/sysctl.conf`:
|
|
|
|
|
|
```bash
|
|
|
sudo vim /etc/sysctl.conf
|
|
|
```
|
|
|
|
|
|
Добавьте в конец файла:
|
|
|
|
|
|
```ini
|
|
|
# Disable IPv6
|
|
|
net.ipv6.conf.all.disable_ipv6 = 1
|
|
|
net.ipv6.conf.default.disable_ipv6 = 1
|
|
|
```
|
|
|
|
|
|
Примените изменения:
|
|
|
|
|
|
```bash
|
|
|
sudo sysctl -p
|
|
|
```
|
|
|
|
|
|
После этого проверьте, что IPv6 отключён:
|
|
|
|
|
|
```bash
|
|
|
ip a | grep inet6
|
|
|
```
|
|
|
|
|
|
Ничего не должно выводиться.
|
|
|
|
|
|
---
|
|
|
|
|
|
## 🔥 Разрешение портов в файрволе
|
|
|
|
|
|
Если после настройки SSH и передачи интерфейсов через `-e NCCL_SOCKET_IFNAME=10gb0,10gb1` связь между машинами всё равно не устанавливается, причиной может быть блокировка портов файрволом. Для работы `NCCL` и `DeepSpeed` требуются открытые диапазоны TCP и UDP портов (по умолчанию в пределах `~1024-65535`).
|
|
|
|
|
|
### Проверяем и настраиваем UFW
|
|
|
|
|
|
Смотрим статус:
|
|
|
|
|
|
```bash
|
|
|
sudo ufw status verbose
|
|
|
```
|
|
|
|
|
|
Если включён, то разрешаем весь трафик на интерфейсе `10gb0`:
|
|
|
|
|
|
```bash
|
|
|
sudo ufw allow in on 10gb0
|
|
|
sudo ufw allow out on 10gb0
|
|
|
```
|
|
|
|
|
|
И аналогично для `10gb1`:
|
|
|
|
|
|
```bash
|
|
|
sudo ufw allow in on 10gb1
|
|
|
sudo ufw allow out on 10gb1
|
|
|
```
|
|
|
|
|
|
После чего перезагружаем UFW:
|
|
|
|
|
|
```bash
|
|
|
sudo ufw reload
|
|
|
```
|
|
|
|
|
|
---
|
|
|
|
|
|
### Проверяем и настраиваем iptables
|
|
|
|
|
|
Посмотреть текущие правила:
|
|
|
|
|
|
```bash
|
|
|
sudo iptables -L -v -n
|
|
|
```
|
|
|
|
|
|
Открыть весь трафик для интерфейсов:
|
|
|
|
|
|
```bash
|
|
|
sudo iptables -A INPUT -i 10gb0 -j ACCEPT
|
|
|
sudo iptables -A OUTPUT -o 10gb0 -j ACCEPT
|
|
|
sudo iptables -A INPUT -i 10gb1 -j ACCEPT
|
|
|
sudo iptables -A OUTPUT -o 10gb1 -j ACCEPT
|
|
|
```
|
|
|
|
|
|
Сохранить правила (Ubuntu):
|
|
|
|
|
|
```bash
|
|
|
sudo iptables-save | sudo tee /etc/iptables/rules.v4
|
|
|
```
|
|
|
|
|
|
---
|
|
|
|
|
|
### Проверяем и настраиваем nftables
|
|
|
|
|
|
Если у вас используется `nftables`, посмотреть таблицы можно так:
|
|
|
|
|
|
```bash
|
|
|
sudo nft list ruleset
|
|
|
```
|
|
|
|
|
|
Добавить разрешающие правила:
|
|
|
|
|
|
```bash
|
|
|
sudo nft add rule inet filter input iifname "10gb0" accept
|
|
|
sudo nft add rule inet filter output oifname "10gb0" accept
|
|
|
sudo nft add rule inet filter input iifname "10gb1" accept
|
|
|
sudo nft add rule inet filter output oifname "10gb1" accept
|
|
|
```
|
|
|
|
|
|
Либо только для определенных портов для Docker:
|
|
|
```bash
|
|
|
sudo nft add rule ip filter DOCKER tcp dport 48000-48031 ip saddr 172.16.45.0/24 accept
|
|
|
sudo nft add rule ip filter DOCKER tcp sport 48000-48031 ip saddr 172.16.45.0/24 accept
|
|
|
```
|
|
|
|
|
|
После чего сохранить:
|
|
|
|
|
|
```bash
|
|
|
sudo nft list ruleset > /etc/nftables.conf
|
|
|
sudo systemctl restart nftables
|
|
|
```
|
|
|
|
|
|
---
|
|
|
|
|
|
После всех этих действий повторите запуск `DeepSpeed` / `torchrun` и проверьте обмен между нодами. |
