Rocky Linux 10 강좌 / 시스템 암호화 정책과 SSH·TLS 호환성 오류 진단

Rocky Linux 10에서 SSH나 TLS 연결이 실패하면 양쪽이 지원하는 알고리즘·프로토콜, 실제 적용 설정, 인증 대상이 서로 맞는지부터 확인해야 합니다. 시스템 암호화 정책을 바로 완화하면 원인을 가리거나 다른 서비스까지 영향을 줄 수 있으므로, 협상 실패와 키·인증서 검증 실패를 나눠 진단합니다.

시스템 정책과 서비스의 실제 설정을 구분하세요

시스템 암호화 정책은 지원되는 암호화 라이브러리와 서비스에 기본 알고리즘 설정을 제공하는 기능입니다. SSH(Secure Shell) 원격 접속이나 TLS(Transport Layer Security) 보안 연결이 그 영향을 받을 수 있습니다. 다만 애플리케이션이 시스템 설정을 사용해야 하며, 자체 옵션으로 동작을 제한하거나 별도 설정을 사용하는 프로그램도 있습니다.

update-crypto-policies --show
update-crypto-policies --is-applied
update-crypto-policies --check
rpm -q crypto-policies crypto-policies-scripts openssh-server
ssh -V
sudo sshd -T -C user=lfstudent,addr=10.0.2.2,host=localhost \
  | grep -E '^(kexalgorithms|ciphers|macs|hostkeyalgorithms|pubkeyacceptedalgorithms) '

위 명령은 Rocky VM에서 실행합니다. sshd -T -C의 계정·출발지·호스트는 검사할 실제 접속 조건에 맞춥니다. 이 강좌의 Windows 호스트 연결은 NAT를 거쳐 게스트에서 10.0.2.2로 보였습니다. 다른 조건을 넣으면 Match 설정의 결과도 달라질 수 있습니다.

이번 VM의 정책은 DEFAULT였고 --is-applied와 --check는 성공했습니다. 설치한 crypto-policies 버전은 20260216-1.git0e54016.el10_2.2, OpenSSH 서버는 9.9p1-29.el10_2.rocky.0.1입니다. 버전과 정책 이름만으로 특정 상대와의 접속 성공을 보장할 수는 없습니다.

update-crypto-policies 명령 매뉴얼처럼 --is-applied는 선택한 정책 적용 여부, --check는 현재 생성 설정과 정책의 일치 여부를 검사합니다. 서비스 프로세스가 실제로 읽은 값이나 상대가 제안할 알고리즘까지 시험하지 않습니다. 정책 변경은 애플리케이션의 설정 재읽기·재시작 계획도 필요하지만, 이번 진단에서는 정책과 SSH 서버 설정을 변경하지 않았습니다.

지원 목록·실효 목록·협상 결과를 따로 보세요

키 교환 KEX(Key Exchange)는 통신에 사용할 비밀값을 합의하는 절차입니다. 암호 알고리즘, 메시지 인증, 서버 호스트 키, 사용자 로그인 키와는 역할이 다릅니다. 다음 목록을 구별하면 오류 문구를 잘못 해석하는 일을 줄일 수 있습니다.

확인 대상 조회 방법 의미
클라이언트 구현의 지원 목록 ssh -Q kex 프로그램에 구현된 방식이며 현재 허용 목록과 같지는 않습니다.
특정 대상의 클라이언트 설정 ssh -G와 대상·옵션 Host 설정과 명령행 옵션을 반영한 클라이언트 실효값입니다.
접속 조건별 서버 설정 sshd -T -C 계정·출발지 등의 조건에 따른 서버 실효값입니다.
실제 선택된 방식 ssh -vv로 새 접속 양쪽이 실제 협상한 결과와 실패 단계를 보여 줍니다.

앞의 서버 조회와 다음 클라이언트 조회는 서로 다른 컴퓨터에서 실행합니다. SSH 키와 호스트 키 검증 강의를 마친 Windows PowerShell에서 기존 전용 키 경로를 지정합니다. 이미 서버 호스트 키를 신뢰할 수 있는 콘솔의 지문과 대조해 등록한 상태를 사용합니다.

$Key = Join-Path $env:USERPROFILE '.ssh/rocky10-lab'
ssh -V
ssh -Q kex
ssh -G -p 22222 lfstudent@127.0.0.1 | Select-String '^(kexalgorithms|ciphers|hostkeyalgorithms|pubkeyacceptedalgorithms) '

키 파일이 다른 경로에 있다면 실제 값으로 바꿉니다. ssh -G는 네트워크로 접속하는 명령이 아닙니다. 비교하려는 접속에 별도 -o 옵션을 쓴다면 같은 옵션을 붙여 조회합니다. OpenSSH 클라이언트 설정 매뉴얼은 KexAlgorithms와 지원 목록 조회 방법을 설명합니다.

SSH 키 교환 불일치를 한 연결에서 재현하세요

이번 비교는 Windows OpenSSH 9.5p2 클라이언트와 Rocky Linux 10.2의 OpenSSH 9.9p1 서버 사이에서 수행했습니다. 서버의 Rocky Linux 정책이 Windows 클라이언트 설정 자체를 바꾸는 것은 아니므로 양쪽을 따로 확인합니다. 아래 첫 명령은 실패 재현용입니다. 클라이언트의 이번 연결에만 diffie-hellman-group14-sha1을 지정하며 서버나 영구 클라이언트 설정을 바꾸지 않습니다.

ssh -vv -p 22222 -i $Key -o IdentitiesOnly=yes -o StrictHostKeyChecking=yes -o PreferredAuthentications=publickey -o KexAlgorithms=diffie-hellman-group14-sha1 lfstudent@127.0.0.1 'id -un'
$LASTEXITCODE

이 클라이언트 구현에는 해당 방식이 있었지만 서버의 실효 허용 목록에는 없었습니다. 결과는 종료 상태 255와 다음 오류였습니다. Their offer 뒤에는 서버가 제시한 방식이 나왔습니다.

no matching key exchange method found

이 오류는 사용자 공개키의 등록 여부를 검사하기 전 단계의 실패입니다. 이 상황에서 authorized_keys를 다시 쓰거나 비밀번호 인증을 켜는 것은 원인에 맞는 조치가 아닙니다.

이제 실패 재현 옵션만 제거하고 같은 대상에 새 연결합니다. 호스트 키 검증과 키 인증 조건은 유지합니다.

ssh -vv -p 22222 -i $Key -o IdentitiesOnly=yes -o StrictHostKeyChecking=yes -o PreferredAuthentications=publickey lfstudent@127.0.0.1 'id -un'
$LASTEXITCODE

정상 조건에서는 새 공개키 인증이 성공했습니다. 실제 진단 출력에서 키 교환은 curve25519-sha256, 서버 호스트 키는 ssh-ed25519, 암호는 chacha20-poly1305@openssh.com으로 협상됐습니다. 이는 이번 버전·설정의 결과이며 모든 클라이언트가 같은 값을 선택한다는 뜻은 아닙니다.

no matching host key type은 서버 식별에 쓸 키 방식 문제, Permission denied (publickey)는 사용자 인증 단계 문제일 수 있습니다. OpenSSH의 호환성 안내에서도 알고리즘 종류를 구분합니다. OpenSSH 8.8의 서명 변경 설명처럼 ssh-rsa의 SHA-1 서명 방식과 RSA 키 자체도 같은 뜻이 아닙니다. 같은 RSA 키로 지원되는 SHA-2 서명을 사용할 수 있으므로, RSA 키를 쓴다는 이유만으로 오래된 서명을 다시 허용해야 한다고 단정하지 않습니다.

로컬 TLS 서버와 시험용 인증서를 준비하세요

TLS에서는 프로토콜·암호 협상과 별도로 서버 인증서의 신뢰·이름을 검증합니다. 아래 실습은 같은 Rocky VM 안의 127.0.0.1:25443만 사용합니다. 이 VM에는 OpenSSL 명령이 없어 openssl 패키지 한 개를 설치했으며, 실제 명령과 라이브러리 버전은 3.5.8이었습니다.

sudo dnf install openssl
openssl version
sudo ss -lntp '( sport = :25443 )'

25443을 다른 프로그램이 사용하면 중단합니다. 다음은 VM의 일반 사용자 터미널에서 실행하는 예입니다. 홈 아래 새 전용 디렉터리에 하루 동안 유효한 자체 서명 시험 인증서와 키를 만듭니다. 기존 디렉터리는 덮어쓰지 않습니다.

bash <<'BASH'
set -eu
dir="$HOME/lf-tls19"
test ! -e "$dir"
umask 077
mkdir "$dir"
openssl req -x509 -newkey rsa:2048 -noenc \
  -keyout "$dir/key.pem" -out "$dir/cert.pem" -days 1 \
  -subj /CN=localhost \
  -addext 'subjectAltName=IP:127.0.0.1,DNS:localhost'
chmod 600 "$dir/key.pem"
openssl x509 -in "$dir/cert.pem" -noout -subject -dates
BASH

OpenSSL req 공식 설명의 -addext로 인증 대상 이름을 추가했습니다. SAN(Subject Alternative Name, 주체 대체 이름)에 127.0.0.1과 localhost를 넣어 이름 검사에 사용합니다. 개인키는 이 임시 서버를 위한 파일이며 출력·공유하지 않습니다. -noenc는 개인키를 암호문 없이 저장하는 시험 조건이므로 전용 디렉터리·권한을 유지하고 실습 후 정리합니다.

같은 터미널에서 다음 서버를 시작하고 열어 둡니다. TLS 1.2만 받도록 명시한 것은 버전 불일치 재현용입니다. 운영 서비스에 TLS 1.3을 끄라고 권장하는 예제가 아닙니다.

openssl s_server -accept 127.0.0.1:25443 \
  -cert "$HOME/lf-tls19/cert.pem" -key "$HOME/lf-tls19/key.pem" \
  -www -tls1_2

OpenSSL s_server는 시험 서버 도구입니다. 서버가 실행 중인 동안 다른 VM 터미널에서 접속 시험을 합니다. 실제 자동 검증에서는 같은 서버 옵션을 전용 일회성 systemd 유닛으로 실행했고 임시 인증 자료는 root 전용 디렉터리에 두었습니다. 본문의 일반 사용자 전경 실행과 그 운영 방법은 구별합니다.

TLS 버전 불일치와 정상 검증을 비교하세요

첫 요청은 TLS 1.3만 제안합니다. 시험 서버는 1.2만 받으므로 공통 프로토콜이 없습니다. 모든 TLS 클라이언트 명령은 VM 안에서 실행합니다.

openssl s_client -connect 127.0.0.1:25443 -servername localhost \
  -tls1_3 -CAfile "$HOME/lf-tls19/cert.pem" \
  -verify_ip 127.0.0.1 -verify_return_error -brief < /dev/null

결과는 종료 상태 1과 alert protocol version 오류였습니다. 시스템 정책이 DEFAULT여도 서비스 명령에서 1.2만 받도록 제한했으므로 이 요청이 실패한 것입니다. 이 실패를 해결하려고 시스템 정책을 완화할 이유는 없습니다.

다음 요청에서는 클라이언트도 1.2를 사용합니다. 시험 인증서만 이 명령의 신뢰 대상으로 지정하고 IP 주소 검증과 검증 오류 중단을 유지합니다. 시스템 인증서 저장소에 시험 인증서를 등록하지 않습니다.

openssl s_client -connect 127.0.0.1:25443 -servername localhost \
  -tls1_2 -CAfile "$HOME/lf-tls19/cert.pem" \
  -verify_ip 127.0.0.1 -verify_return_error -brief < /dev/null

이번에는 종료 상태 0으로 연결됐고 출력에 Protocol version: TLSv1.2, Verification: OK가 나왔습니다. 실제 협상 암호는 ECDHE-RSA-AES256-GCM-SHA384였습니다. 서버 이름을 전달하는 SNI(Server Name Indication) 옵션 -servername과 인증서 IP를 검사하는 -verify_ip는 역할이 다릅니다.

HTTPS(Hypertext Transfer Protocol Secure) 요청도 같은 시험 인증서를 검증하며 확인할 수 있습니다.

curl --noproxy '*' --cacert "$HOME/lf-tls19/cert.pem" \
  --tlsv1.2 --tls-max 1.2 --max-time 5 -sS -o /dev/null \
  -w 'HTTP %{http_code}\n' https://127.0.0.1:25443/

실제 결과는 HTTP 200이었습니다. 인증서 검증을 생략하는 -k는 사용하지 않았습니다. --tlsv1.2와 상한 --tls-max 1.2를 함께 지정해 이 비교의 프로토콜을 고정했습니다.

프로토콜이 맞아도 인증서 이름은 따로 검사하세요

마지막 요청은 TLS 1.2를 유지하면서 인증서에 없는 이름을 검사합니다. wrong.example은 이 시험의 불일치 이름이며 해당 도메인에 접속하는 명령이 아닙니다.

openssl s_client -connect 127.0.0.1:25443 -servername localhost \
  -tls1_2 -CAfile "$HOME/lf-tls19/cert.pem" \
  -verify_hostname wrong.example -verify_return_error -brief < /dev/null

서버 주소와 TLS 버전은 그대로지만 결과는 종료 상태 1과 hostname mismatch였습니다. 실제 이름으로 접속하는지, 인증서 SAN에 그 이름이 있는지, 유효 기간과 발급 체인이 맞는지를 확인해야 할 상황입니다. 알고리즘 호환성과 인증서 신원 검증을 같은 문제로 취급하지 않습니다.

OpenSSL s_client 공식 설명은 이 도구가 진단 중 인증서 오류 이후에도 진행할 수 있다고 명시합니다. 그래서 이 예제에서는 -verify_return_error로 검증 실패를 실제 실패로 처리합니다. 인증서가 화면에 출력됐다는 사실만으로 검증 성공이라고 판단하지 않습니다.

비교 조건 실제 결과 먼저 조사할 대상
SSH 클라이언트에 서버가 허용하지 않는 KEX만 지정 no matching key exchange, 종료 255 양쪽 키 교환 허용 목록
해당 SSH 옵션 제거 새 공개키 인증 성공 같은 서버 정책에서 정상 협상 확인
TLS 1.3 전용 클라이언트 → 1.2 전용 서버 protocol version 오류, 종료 1 프로토콜 최소·최대 버전
TLS 1.2와 올바른 신뢰·IP 검증 Verification OK, HTTPS 200 정상 비교 기준
TLS 1.2지만 다른 이름 검증 hostname mismatch, 종료 1 접속 이름과 인증서 SAN

전역 정책 변경 전에 선택할 조치와 실습 정리

실제 상대가 오래된 방식만 지원한다면 우선 상대 소프트웨어·펌웨어와 인증서·키 구성을 갱신할 수 있는지 확인합니다. 클라이언트 설정에 불필요하게 좁은 제한이 있는지도 조사합니다. 예외가 꼭 필요하다면 대상 서비스와 연결에 한정할 수 있는지, 적용 기간과 복귀 조건은 무엇인지 검토합니다. 이 글에서는 약한 방식의 상시 허용이나 LEGACY 정책 전환을 수행하지 않았습니다.

전역 암호화 정책은 여러 서비스를 함께 바꿀 수 있고, 정책 이름 하나가 상대의 모든 오래된 기능을 복원해 준다고 가정할 수도 없습니다. 서비스 재시작으로 기존 관리 접속이 끊길 수 있는 변경은 새 SSH 연결과 콘솔 복구 검증 같은 별도 복구 계획이 필요합니다.

시험 서버 터미널에서 Ctrl+C로 서버를 끝냅니다. 다음 명령으로 자신의 임시 파일과 디렉터리 내용을 확인한 뒤, 이번에 생성한 키·인증서 두 파일만 정리합니다. 다른 파일이 있으면 삭제 대상을 추가하지 말고 확인합니다.

ls -la "$HOME/lf-tls19"
openssl x509 -in "$HOME/lf-tls19/cert.pem" -noout -subject -dates
rm -- "$HOME/lf-tls19/key.pem" "$HOME/lf-tls19/cert.pem"
rmdir "$HOME/lf-tls19"
sudo ss -lntp '( sport = :25443 )'
update-crypto-policies --show
update-crypto-policies --check

실제 검증에서는 전용 TLS 유닛을 중지하고 인증서 지문과 전용 경로를 확인한 뒤 임시 키·인증 자료를 제거했습니다. 정책은 계속 DEFAULT였고, 암호화 정책 파일·심볼릭 링크와 SSH 서버 설정, 방화벽은 원본과 일치했습니다. OpenSSL 진단 패키지는 남겼으며 기존 SSH 접속 경로와 SELinux Enforcing도 유지했습니다.