류짱:Beyond MySelf

Windows Performance Toolkits 설치

リュちゃん — Fri, 5 Feb 2021 20:00:47 +0900

[WPT 8.1 설치 방법]
아래 WDAK8.1은 Windows 7과 Windows 2012R2버전에 최적 호환되며 만약 WPT를 설치하고자 하는 서버가 Windows Server2016 이라면Windows 10용 WDAK를 다운로드 합니다.

Download and install the Windows ADK
https://docs.microsoft.com/en-us/windows-hardware/get-started/adk-install

Windows 8.1 ADK 배포 키트 다운로드
http://www.microsoft.com/ko-kr/download/details.aspx?id=39982

배포 키트를 설치 하는 아래 화면에서 Windows performance tool kit만 선택 한 후 설치 하시면 됩니다.

WPT 8.1이 설치가 완료 되면 아래 위치에 xperf.exe 파일이 보입니다.

CMD를 이용해서 xperf 실행 파일이 위치한 경로로 이동 후 간단하게 명령어를 입력 하면 로그가 수집 할 수 있습니다.
혹은 WPRUI.exe 파일을 실행하면 UI 화면을 이용해서 로그 수집이 가능합니다.

Xperf를 이용하는 방법은 : ryuchan.kr/324
WPRUI.exe를 이용하는 방법은 : https://ryuchan.kr/548

그러나 실제 로그를 수집 해야 하는 대상이 WPT8.1을 설치한 PC나 서버가 아니라 Windows Server 2008R2 운영 중인 다른 서버라면 위 경로에서 WPTx64~.msi를 copy하여 해당 서버에서 설치 하시면 됩니다.

Windows Performance Toolkit을 이용한 ETL 로그 수집 방법

リュちゃん — Fri, 5 Feb 2021 20:00:38 +0900

툴 사용 목적:
1. 게임 서버의 커널 CPU 사용률이 비 정상적으로 높아 질 경우원인 분석을 위한 로그 수집
2. 개발사 요청에 의한 다른 현상에 대한 원인 분석을 위한 로그 수집
사전 확인 및 준비
1. WPT 설치 :
2. Sysmon이 설치 되어 있다면 서비스 중지
2. DisablePagingExexcutive
Setting this value to 1 is useful when debugging drivers, because all of the code and data is always memory resident.
https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2003/cc757875(v=ws.10)

[로그 수집 방법]
1. Windows performance toolkit이 설치 된 아래 폴더로 이동하여 WPRUI.exe파일을 확인 합니다.

2. Wprui.exe 파일을 오른쪽 마우스로 클릭하여 관리자 권한으로 실행 합니다.

3. WPR이 실행 되면 More options를 클릭 합니다.

4. Resource Analysis에서 CPU age를 선택 합니다.

5. Logging mode를 File로 변경 하고 Start를 클릭 합니다.

6.아래 화면 처럼 로그 수집이 시작 되고 약 1분 정도 지나면 Save 를 클릭 하여 수집 된 로그를 저장합니다.1분정도만 수집 해도 cpu 사용률의 원인 분석이 가능하며 장 시간 로그를 수집 할 경우 시스템 리소스 사용률이 높아져 문제가 발생 할 수 있으니 주의 하시기 바랍니다.

7.로그 저장 위치를 지정 한 후 파일 이름으로 입력 후 OK 버튼을 클릭하여 로그를 저장 합니다.

[참고자료]
Analyzing Storage Performance using the Windows Performance Analysis ToolKit (WPT)
https://blogs.technet.microsoft.com/robertsmith/2012/02/07/analyzing-storage-performance-using-the-windows-performance-analysis-toolkit-wpt/

고맙습니다.^^

Poolmon & Livekd를 이용하여 게임서버의 메모리 과점유 현상 원인 확인 방법

リュちゃん — Mon, 11 Jan 2021 21:00:58 +0900

게임서버의 운영 및 서비스를 담당하고 있는 팀의 후배로 부터 도움 요청이 있어서 지원했었던 내용을 간략하게 다시 정리 해봅니다.

[요청 사항]
온라인 PC 게임 서비스를 위해서 AWS 환경에 구성한 Windows server 서버에서 평소와는 다르게 메모리 사용량이 너무 높아 경고가 발생하고 있어 원인 파악 요청

[환경]
OS : Windows Server 2012R2 on AWS

[증상]
CPU의 사용량은 매우 낮으나 해당 서버에 할당 된 125G의 메모리 중 118G가 사용 중으로 시스템이 느려지고 경고 발생

[확인 사항]
1. 작업 관리자를 통해서 사용 중인 메모리 량 확인
2. 할당된 메모리 (commited memory) 확인
3. Paged Pool 과 Nonpaged Pool Memroy 사이즈 확인
4. 문제 발생 서버의 메모리 사용률이 매우 높으나 리소스 모니터를 이용해서 각 프로세스의 메모리 사용률을 확인 결과
실행 중인 각 프로세스들의 Working set 이나 commited 메모리의 사용률은 높지 않았음

[원인 파악 및 조치 방법]
1. 대략 어떤 문제인지 짐작이 되어 우선 MS가 제공 하는 Sysinternals 툴 중에 RamMap을 이용하여 다시 한번 메모리 사용량 확인

2. Nonpaged Pool의 사용량이 매우 높았기 때문에 조금 오래 된 툴이긴 하나 우선 poolmon.exe 를 이용해서 Nonpaged Pool을 많이 사용하는 Pool tag 확인
=> Pool tage "4321"에 할당 된 Nonpaged Pool의 량이 ㅋㅋ

3. 확인 된 Pool tag를 Findstr 명령어를 이용해서 어떤 system driver가 사용하는 지 확인
cmd 창을 열고 system32\drivers 폴더로 이동하여 아래와 같은 커멘드 실행 (참고 포스팅 : ryuchan.kr/529)
findstr /M /L 4321 *.sys

4. 확인 된 시스템 드라이버들을 찾아 제조사들을 확인 해봅니다.
전체 3개 중 1개에서 냄새가 좀 납니다^^

그러나 Pool mon으로 pool tag를 확인시에는 MS로부터 pool tag를 확인 하기 위한 사전 작업으로 심볼을 fix 하지 않았기 때문에 일단 의심만 해보고 실제 정확하게 어떤 pool tag가 Nonpaged Pool을 그렇게 많이 사용하는지 정확하게 파악하기 위해서 livekd와 Windows debugging tool을 이용해서 다시 확인 해 봅니다.

환경 세팅은 설명이 좀 길기 때문에 이전에 작성한 포스트를 참고 하시기 바랍니다.
1. Livekd와 Windows debugging tool을 이용한 Paged pool 확인 방법 : ryuchan.kr/529
2. 인터넷이 안되는 환경에서 Livekd를 이용한 Full dump 수집 방법 : ryuchan.kr/510

인터넷이 안되는 환경의 서버에서 Livekd를 이용한 Full dump 수집 방법

인터넷이 안되는 환경의 서버에서 Livekd를 이용한 Full dump 수집 방법 인터넷이 안되는 환경의 서버에서 간혹 LiveKD를 이용해서 메모리 덤프 수집을 해야 하는 경우가 간혹 있는데 예전에는 해당

ryuchan.kr

아무튼 환경 준비를 끝내고 심볼을 Fix 한 후 Livekd를 이용해서 live debuggig 이 가능 한 상태에서 다시 nonpaged pool을 많이 사용하는 pool tag를 확인 해 봅니다.

위 그림을 보시면 아시겠지만 아까 Poolmon으로 확인 확인 했을 때와 동일하게 npcap.sys라는 시스템 드라이브가 역시나 nonpaged pool을 엄청 나게 사용 하는 것으로 확신 할 수 있게 됩니다.

자 이제 범인을 알았으니 확인을 해 봐야죠? ㅎ
네.. net stop 명령어로 npcap의 서비스를 중지 합니다. 그러자 아래 그림처럼 드라마틱하게 메모리 사용량이 훅~~ 떨어졌습니다.

참고로 npcap은 wireshark에서 사용하는 시스템 드라이버 였고 해당 게임서버의 패킷 수집이 필요하여 며칠 전 부터 작업스케쥴에 wirshark가 실행 되게 등록 해 놓았었다네요 ^^

고맙습니다.

[참고자료]
Pool Tag(풀 태그)란 무엇인가?
ryuchan.kr/163
Livekd와 Windows debugging tool을 이용한 Paged pool 확인 방법
ryuchan.kr/529
인터넷이 안되는 환경에서 Livekd를 이용한 Full dump 수집 방법
ryuchan.kr/510

물리환경에서 운영중인 도메인컨트롤러를 네트워크가 다른 환경에서 VM으로 복원

リュちゃん — Tue, 30 Oct 2018 23:12:23 +0900

일본 자회사에서 근무 하는 중 개발자의 요청으로 물리환경에서 운영중인 도메인컨트롤러를 네트워크가 분리된 개발 환경으로 복원 하는 과정을 정리 한 것입니다.

[환경]
Windows Server 2012R2 Domain Controller on Physical Machine
[요청 사항]
서비스용 DC를 사내 개발 환경에 동일하게 구성 해줄 것 요청
[험난했던 그 과정]
단순하게 물리 서버의 시스템상태백업만 받아서 VM에서 restore 하면 된다고 생각했었는데엄청난 삽질을 ㅋㅋ
1. 물리 서버는 UEFI 모드인데 템플릿 VM은 BIOS 모드라 상태백업 복원 후 재시작시 부팅 디스크 못찾아서 고생 고생..

2. VMware에서 UEFI 부팅 VM 따로 만들어서 부팅 후 상태백업 복원 후 재 시작 하면 부팅 실패..

시만택 파일 하나가 없다

3. 간신히 시만택 파일 복사 해 와서 해당 위치에 복사해서 부팅 성공하나 싶었는데..계속 크래시
=> 물리 DC 의 경우 NTDS 파일이 D 드라이브에 있었다는 것을 모르고 시스템 상태 백업 후 Restore 과정에서
NTDS파일의 위치가 확인되지 않아 AD가 정상 구동되지 않아 크래시 무한 반복

4. 다시 원본 물리서버에서 System state와 EFI 그리고 D 드라이브의 데이터를 모두 백업 받아서 VM에 리스토어

=> VM에 Disk를 하나 더 만들어서 NTDS 폴더는 새로 생긴 드라이브에 파일 복원 후 해당 드라이브를 D로변경
먼저 D volume Restore 그리고 system state restore

0-i 55>0-i @ ccsetx64.sys Ironx64.sys srtsp64.sys srtspx64.sys SymELAM.sys symnets.sys 2017/11/22 14:5g 2018/01/18 19:39 2018/01/18 19:39 2018/01/18 19:39 2017/04/20 21:25 2017/11/22 14:5g ">

5. 리스토어 후 재 시작시 시만텍 파일 찾을수 없다는 메시지와 함께 부팅 실패되어 CD로 부팅하여 시만텍 파일 복사 후 재 시작

0-i 55>0-i @ ccsetx64.sys Ironx64.sys srtsp64.sys srtspx64.sys SymELAM.sys symnets.sys 2017/11/22 14:5g 2018/01/18 19:39 2018/01/18 19:39 2018/01/18 19:39 2017/04/20 21:25 2017/11/22 14:5g ">

6. 일단 Directory 복원용 AD 계정으로 일단 로컬 로그온 성공
=> 그런데 D 드라이브가 안보여 NTDS 폴더를 찾을 수 없어 AD 서비스 시작 실패
=> Disk 관리자에서 D드라이브 온라인 후 재 시작

7. 재 시작 후 로그온 화면이 OTK때문에 정상적으로 보이지 않아서 로그온 할 수 없는 상황발생

디렉토리 모드로 VM 다시 시작 후 OTK 설치 파일 복사 후 설치
로그온 화면 정상적으로 보이고 AD 계정으로 로그온 드뎌 성공
로그온 후 dsa.msc 실행서 AD 사용자 계정 확인 하려고 하니 에러 발생
레지스트리에서 아래 값 0에서 1로 변경

8. 사용자 계정이 잘 보이게 되었고 AD도 정상동작함을 확인하고 Test 계정을 만들려고 하는데 실패

=> NTDSUtil 이용해서 RID mastert seizing

9. RID Master Seizing 후 사용자 계정 생성 정상 수행

10. Domain Controller 이름 변경 후 로그온 실패가 되는 이유는.. 아 진짜 이거 때문에 서버를 다시 한번 복구 했는데 ㅋㅋ 이뤈.. -__-;;

=> Domain admin에 관리자 계정은 전부 로그온 가능한 서버가 지정되이 있어서 흑흑….

아무튼 몇 시간 삽질 후 개발용 AD 제공 완료^^

고맙습니다.

[참고자료]

Step-By-Step: Seizing the Operation Master Roles in Windows Server 2012 R2

https://docs.microsoft.com/ko-kr/archive/blogs/canitpro/step-by-step-seizing-the-operation-master-roles-in-windows-server-2012-r2

Windows Server 2016 Hyper-V Cluster on VMware #2

リュちゃん — Fri, 23 Feb 2018 14:48:41 +0900

Windows Server 2016 Hyper-V Cluster on VMware #2

지난번 글에 이어 본격적으로 VMware 에 Windows Server 2016 Hyper-v Cluster를 설치하기위해 각 노드에 Hyper-v 는 이미 설치 하였다는 가정하에 Failover Clustering 역할을 설치합니다.

각노드에 Failover Clustering 역할의 설치가 완료되면 클러스터의 유효성검사를 진행합니다.

유효성검사가 문제없이 완료되면 아래와 같이 클러스터를 생성합니다.

클러스터의 생성이 완료되면 아래 그림 처럼 hyper-v 클러스터에서 사용할 공유디스클 CSV 볼륨으로 변경합니다.

CSV볼륨으로 생성 된 스토리지를 Hyper-v에서 사용할 기본 디스크로 설정 합니다.

그리고 VM을 생성 합니다.

노드 1에서 생성 된 VM을 Node2 번으로 라이브 마이그레션을 해봅니다.

아래 그림 처럼 노드 1에서 2번으로 VM이 잘 마이그레이션 됨을 확인 할 수 있습니다.

감사합니다.

Windows Server 2016 Hyper-V Cluster on VMware#1

リュちゃん — Thu, 22 Feb 2018 16:14:50 +0900

Windows Server 2016 Hyper-V Cluster on VMware

지난 번 포스팅한 Windows Server 2016 Hyper-v 서버를 VMWare Esxi6.0 호스트에 게스트 머신으로 설치 하는 방법을
참고하여 이번에는 VMWare에 Windows Server 2016 Hyper-V Cluster를 설치 하는 방법을 공유합니다.

[환경]

Windows Server 2016 ENT guest Machine on VMWare esxi6.0

[작업 방법]

먼저 Vcenter를 통해서 2대의 Windows Server 2016 게스트 머신을 만들고 지난 번 포스팅 한

Windows Server 2016 Hyper-v 서버를 VMWare Esxi6.0 호스트에 게스트 머신으로 설치 하는 방법을

참고하여 CPU의 설정을변경 합니다.

그리고 아래 그림 처럼 먼저 첫 번째 VM을 선택 후 OS가 설치 된 VMdisk를 위한 Scisi controller외에
추가로 클러스터 용 디스크를 위한 Scsi controller를 생성한 후 아래그림 처럼 Scsi Bus sharing을 Physical로
변경 하고 hyper-v 클러스트에 필요한 쿼럼을 비롯한 데이타 디스크를 해당 컨트롤러로 연결합니다.

그리고 두번 째 노드에서는 디스크를 생성 할때 아래 그림 처럼 새 디스크를 생성하지 않고 첫번째 노드에서

생성한 디스크를 공유합니다.

첫 번째노드에서는 새로운 디스크를 만들고 두번째 노드는 1번 노드에서 만든디스크를 공유한 후 각 서버의 디스크 관리자를
실행 후 디스크 초기화 및 포맷 그리고 드라이브 명을 설정합니다.

아래그림은 1번 노드의 디스크관리자이며

아래 그림은 2번 노드의 디스크관리자 화면입니다.

일단 Hyper-v 클러스터를위한 디스크가 생성되었으므로 다음엔 본격적으로 Nested Windows Server2016 Hyper-v Cluster 를
위한 설정을 진행하겠습니다.

Nested Windows Server 2016 Hyper-v Host on VMare

リュちゃん — Mon, 19 Feb 2018 15:30:58 +0900

Nested Windows Server 2016 Hyper-v Host as guest machine on VMWare

Windows Server 2016 Hyper-v 서버를 VMWare Esxi6.0 호스트에 게스트 머신으로 설치 하는 방법입니다.

Windows 2016 서버의 Hyper-v 기능을 이용하기 위해서는 아래와 같이 해당 게스트 머신의 CPU 옵션의
변경이 필요합니다.

참고로 설치시 기본적으로 아래 그림 처럼 Automatic으로 설정이 됩니다.

VMWare에서 Windows 게스트 머신을 설치 하는 방법은 따로 설명 드리지 않고 Vcenter를 통해서
Windows Server 2016 게스트 머신을 생성하였다고
가정을 하고 Windows Server 2016 Hyper-v Host on VMware 방법을 설명 드립니다.

Vcenter를 통해서 VMWare에 설치 된 Windows Server 2016 서버를 마우스 우 클릭 실행 후 아래 그림에서 처럼
"Remove from Inventory"를 선택합니다.

인벤토리에서 VM을 삭제 하는 이유는 해당 VM의 구성 파일 중 vmx라는 것이 있는데 해당 파일의 내용을 수정하기 위해서이며,
해당 파일이 수정 되어야 VMware 위에 Windows Server 2016 Hyper-v 호스트에 Nested VM의 설치 및 운영이 가능합니다.

이에 아래 그림과 같이 먼저 생성한 Windows Hyper-v Host머신의 Data Store 로 이동을 하여 해당 VM의 Vmx 파일을 PC나 Vcenter가 연결 된
Windows server로 다운로드 합니다.

다운로드 한 VMX파일을 노트패드로 열어서 아래와 같은 내용을 해당 파일의 맨 밑 부분에 입력을 합니다.

hypervisor.cpuid.v0= "FALSE"
vhv.enable= "TRUE"

업로드에 대한 방법은 이미 알고 있다는 가정하에.

위 내용을 추가 한 vmx파일을 다시 VMware의 Data store로 업로드 합니다.

아까 해당 VM을 인벤토리로 부터 제거 했기 때문에 다시 등록을 하기 위해서 아래와 같이 방금 업로드 한 *.VMX파일을 마우스 우 클릭 후
VM을 등록합니다.

Vcenter의 인벤토리에서 해당 VM이 정상적으로 보인다면 해당 VM을 구동 후 아래와 같이 Hyper-v 역할을 추가 합니다.

Hyper-v 역할 추가 후 아래와 같이 해당 Hyper-v 호스트에 VM을 설치 한 후 구동을 합니다.

Windows Server 2016 Hyper-v Host on VMware 참 쉽죠잉^^

감사합니다.

[참고 자료]

Windows Server의 bloated Registry 파일 압축 방법

リュちゃん — Fri, 26 Jan 2018 17:06:45 +0900

지난번 포스팅때 말씀 드렸던 C게임 서버의 bloated registry 파일의 압축을 위해서 아래 KB를 참고해서 작업을 시도했지만

How to Compress "Bloated" Registry Hives

https://support.microsoft.com/en-us/help/2498915/how-to-compress-bloated-registry-hives

While there may be 3rd party tools available for this scenario, the process listed below could be followed to compress the affected hives.

1) Boot from a WinPE disk. (http://technet.microsoft.com/en-us/library/cc766093(WS.10).aspx)

2) Open regedit while booted in WinPe, load the bloated hive under HLKM. (e.g. HKLM\Bloated)

3) Once the bloated hive has been loaded, export the loaded hive as a "Registry Hive" file with a unique name. (e.g.%windir%\system32\config\compressedhive)

a) You can use dir from a command line to verify the old and new sizes of the registry hives.

4) Unload the bloated hive from regedit. (If you get an error here, close the registry editor. Then reopen the registry editor and try again.)

5) Rename the hives so that you will boot with the compressed hive.

e.g.

c:\windows\system32\config\ren software software.old

c:\windows\system32\config\ren compressedhive software

역시나... 가이드는 가이드 일뿐... 아래 그림처럼 실패 되었습니다.

서버 점검 시간에 조금 여유가 있어서 당황하지 않고 다른 방법을 찾아 보다가 아래 블로그를 통해서 Sysinternal에서 제공하는 RU라는 Registry 프로그램을 이용하여 레지스트리의 압축이 가능 한 것을 확인하고.. 서버에 힘들게 해당 파일을 카피 한 후 작업을 시도 해 보았지만 역시나 실패 했습니다.

Unable to restart server due to registry bloat over 2GB

https://blogs.technet.microsoft.com/askperf/2014/10/22/unable-to-restart-server-due-to-registry-bloat-over-2gb/

블로그에는 RU를 이용해서 압축이 된다는 설명만 해 놓았지 어떤 환경에서 해야된다는 설명이 없어서 난감했지만.. 혹시나 제 PC에서는 되지 않을까 하는 생각에 게임 서버의 software 레지스트리 파일을 제 PC로 복사 해 와서 아래와 같이 명령어를 실행하였습니다.
RU -h software
운좋게도 레지스트리 파일의 압축이 정상적으로 진행 되었습니다. 우와^^
2G -> 35Mb

이에 압축이 성공 된 레지스트리를 게임 서버의 Windows\system32\Config폴더에 다른이름으로 복사 한 후 다시 해당 서버를 WinpE로 부팅 후 ren 커멘드를이용해서 레지스트리 이름 변경하였습니다.

그리고 서버를 재 시작 후 정상 부팅 하여 paged pool 사이즈를 확인 하니 하하하...기존 2G 에서 현재 281M로 변경 됨 확인(게임서버 구동 중)

추가로 이전에 문제가 되었던 Windows update 파일도 설치가 잘 되었습니다.

마침내 시름 시름 앓고 있던 서버를 가까스로 살렸습니다.^^

[참고 자료]

How to Compress "Bloated" Registry Hives

https://support.microsoft.com/en-us/help/2498915/how-to-compress-bloated-registry-hives

Unable to restart server due to registry bloat over 2GB

https://blogs.technet.microsoft.com/askperf/2014/10/22/unable-to-restart-server-due-to-registry-bloat-over-2gb/

Windows Serer 2008R2 WinPE ISO 만들기

リュちゃん — Wed, 17 Jan 2018 08:30:03 +0900

Windows Server 2008R2 기반 WinPE ISO 만드는 법

먼저 아래 사이트에서 he Windows® Automated Installation Kit (AIK) for Windows® 7을 다운로드 후 설치합니다.
https://www.microsoft.com/en-us/download/details.aspx?id=5753

다운로드 및 설치가 완료 되면 C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Microsoft Windows AIK로 이동해
Deployment Tools Command Prompt을 관리자 모드로 실행합니다.

명령 프롬프트가 실행 되면 copype.cmd amd64 c:\winpe 명령을 입력 후 실행합니다.

위 와 같은 로그를 확인 하고 위 명령어로 생성 된 C:\Winpe 폴더로 이동하여 아래 명령어를 실행합니다.
copy winpe.wim ISO\Sources\boot.wim

카피가 완료 되면 아래 명령어를 실행하여 ISO 파일을 만듭니다.

정상적으로 생성 되었다는 로그가 확인이 되면 생성 된 ISO파일을 이용하여 OS를 부팅 합니다.

아래 그림은 VMware에서 운영 중인 Windows Server 2008R2를 방금 생성한 WinPE로 부팅 하는 화면 입니다.
VMWare에서 ISO로 부팅하는 방법은 따로 설명드리지 않겠습니다.

ISO로 부팅을 하기 위해서 화면에서 처럼 아무 키나 누르면 아래 그림 처럼 원래 설치 된 OS가 아닌
WinPE로 부팅이 됩니다.

Windows Server 2008R2로 만든 WinPE이기 때문에 아래 처럼 Windows 7과 동일한 로그온 하면을 볼 수 있습니다.

부팅이 완료 되면 아래와 같이 CMD가 자동으로 시작 됩니다.

명령프롬트에 커멘드 입력이 가능 해지면 regedit 와 같은 커멘드를 실행 해서 기존 OS의 레지스트리 등을 hive 하거나
다른 작업을 합니다.

[참고 자료]

Best Practices for Recovering Windows Server 2008, Windows Server 2008 R2, Windows 7, and Windows Vista

https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Tivoli%20Storage%20Manager/page/Best%20Practices%20for%20Recovering%20Windows%20Server%202008,%20Windows%20Server%202008%20R2,%20Windows%207,%20and%20Windows%20Vista

감사합니다.

Livekd와 Windows Debugging tool을 이용한 Page pool 확인 방법

リュちゃん — Thu, 28 Dec 2017 17:52:55 +0900

최근 C게임의 게임 서버에서 게임 서버 프로세스가 얘기치 않게 종료되는 장애가 발생하여 담당자의 요청으로 해당 서버를 살펴 보니 시스템이 시작 된지 얼마 되지 않았음에도 paged pool의 사용률이 매우 높았습니다.
담당자에게 물어보니 게임서버 프로세스가 종료 된 시점이 주말, 사용자가 그나마 가장 많은 시점이었고 물리 메모리가 90%이상 사용중이었으며 리소스 부족으로 게임 프로세스가 얘기치 않게 종료 되었다고 하여 아무래도 Paged pool이 2G이상의 물리 메모리를 사용하고 있어서 게임프로세스에 추가로 할당 할 메모리기 부족했었던 것 같아서 먼저 paged pool의 사이즈가 2G이상인 원인을 찾아보기로 했습니다.

인터넷이 안되는 서버라 Windows Debugging tool과 Sysinternals에서 제공하는 livekd를 설치 후 해당 서버에 필요한 MS Public symbol을 복사 한 후 Livekd를 이용해서 paged pool의 사용률 및 pool tag를 확인 해보니 "CM31"이라는 Pool tag가 약 1.95G 정도의 Paged pool을 사용하고 있었고 해당 "CM31" pool tag는 Windows registry에서 사용하는 것임을 알게 되었습니다.

이에 해당 서버의 Windows\system32\config 폴더에서 레지스트리 파일을 확인 해보니 software 파일의 사이즈가 1.95G
Paged pool 메모리에는 레지스트리 파일이 로드 되기 때문에... 해당 서버의 paged pool의 사용량은 높을 수 밖에 없었던... ㅎㅎ

Pushing the Limits of Windows: Paged and Nonpaged Pool
https://blogs.technet.microsoft.com/markrussinovich/2009/03/10/pushing-the-limits-of-windows-paged-and-nonpaged-pool/
The largest consumer of paged pool, at least on Windows Vista and later, is typically the Registry, since references to registry keys and other registry data structures are stored in paged pool. The data structures that represent memory mapped files, called sections internally, are also stored in paged pool.

서버를 좀더 살펴 보니 Windows update 또한 2014년 이후 계속 실패되고 있어서.. 큰맘 먹고 해당 서버를 살려 보기로 하였습니다. ㅎ
이번 포스트팅에서는 우선 paged pool의 사용률이 tag를 확인 하는 방법을 설명하고 레지스트리 압축 후 paged pool 사이즈의 변경과 Windows update까지 되게끔 하여 해당 서버를 살려 낸 방법은 다음 포스팅에 소개 하겠습니다.

Livekd와 Windbg을 이용한 Page pool 확인 방법
[환 경]
OS : Windows Server 2008R2 SE on VMWare
Physical Memory : 12G

[증 상]1
1. 게임 프로세스의 얘기치 않은 종료 발생
2. Paged pool의 사용량이 동일 환경의 다른 서버들보다 매우 높음

3. Windows update 실패

[Livekd와 Windbg를 이용한 Paged pool 상세 확인 방법]
우선 paged pool의 사용률이 높은 서버에 Windows debugging tool을 설치하고 liveked를 복사합니다. 그리고 p 해당 서버는 인터넷이 안되는 환경이기 때문에 이전에 포스팅한 적이 있는"인터넷이 안되는 환경의 서버에서 Livekd를 이용한 Full dump 수집 방법"(http://ryuchan.kr/510)에 소개 한 것처럼 paged pool의 사용률이 높은 서버의 system32폴더에서 Kernel32.dll, Ntdll.dll, ntoskrnl.exe 3개의 파일을 복사하여 인터넷이 되는 Windows debugging tool이 설치 된 PC로 옮긴 후 해당 pc에서 아래와 같이 symchk 명령어를 실행해서 public symbol을 다운로드 받은 후 해당 파일들을 livekd를 실행 서버로 다시 옮깁니다.

명령 프롬프트를 관리자 권한으로 실행하고 Windows debugging tool이 설치 된 폴더로 이동하여 미리 복사 해 놓은 livked 커멘드를 심볼을 fix하는 명령어와 함께 실행 합니다.
livekd -y D:\sytem_sys32

위 명령어 실행 후 정상적으로 로컬 심볼이 로드 되면 아래와 같이 !poolused /t10 4 명령어를 실행합니다.해당 명령어를 실행하면 아래와같이 paged pool의 사용률이 가장 높은 10개의 pool tag와 함께 사용량을 확인 할 수 있습니다.
아래 그림에서 학인 되는 것처럼 CM31이라는 pool tag가 약 1.95G의 메모리를 사용하고 있습니다.

CM31 tag는 레지스트리가 사용하는 tag임을 확인하고 실제 해당 서버의 레지스트리 파일을 확인 해보니 아래와 같이 software 레지스트리 파일의 사이즈가 1.95G가 이상입니다.

추가로 Windows update도 2014년 이후에 계속 설치가 실패되고 있어서 해당 서버의 CBS를 로그를 살펴 보았습니다. CBS 로그를 보니 아래와 같이 시스템 리소스 오류 메시지가 발생하고 있네요. 흐흐흐.

[조치 방법]
아무래도 손상된 소프트웨어 레지스트리와도 관련이 있는 듯해서 해당 레지스트리를 Fix 가 필요 해 보여서 아래 KB를 참고하여 레지스트리 파일을 압축 하려고 하였지만 실패 하였습니다.
How to Compress "Bloated" Registry Hives
https://support.microsoft.com/en-us/help/2498915/how-to-compress-bloated-registry-hives
그러나 다행히도 다른 방법을 이용해서 겨우 레지스트리를 압축을 성공하여 Paged pool 메모리도 정상사이즈로 변경 되었고 추가로 업데이트도 성공적으로 진행하였습니다.

레지스트리의 Fix 에 관한 자세한 내용은 다음 포스팅(http://ryuchan.kr/533)을 참고 하십시오^^

[참고 자료]
Debugging Tools for Windows (WinDbg, KD, CDB, NTSD)
https://docs.microsoft.com/en-us/windows-hardware/drivers/debugger/
인터넷이 안되는 환경의 서버에서 Livekd를 이용한 Full dump 수집 방법
http://ryuchan.kr/510
LiveKd v5.62
https://docs.microsoft.com/en-us/sysinternals/downloads/livekd

고맙습니다