synology / self-hosting / security / performance

운영 요령

NAS 사진 23만 장에서 중복 2만 2천 장을 가른 기준

사진 공유 폴더 230,820개를 md5·촬영 정보·Synology Photos 썸네일 dHash·PSNR로 분류하고, 22,187개를 휴지통으로 옮긴 기준과 경로 정리 과정입니다.

사진 공유 폴더를 정리하면서 파일 이름만 같은 사진을 찾는 방식은 쓰지 않았습니다. 일상 백업 폴더와 정리한 앨범 폴더에 같은 사진이 함께 들어간 경우가 많았고, 이름과 경로만으로는 남길 파일을 정하기 어려웠습니다. 전체를 훑은 결과 사진 파일은 230,820개였으며, 이 가운데 22,187개 약 53GB를 중복 파일로 골라 휴지통으로 옮겼습니다.

작업은 dup_scan.py, dup_group.py, psnr.py, dup_move.py, site_remap.py 순서로 진행했습니다. 파일을 바로 지우지 않고 사진 공유 폴더의 휴지통 아래 dup_20261014로 옮겼고, 이동할 때 원래 경로 구조를 유지했습니다.

읽기 전용 스캔에서 파일 속성과 기존 썸네일을 함께 모았습니다

첫 단계의 dup_scan.py는 파일을 변경하지 않고 경로, 파일 크기, EXIF 촬영 정보, 해상도, 썸네일 dHash를 수집하도록 두었습니다. 내용이 완전히 같은 사본을 가리는 md5는 전체 파일에 일괄 적용하지 않고, 파일 크기가 같은 파일끼리만 계산했습니다.

폴더를 순회할 때는 @eaDir, #으로 시작하는 휴지통 폴더, 점으로 시작하는 폴더를 대상에서 제외했습니다. 다만 dHash를 만들기 위해 원본 사진을 다시 디코딩하지는 않았습니다. Synology Photos가 만들어 둔 작은 썸네일 또는 중간 크기 썸네일을 읽었습니다.

스캔 대상에서 @eaDir 자체를 제외한 것과 썸네일을 읽는 것은 구분했습니다. 전자는 시스템 생성 파일을 사진 목록에 넣지 않기 위한 처리였고, 후자는 각 원본 사진의 비교용 지문을 얻기 위한 처리였습니다. 이 구분 덕분에 실제 사진 파일 목록과 비교용 썸네일을 섞지 않았습니다.

md5 사본과 촬영 정보가 같은 파일을 서로 다른 규칙으로 묶었습니다

dup_group.py에서는 유니온 파인드로 후보를 묶었습니다. A 그룹은 md5와 파일 크기가 모두 같은 내용 동일 사본입니다. B 그룹은 고유 촬영 ID가 같거나, 촬영 시각·1/100초 단위 시각·기종이 같은 경우에 dHash 해밍 거리 조건을 더해 묶었습니다.

촬영 정보가 비어 있는 사진도 별도 C 그룹으로 처리했습니다. 한쪽이라도 촬영 정보가 없을 때 가로세로 비율 차이와 dHash 해밍 거리 조건을 동시에 만족해야 후보가 됐습니다. dHash는 16비트 조각 16개로 나눠 같은 조각값을 가진 파일끼리 후보를 찾았고, 한 버킷이 400개를 넘으면 단색처럼 흔한 조각으로 보고 건너뛰었습니다.

# A 내용 동일: (md5, 크기)가 같으면 묶음
# B 촬영 정보 동일: 고유ID(ImageUniqueID)가 같고 dHash 해밍 거리 40 이하,
#   또는 (촬영 시각, 1/100초, 기종)이 같고 해밍 거리 12 이하(1/100초 값이 있으면 40 이하)
# C 촬영 정보 없는 사본: 한쪽이라도 촬영 정보가 없고, 가로세로 비율 차이 0.02 이하, 해밍 거리 6 이하

m = np.mean((cv2.GaussianBlur(a, (5, 5), 0).astype(np.float32) - cv2.GaussianBlur(b, (5, 5), 0)) ** 2)
psnr = 99.0 if m == 0 else 10 * np.log10(255 ** 2 / m)
2026-10-14 중복 묶음 결과: 지울 후보 기준
종류묶음 수지울 후보 파일용량
A 내용 동일(md5)1,7471,9294.7GB
B 촬영 정보 동일18,70319,51453.1GB
C 촬영 정보 없는 사본1,4302,3353.0GB

후보 수가 가장 많았던 것은 B 그룹이었습니다. md5가 같은 파일만 찾았다면 놓쳤을, 촬영 정보는 같지만 파일 내용이 완전히 같지는 않은 후보가 이 그룹에 들어갔습니다. 반대로 촬영 정보가 없는 파일은 dHash만 비슷하다는 이유로 묶지 않고 비율 차이 조건을 함께 적용했습니다.

PSNR 30 미만의 후보를 남겨 보정본과 다른 화면을 분리했습니다

후보 묶음이 만들어진 뒤에는 psnr.py로 남길 파일과 이동 후보 파일의 중간 크기 썸네일을 비교했습니다. 두 이미지를 같은 크기로 맞추고 5x5 가우시안 블러를 적용한 뒤 색 PSNR을 계산했습니다. 진짜 사본은 이 값이 높고, 연사 사진은 낮게 나왔습니다.

PSNR이 30 이상인 쌍은 같은 사진 기준으로 처리했습니다. 30 미만이면 리터치본, 보정본, 다른 화면일 수 있으므로 둘 다 남겼습니다. 촬영 정보와 dHash가 비슷하더라도 이 마지막 비교를 통과하지 못하면 이동 대상으로 확정하지 않았습니다.

썸네일 PSNR 비교 결과
구분쌍 수처리
PSNR 30 이상22,358같은 사진 기준
PSNR 30 미만1,392둘 다 남김
썸네일이 없어 비교하지 못함28PSNR 비교 없음

이 단계는 파일이 기술적으로 비슷한지와 사진으로서 같은 결과물인지 사이를 가르는 역할을 했습니다. 특히 보정 전후 파일이나 비슷한 시각에 찍힌 사진을 md5나 EXIF 조건만으로 한쪽으로 몰아가지 않게 했습니다.

184장 교체 뒤 이름 붙은 촬영 폴더를 우선하는 규칙을 넣었습니다

묶음 안에서 기본적으로 남길 파일은 픽셀 수가 큰 쪽, 촬영 정보가 있는 쪽, 파일 용량이 큰 쪽, 날짜형 파일명인 쪽, 경로가 짧은 쪽 순서로 골랐습니다. 정렬 키는 (픽셀 수, 촬영 정보 유무, 파일 크기, 날짜형 파일명 여부, -경로 길이)였습니다.

이 규칙만으로는 촬영 맥락을 보존하지 못하는 경우가 있었습니다. 이름 붙은 촬영 폴더와 일상 폴더에 같은 사진이 있을 때 촬영 폴더 우선 규칙을 처음에 빠뜨렸고, 그 결과 50일 촬영 등을 포함한 184장이 일상 폴더 쪽에 남았습니다.

2026-10-15에 swap.py로 이 184장을 되돌린 뒤, 같은 사진이 이름 붙은 촬영 폴더와 일상 폴더 양쪽에 있으면 이름 붙은 촬영 폴더 쪽을 남기도록 바꿨습니다. 해상도나 EXIF 유무 같은 파일 속성의 우선순위보다, 사진을 분류해 둔 폴더의 의미를 앞에 둔 수정이었습니다.

휴지통 이동 뒤 사진 사이트가 남은 경로만 참조하도록 바꿨습니다

이동 대상은 삭제가 아니라 휴지통 아래의 날짜형 폴더였습니다. 원래 경로 구조를 그대로 유지했기 때문에, 필요하면 휴지통 내부 경로를 기준으로 원래 위치를 확인할 수 있습니다. 실제 이동 사례에서는 여행 폴더의 사진을 남기고, 같은 이름과 같은 사진이 있던 다른 앨범 하위 폴더 사본을 옮겼습니다.

파일 위치만 바꾸고 사진 사이트의 참조를 남겨두면 끊어진 경로가 생길 수 있었습니다. 그래서 photos.json의 원본 경로와 예비 경로를 남은 파일 경로로 변경했습니다. 사이트가 더 이상 휴지통으로 옮긴 사본을 원본처럼 참조하지 않도록 맞춘 처리입니다.

사이트에서 사용자가 빼기 처리한 사진의 기록에도 남은 파일 경로를 추가했습니다. 같은 사진이 다른 경로에 있었던 경우에도, 이미 제외한 사진이 경로 변경 때문에 사이트에 다시 들어오지 않게 하려는 처리였습니다.