얼마전에 사진 정리 도구를 Piwigo에서 PhotoPrism으로 변경했습니다. Piwigo는 매우 좋은 어플리케이션이지만, PhotoPrism의 현대적인 느낌과 AI를 이용한 사진 분류기능이 매력적입니다. PhotoPrism은 Golang으로 개발되어 있으며, REST API를 통해 다양한 프로그래밍 언어로 활용할 수 있습니다. (Browse Your Life in Pictures – PhotoPrism). 그러나 여러 예시가 Golang이라 그것을 활용해 보았습니다. Golang은 처음이로 ChatGPT를 이용해서 Library와 Sample을 만들었습니다.
AzureAI를 사용해 태그를 추가하고, Piwigo의 사진을 PhotoPrism에 업로드 하는 것이 골이 었고, AzureAI를 사용한 이유는 일정범위(개인용으로 충분한)에서 무료 사용기 가능하다는 점입니다.
go mod init azure-golang go mod tidy export VISION_KEY="YOURKEY" go run
실행 코드
package main
import (
"github.com/flywithu/azure-golang"
"fmt"
"log"
"os"
"net/http"
"io"
)
func main() {
VISION_ENDPOINT := "https://flywithufreevision.cognitiveservices.azure.com"
VISION_KEY := os.Getenv("VISION_KEY")
filePath:="temp.jpg"
// URLs for image analysis
landmarkImageURL := "https://raw.githubusercontent.com/Azure-Samples/cognitive-services-sample-data-files/master/ComputerVision/Images/landmark.jpg"
kitchenImageURL := "https://learn.microsoft.com/en-us/azure/ai-services/computer-vision/images/windows-kitchen.jpg"
eiffelTowerImageURL := "https://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Eiffel_Tower_20051010.jpg/1023px-Eiffel_Tower_20051010.jpg"
redShirtLogoImageURL := "https://publish-p47754-e237306.adobeaemcloud.com/adobe/dynamicmedia/deliver/dm-aid--08fdf594-c963-43c8-b686-d4ba06727971/noticia_madridistas_hp.app.png?preferwebp=true&width=1440"
client := vision.ComputerVisionClient(VISION_ENDPOINT, VISION_KEY)
log.Println("++++++++++++++++++++++++++++++++++++++++++++++++")
log.Println("Download File")
resp, err := http.Get(landmarkImageURL)
if err != nil {
panic(err)
}
defer resp.Body.Close()
out, err := os.Create(filePath)
if err != nil {
panic(err)
}
defer out.Close()
_, err = io.Copy(out, resp.Body)
if err != nil {
panic(err)
}
// Tagging an image
log.Println("++++++++++++++++++++++++++++++++++++++++++++++++")
log.Println("Image Tagging")
tags, err := client.GetImageTags(filePath)
if err != nil {
log.Fatalf("Failed to get image tags: %v", err)
}
for i, tag := range tags.Tags {
if i >= 3 { break }
fmt.Printf("Tag: %s (Confidence: %.2f)\n", tag.Name, tag.Confidence)
}
// Describing an image
log.Println("++++++++++++++++++++++++++++++++++++++++++++++++")
log.Println("Image Description")
description, err := client.GetImageDesc(filePath)
if err != nil {
log.Fatalf("Failed to get image description: %v", err)
}
for i, tag := range description.Description.Tags {
if i >= 3 { break }
fmt.Printf("Description Tag: %s\n", tag)
}
for i, caption := range description.Description.Captions {
if i >= 3 { break }
fmt.Printf("Caption: %s (Confidence: %.2f)\n", caption.Text, caption.Confidence)
}
// Object Detection
log.Println("++++++++++++++++++++++++++++++++++++++++++++++++")
log.Println("Object Detection")
objects, err := client.GetImageObject(kitchenImageURL)
if err != nil {
log.Fatalf("Failed to detect objects: %v", err)
}
for i, obj := range objects.Objects {
if i >= 3 { break }
fmt.Printf("Object: %s (Confidence: %.2f)\n", obj.ObjectInfo.ObjectName, obj.ObjectInfo.Confidence)
if obj.Parent != nil {
fmt.Printf("Parent Object: %s (Confidence: %.2f)\n", obj.Parent.ObjectName, obj.Parent.Confidence)
}
}
// Analyzing image for landmarks
log.Println("++++++++++++++++++++++++++++++++++++++++++++++++")
log.Println("Landmark Analysis")
landmarks, err := client.GetImageAnalyze(eiffelTowerImageURL)
if err != nil {
fmt.Printf("Failed to analyze landmarks: %v", err)
}
for i, cat := range landmarks.Categories {
if i >= 3 { break }
fmt.Printf("Category: %v\n", cat)
if cat.Detail != nil && len(cat.Detail.Landmarks) > 0 {
fmt.Printf("Landmark: %v\n", cat.Detail.Landmarks[0].Name)
}
}
// Analyzing brands
log.Println("Analyze - Brands")
brands, err := client.GetImageAnalyze(redShirtLogoImageURL)
if err != nil {
fmt.Printf("Failed to analyze brands: %v", err)
}
fmt.Printf("Brand : %v \n",brands.Brands)
for i, tag := range brands.Tags {
if i >= 3 { break }
fmt.Printf("Brand Tag: %v \n", tag)
}
}
I recently switched my photo organization tool from Piwigo to PhotoPrism. While Piwigo is a very good application, I found PhotoPrism’s modern UI and AI-powered photo capabilities appealing. PhotoPrism is developed in Golang and can be utilized with various languages through its REST API. However, since many examples are in Golang, I decided to use that. As it was my first time using Golang, I wrote libraries and samples with ChatGPT guidance.
Adding tags with Azure AI and uploading photos to PhotoPrims was the goal, and the reason for using Azure AI is that it offers free usage, which is sufficient for personal use.
Android의 CTS를 TC를 확인하면서, DRM항목 중 Clearkey TC에 관심이 생겼습니다. DRM은 디지털 콘텐츠의 무단 복제를 방지 하는 기술로, 저작권 보호에 핵심적인 역할을 합니다. 이 기술에 실제로 어떻게 작동하는지 궁금해서 다음과 같은 리소스도 참고 했습니다.
Clearkey는 간단하고 비용 효율적인 DRM으로, 주로 보안 요구사항이 낮은 콘텐츠에 적용됩니다. 반면 Google에서 개발한 Widevine은 훨씬 높은 보안을 제공합니다. Widevine은 세가지 보안 수준(L1,L2,L3)를 가지며, 이는 HW와 SW사용 여부에 달라집니다. L1과 L2는 HW를 사용하여 보안을 강화하지만, L3는 소프트웨어만을 사용하고 보통 480p해상도 까지 지원 합니다.
Coupang Play의DRM
현재 OTT는 Netflix, Disney, Tving, CoupangPlay, youtube 를 구독 중입니다. 최근 Coupang Play가 가격인상을 하였기에, 향후에도 계속 사용할지 모르겠습니다. 그래서 권한이 있을때 확인 해보고자 했습니다.
DRM 및 관련 자료를 찾는 사전 준비대비, 코덱 코드에 이미 DUMP 준비가 다 되어 있고, Define만 살렸더니 실험해보려던거가 한번에 되어서 좀 허망함이 있었습니다.
그러나 이번에 DRM의 구조 이해와 미디어쪽을 알게 되었습니다. 이론적으로는 FakeCodec과 같은 사용자 정의 코덱을 만들면 DRM 보호 데이터를 덤프 할수 있음을 확인 했습니다.
DRM으로 보호된 것을 사적 복사를 넘어선 제 3자에게 공유하는 것은 금지되어 있습니다. 그리고 다른 ID로 덤프해서 비교해보면 확실하겠지만, 아마 워터마크가 있을 것이고 이를 통한 추적도 가능 할것 입니다. 이러한 워터마크의 제거를 하려면 인코딩과 디코딩을 반복해서 해야 하고, 그러면 화질 저하가 발생하기 때문에 이것도 방법은 아닙니다..
English
Motivation
While stuying the Android CTS, I became interested in the ClearKey TC within DRM. DRM is a protective technology designed to prevent copying. I’ve reviewd below items.
DRM stands for ‘Digital Rights Management’ , a technology designed to prevent unauthrozied copying and distribution of digital content. And only authorized users recevied the key to access it.
Clearkey is a simple and cost efficient DRM solution, used for content with low security requirments. On the other hand, Widevine, developed by Google, offers much higher security. Widevine has three levels of security(L1,L2,L3) that depend on whether HW or SW is used. L1 and L2 enhances security by HW, L3 uses only SW and typically supports up to 480p resolution.
Coupang Play with DRM
With the recent price increase at Coupang Play, I’m unsure if I’ll continue my subscription. Therefore I hope to thoroughly invetigate the service while I sill have access.
Initially, I intened to experiment only with the ClearKey method. as studying Widevine seemd too challenging. However, rather than giving up, I decied to shift my focus to chekcing if video dumping was possible.
This is the Widevine architecture and lower-right HAL, known s OEMCrypto HAL, decrypts the data and tranfers it to Media Out.
This is the codec architecture. The decrypted data is decoded by the codec and then displayed on screen. I may not be able to decrypt Widevine, I colud intercept and save the input to obtain the decrypted data.
After examing the codec section , I modified the following part to make it operational .
이번 포스트는 MNIST 데이터셋입니다. MNIST는 머신러닝과 컴퓨터 비전 분야에서 ‘Hello world’와 같은 존재 입니다. 이처럼 광범위하게 사용되는 만큼, 다양한 예제와 구현 방법이 널리 알려져 있습니다. 최근에 CPP로 된 MNIST를 돌려 보다가, 기존 python 보다 훨씬 빠른거 같은 느낌이 들어서 실제적인 시간을 측정해 보았습니다.
사실 python 은 GIL, 싱글쓰레드, 인터프리터, 동적 타이핑등의 이유로 CPP보다 느릴수 밖에 없습니다. 그러나 PyTorch는 많은 부분이 저수준 언어를 랩핑하는 것으로 알고 있었기에 예상보다 큰 성능차이를 보이는 결과에 대해서 상당한 의구심이 있습니다. 테스트가 잘못 되었을수도 있기 때문에, 잘못된 점을 알려 주시면 다시 확인 해보겠습니다.
테스트 결과를 보면 DataLoader와 Log Print 에서 수치적으로 큰 차이가 납니다. Python 이 Non-Blocking 으로 I/O처리는 하지만 아무래도 성능 저하가 있는것 같습니다. Log Print 의 경우는 화면에 비출력 해서, DataLoader는 속도를 최적화한 다른 API로 변경이 가능할것으로 보입니다. GPU로 복사하는 시간은 거의 동일한 것으로 봐서는, Python의 관여가 적으면 성능은 유사한것 같습니다.
가장 중요한 학습 부분에서, 초기화 – 학습 의 과정에서 아래 예시에서는 절대적 시간 차이는 적지만, %로 보면은 큰 차이를 보입니다. 이 수치와 학습 모델의 크기도 나중에 비교할 필요가 있습니다. 만약 학습 모델의 크기가 클수록 이 차이가 커진다면, PoC후 튜닝 및 상용화는 언어를 변경하는 것도 고려가 필요해 보입니다.
테스트 수행했던 코드는 colab 에 올렸습니다. 성능차이가 심한것이 아무래도 이상한데 잘못된 점이 있으면 알려 주길 부탁 드립니다. 동일한(유사한)결과를 위해 Colab 결과만 올립니다.
GPU 사용량을 추적할수 있었던 로컬 테스트 결과를 첨언하자면 GPU 사용률에서는 CPP가 월등히 높았습니다. 그러나 CPU만을 이용한 학습의 경우, CPU는 100%에 가까운 사용률을 보이나, GPU를 이용한 학습의 경우는 Cpp의 경우 50%, Python의 경우 DataLoader를 멀티로 돌릴때 30% 사용률을 보였습니다. 그래서 동시에 여러 잡을 돌려서 GPU를 100%까지 사용할수 있다면, 단위시간당 처리량은 cpp와 python이 같을수 있습니다. 이 부분은 더 실험이 필요해 보입니다.
다만 앙상블과 같은 모델을 돌려서 한개의 결과를 뽑는다고 보았을때는, CPP를 이용하는 것이 학습과 결과에 유리 해 보입니다.
각 단계별 설명은 다음과 같습니다. Total Time: 전체 수행 시간 Summed Time: 각 스텝별 수행시간의 합. (vs. Total : Main 프로그램이 도는데 걸리는 시간 제외) Step Count: 학습한 데이터 갯수(확인용) – 동일 수치로 두개의 모델의 일관성을 확인합니다. Data Loading: PyTorch API를 이용한 MNIST 데이터 loading 시간 – 시간 차이가 큰 부분입니다. 언어별 효율성의 차이를 알 수 있습니다. Copying TO GPU: 로딩한 데이터를 GPU로 복사 시간 – GPU 사용을 위한 데이터 복사 시간. 큰 차이 없음. Optimizer Init: 초기화 – 학습 시작전 초기화 입니다. %로 보면 큰 차이를 보입니다. Model Forward: 모델 순전파(입력 예측 생성). %로 보면 큰 차이를 보입니다. 모델의 크기에 따른 비교도 필요 합니다. Loss Calculation: 손실계산 Backward Pass: 역전파 (가중치 조정) Parameter Update: 가중치 업데이트 Progress Printing: Log 출력
The MNIST dataset is described as the ‘Hello World’ of Machine Learning and Computer Vision. It is widely used, with numerous examples and implementations available. Recently, I experimented with the MNIST implementation in C++, and it appeared to run faster than Python. So, I tried to check the actual time.
Python tends to be slower than C++ due to factors like the GIL, single-thread, Interpreted language, and dynamic typing. However, knowing that PyTorch wraps a lot of low-level language functionality, I expected the performance gap between C++ and Python to be minimal. But the significant differences I observed, especially in DataLoader and Log Print times, were curious. While Python used non-blocking I/O, it seems to incur some performance penalty. For log print, avoiding output to the screen and for DataLoader, using an optimized API could potentially improve performance. The time taken to copy data to the GPU was nearly identical, When Python’s involvement is minimal, the performance is similar.
In the important area of machine learning, particularly during initialization and training, the above time difference was small but proportionally significant. This indicates the need for further comparison, especially with larger size models. If bigger models make the performance gap larger, we might think about trying a different programming language before commercialization.
I’ve uploaded the test code to Colab. The significant performance difference seems unusual, so let me know of any potential mistakes. To maintain consistency, I’ve shared only the Colab results.
Additionally, I’ve observed GPU usage differences, with C++ utilizing the GPU more effectively than Python. When training solely on CPU, the usage was nearly 100%, but for C++ , the GPU usage was 50% and even lower for Python when trying with multi-threaded data loading. Perhaps maximizing GPU utilization with concurrent tasks could equalize C++ and Python’s performance. We need further investigation.
For ensemble models producing a single result, C++ seems to be more advantageous for machine learning tasks.
The table above provides a more detailed explanation of the time consumed at each step, and the full code is available at the provided URL.
테스트를 효율성을 위해서 emulator 작업 중이었는데, 이것도 중단하고 tmap도 다 삭제 했었습니다. 그러나 emulator는 필요한 분도 있을것 같아 이번에 정리해서 올립니다.
기능은 X86 AAOS(AOSP) emulator (AOSP11): 설정에 따라 phone 및 AAOS 모두 사용 가능 합니다. docker/config 를 aosp_car_x86_64-user 또는 sdk_phone_x86_64-user 로 수정하면 됩니다. arm -> x86 인터프리터 => 이 라이브러리로 arm전용 앱인 tmap도 설치 및 사용 가능. 수도권순환도로를 왔다 갔다 하는 GPS 값 Google Playstore 및 Korean IME 요렇게 있습니다.
참고로 AOSP9용으로도 x86/arm houdini library가 있는데, Tmap이 Android9(API28) 지원한다고는 적혀 있으나, 제가 테스트 했을떄는 API30 (AOSP10)용 API가 사용되는것으로 보였습니다. 실행하다 에러가 나는데 디버깅하다가 그냥 AOSP11로 업그레이드 했습니다.
2023년에 공유기 2대로 두 사무실을 연결한 글을 올렸는데, 지금은 3대로 늘려서 세 지역을 하나의 네트워크처럼 쓰고 있습니다. 실제 운영 중인 구성 기준으로 전면 개정했습니다.
사무실이나 집이 여러 곳으로 나뉘면 “저쪽 NAS에 있는 파일 좀 열어줘”, “저쪽 프린터로 출력하고 싶은데” 같은 요청이 매일 생깁니다. 여러 지역을 하나의 네트워크로 묶는 방법은 전용회선, 전용 VPN 라우터, 클라우드 VPN 등 여러 가지가 있지만, 여기서는 가장 저렴한 방법인 ipTIME 공유기끼리 WireGuard VPN으로 직접 연결하는 방식을 정리합니다. 추가 장비나 월 비용 없이 공유기만으로 구성됩니다.
연결 방법 비교
방식
비용
난이도
비고
통신사 전용회선
월 수십만 원 이상
낮음(업체 시공)
가장 안정적이지만 소규모에는 과함
전용 VPN 라우터 (MikroTik, UniFi 등)
장비비 수십만 원
높음
기능은 풍부하지만 설정이 복잡
Tailscale / ZeroTier 서브넷 라우터
무료~유료
중간
공인 IP 불필요. 상시 켜진 기기 필요
ipTIME 공유기 VPN
공유기 값만
낮음
이 글의 방법
전체 구성
역할
내부 대역
모델
WireGuard 서버 터널 주소
지점 A
192.168.45.0/24
A3004TW
10.0.37.1
허브
192.168.10.0/24
A3008-MU
10.0.195.1
지점 B
192.168.0.0/24
A5004NS-M
10.0.180.1
세 대 모두 펌웨어 15.36.6
허브를 중심으로 지점 A, 지점 B가 연결되는 허브 앤 스포크 구조
공유기마다 WireGuard 서버와 클라이언트를 동시에 사용
허브와 각 지점 사이에 방향별로 터널 1개씩, 총 4개
허브 앤 스포크 구조란
허브 앤 스포크(Hub and Spoke)는 자전거 바퀴에서 온 이름입니다. 가운데 축(허브)이 있고, 바큇살(스포크)이 축에서 바깥으로 뻗어 나가는 모양입니다. 네트워크에서는 모든 지점이 중앙의 허브 한 곳에만 연결되고, 지점끼리는 허브를 거쳐 통신하는 구조를 말합니다.
항공 노선을 떠올리면 쉽습니다. 지방 공항끼리 모두 직항을 만드는 대신, 인천 같은 허브 공항 한 곳에 노선을 모으고 환승으로 연결하는 방식입니다. 반대로 모든 지점을 서로 직접 연결하는 구조는 풀메시(Full Mesh)라고 부릅니다.
항목
허브 앤 스포크
풀메시
연결 수 (지점 n곳)
n−1
n(n−1)/2
지점 추가 시 작업
허브와 새 지점만 연결
기존 모든 지점과 연결
지점 간 경로
허브 경유
직접
지점 간 속도
허브 회선·공유기에 좌우
두 지점 회선에만 좌우
허브 장애 시
전체 지점 간 통신 중단
해당 지점만 영향
관리
허브 한 곳 중심으로 단순
지점이 늘수록 급격히 복잡
이 글의 구성에서는 192.168.10.0/24 공유기가 허브, 192.168.45.0/24와 192.168.0.0/24 공유기가 스포크입니다. ipTIME에서는 허브와 지점 사이에 방향별로 터널을 하나씩 두기 때문에, 실제 터널 수는 연결 수의 두 배입니다. 지점 3곳이면 허브 앤 스포크는 터널 4개, 풀메시는 6개가 필요합니다.
허브를 고르는 기준
인터넷 회선이 가장 빠르고 안정적인 곳
공인 IP 또는 DDNS 접속이 안정적인 곳
공유기가 항상 켜져 있는 곳
가능하면 CPU 성능이 가장 좋은 공유기
풀메시가 나은 경우
지점끼리 대용량 파일 전송이 잦은 경우
허브 장애로 전체가 끊기는 상황을 허용할 수 없는 경우
두 방식을 섞을 수도 있습니다. 기본은 허브 앤 스포크로 두고, 트래픽이 많은 두 지점 사이에만 직접 터널을 추가하는 방식입니다.
왜 터널을 방향별로 하나씩 만드나
처음 2대로 연결했을 때 가장 헷갈린 부분입니다. 한쪽을 서버, 다른 쪽을 클라이언트로 연결하면 클라이언트 쪽에서는 상대 네트워크가 보이는데, 서버 쪽에서는 클라이언트 뒤의 네트워크로 들어가지 못하는 상황이 생깁니다.
상대 대역으로 가는 경로는 WireGuard 클라이언트를 가진 쪽에서 “클라이언트 사용 관리”로 지정합니다. 서버 쪽에는 클라이언트 뒤의 네트워크로 가는 경로를 지정할 곳이 없습니다. 그래서 규칙은 단순합니다. “내가 가고 싶은 쪽의 서버에 내가 클라이언트로 붙는다.”
지점 → 허브: 지점 공유기가 허브 서버에 클라이언트로 접속 (터널 10.0.195.x)
허브 → 지점: 허브 공유기가 각 지점 서버에 클라이언트로 접속 (터널 10.0.37.x, 10.0.180.x)
1단계. IP 대역 분리
ipTIME은 기본값이 모두 192.168.0.1이기 때문에, 그대로 두면 네트워크가 충돌해서 라우팅이 불가능합니다. 공유기마다 서로 다른 대역을 써야 합니다. 이 구성에서는 45, 10, 0 세 대역을 사용합니다.
대역을 바꾸면 기존에 고정 IP로 설정한 프린터나 NAS 주소도 함께 바뀌므로, 사용자가 적은 시간에 작업하는 것이 좋습니다.
2단계. 각 공유기에 WireGuard 서버 켜기
세 대 모두 VPN 설정 → WireGuard 서버 설정에서 서버를 활성화합니다.
DDNS 등록 (ipTIME DDNS). 공인 IP가 바뀌어도 접속 주소 유지
포트는 기본값 51820 대신 공유기마다 다른 포트 사용
통신사 모뎀 뒤에 공유기가 있는 이중 NAT 환경이면 모뎀에서 해당 UDP 포트 포워딩 필요
피어 추가 직후 나오는 설정 화면은 닫으면 다시 볼 수 없으므로 설정 파일을 먼저 내려받기
허브 서버에는 지점 공유기 2대가 피어로 등록됩니다. 같은 서버에 노트북, 폰, 태블릿, 클라우드 서버도 함께 등록해서 쓰고 있습니다. 서버 하나로 사이트 간 연결과 개인 기기 원격 접속을 동시에 처리하는 구조입니다.
3단계. WireGuard 클라이언트 연결
지점 쪽: 각 지점 공유기의 WireGuard 클라이언트에 허브 서버를 등록합니다.
허브 쪽: 허브 공유기의 WireGuard 클라이언트에 지점 A, 지점 B 서버를 각각 등록합니다.
4단계. 클라이언트 사용 관리에서 목적지 라우팅
터널만 연결해서는 상대 대역으로 트래픽이 가지 않습니다. VPN 설정 → 클라이언트 사용 관리에서 “이 목적지로 가는 트래픽은 이 터널로” 규칙을 추가합니다.
단말: 전체 (내부 모든 기기에 적용)
목적지: 상대 대역 (예: 192.168.10.0/24)
VPN: 해당 WireGuard 클라이언트
지점 A의 설정입니다. 허브 대역뿐 아니라 지점 B 대역까지 허브 터널로 보내도록 두 개의 규칙을 넣었습니다.
목적지
사용 터널
192.168.10.0/24 (허브)
허브로 가는 클라이언트
192.168.0.0/24 (지점 B)
허브로 가는 클라이언트
다른 공유기에서 다른 지점으로 가야 할 때도 같은 원리로, 가려는 대역을 해당 방향의 클라이언트 터널로 보내는 규칙을 추가하면 됩니다.
목적지를 지정하는 방식이라 지정한 대역만 VPN을 타고, 일반 인터넷 트래픽은 각 지점 회선으로 그대로 나갑니다. 모든 트래픽을 허브로 보내는 것이 아니기 때문에 지점 인터넷 속도에는 영향이 없습니다.
5단계. 연결 확인
2대 구성과 달리 3대 구성에서는 지점 A에서 지점 B로 가는 경로가 핵심입니다. 두 지점 사이에는 직접 터널이 없지만, 4단계에서 지점 B 대역을 허브 터널로 보내도록 했기 때문에 허브를 거쳐 접속됩니다. traceroute로 경로를 확인해봤습니다.
홉
주소
의미
1
10.0.37.1
지점 A 공유기
2
10.0.195.1
허브 공유기
3
10.0.180.1
지점 B 공유기
4
192.168.0.68
목적지 기기
지점 A → 허브 → 지점 B 순서로 허브가 두 터널 사이를 중계하고 있습니다. 지점 A는 라우팅 규칙에 따라 지점 B행 패킷을 허브 터널로 보내고, 허브는 자신의 라우팅 규칙에 따라 지점 B로 가는 클라이언트 터널로 넘깁니다.
덕분에 지점끼리 직접 터널을 만들지 않아도 됩니다. 지점이 늘어나도 터널은 허브와 새 지점 사이에 2개만 추가하고, 나머지는 기존 지점에 새 대역의 라우팅 규칙 한 줄씩 넣으면 됩니다. 모든 지점끼리 직접 연결하는 풀메시였다면 3대에서 터널 6개, 4대에서 12개가 필요했을 것입니다.
허브 경유의 단점
지점끼리 트래픽이 허브 회선의 다운로드와 업로드를 모두 사용
허브 공유기가 암복호화를 두 번 수행하므로 지점 간 속도는 허브 연결보다 낮음
허브 공유기나 허브 회선이 멈추면 지점끼리도 끊김
지점끼리 대용량 전송이 잦다면 해당 지점 사이에만 직접 터널을 추가하는 방식으로 보완할 수 있습니다.
속도: L2TP vs WireGuard
2023년 2대 구성 당시, 같은 회선과 같은 공유기에서 프로토콜만 바꿔 측정한 결과입니다.
프로토콜
다운로드
업로드
L2TP
16.3 Mbps
26.7 Mbps
WireGuard
102 Mbps
132 Mbps
측정은 허브 LAN에 설치한 OpenSpeedTest 서버(192.168.10.100)에 다른 지점에서 VPN으로 접속해서 진행했습니다.
Ping 차이는 1ms 정도로 거의 같지만, 처리량은 약 5~6배 차이가 납니다. L2TP/IPsec은 암호화 처리가 무거워서 공유기 CPU가 먼저 한계에 걸리기 때문입니다. 공유기끼리 연결하는 용도라면 WireGuard를 쓰지 않을 이유가 거의 없습니다. L2TP는 별도 앱 없이 윈도우·맥·스마트폰 기본 기능으로 접속해야 하는 경우에 대안으로 쓰는 것이 맞습니다.
VPN 속도의 상한은 양쪽 회선 중 느린 쪽의 업로드 속도와 공유기 CPU 성능입니다.
자주 막히는 문제
VPN은 연결됐는데 상대 PC에 ping이 안 감
원인 대부분이 윈도우 방화벽. 윈도우는 기본적으로 ping(ICMP)과 파일 공유를 “로컬 서브넷”에서만 허용
해결: 방화벽 인바운드 규칙의 원격 IP 범위에 상대 대역 추가
한쪽에서만 접속되고 반대쪽에서는 안 됨
목적지 라우팅은 클라이언트를 가진 쪽에서만 지정 가능
해결: 반대 방향으로도 클라이언트 터널 추가 (이 글의 방향별 터널 구조)
네트워크 탭에 상대 지역 PC가 안 보임
네트워크 검색은 브로드캐스트 기반이라 다른 대역으로 넘어가지 않는 것이 정상
해결: \\IP주소로 직접 접속하거나 네트워크 드라이브로 연결
허브는 되는데 다른 지점으로는 안 됨
지점의 클라이언트 사용 관리에 다른 지점 대역 규칙이 빠진 경우
해결: 다른 지점 대역도 허브 터널로 보내는 규칙 추가
클라이언트가 서버에 아예 접속을 못 함
이중 NAT 여부와 포트포워딩 확인
DDNS 주소가 현재 공인 IP를 가리키는지 확인
공인 IP가 아닌 사설 IP를 할당받는 회선(CGNAT)이면 서버 역할을 다른 쪽으로 옮기거나 Tailscale 같은 방식 검토
속도가 기대보다 낮음
저가형 모델은 CPU가 병목. 양쪽 업로드 속도도 확인
보안 팁
외부에 여는 포트는 WireGuard 포트만
기본 포트 대신 공유기마다 다른 포트 사용
피어 설정 파일에는 개인키가 들어 있으므로 메신저 등에 남기지 않기
사용하지 않는 피어는 삭제
공유기 관리자 페이지 원격 관리 기능은 끄기
펌웨어 최신 버전 유지
마무리
ipTIME 공유기만으로도 여러 지역을 하나의 네트워크처럼 묶을 수 있습니다. 핵심은 세 가지입니다. 대역을 겹치지 않게 나누고, 가고 싶은 방향으로 클라이언트 터널을 만들어 목적지 라우팅을 걸고, 지점이 여러 개면 허브를 두어 중계하게 하는 것입니다. 지점이 늘어나도 터널 2개와 라우팅 규칙 몇 줄만 추가하면 되기 때문에, 확장도 어렵지 않습니다.
wordpress로 블로그를 올리고 미디어 파일을 올립니다. 그런데 미디어파일을 별도로 올리거나 하는 경우 아래와 같이 미디어 파일과 블로그의 글의 링크가 깨지는 경우가 있습니다.
아래의 스크립트를 돌리면 이러한 글들을 미디어파일과 블로그 글을 링크로 연결 해줍니다.
# -*- encoding:utf8 -*-from curses.ascii import isdigit
from select import select
from turtle import Screen, isvisible
import requests
import random
from configparser import ConfigParser
from selenium import webdriver
from bs4 import BeautifulSoup
import sys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import math
from selenium.webdriver.support.ui import Select
import logging
import os
from Screenshot import Screenshot_Clipping
from PIL import Image
from inspect import currentframe, getframeinfo
from urllib.request import Request, urlopen
from datetime import datetime,date,timedelta
from requests.auth import HTTPBasicAuth
import json
import base64, json, re, requests
def download_file(url, save_path):
response = requests.get(url)
if response.status_code == 200:
with open(save_path, 'wb') as file:
file.write(response.content)
print(f"파일 다운로드 완료: {save_path}")
else:
print("파일 다운로드 실패")
from urllib.parse import urlparse
count = 0
for mymedia in mymedias:
# myone = os.path.basename()
myone = urlparse(mymedia['guid']['rendered']).path
print(myone)
for post in myposts:
content = post['content']['rendered']
if myone in content:
print(post['id'],mymedia['id'])
attach_media_to_post(post['id'],mymedia['id'],baseurl,username,password)
최근 몇일동안 사이트 사용에 문제가 있었습니다. 예를들어 댓글이 작성이 안되는 문제였습니다. 그 이유는 웹호스팅 디스크 Full 때문이었습니다.
그동안 중복해서 올린 media 라이브러리가 많았는데, 사용하지 않는 미디어파일을 삭제 하는 노트북 파일 입니다.
파일명으로만 검색하기 때문에, 동일한 파일명으로 사용중일때는 있는 것으로 판단합니다. 즉 좀 더 보수적으로 판단 됩니다. 정확하게는 경로명까지 봐서 판단해야 하는데, 이거는 다음에 올린 다음 버젼에서 적용 되었습니다.
ID/PW 부분만 변경해서 사용하면 동작 할것 입니다.
# -*- encoding:utf8 -*-from curses.ascii import isdigit
from select import select
from turtle import Screen, isvisible
import requests
import random
from configparser import ConfigParser
from selenium import webdriver
from bs4 import BeautifulSoup
import sys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import math
from selenium.webdriver.support.ui import Select
import logging
import os
from Screenshot import Screenshot_Clipping
from PIL import Image
from inspect import currentframe, getframeinfo
from urllib.request import Request, urlopen
from datetime import datetime,date,timedelta
from requests.auth import HTTPBasicAuth
import json
import base64, json, re, requests
mycontent=""
for post in myposts:
content = post['content']['rendered']
mycontent=mycontent+content
In [249]:
def save_text_to_file(text, file_path):
with open(file_path, 'w') as file:
file.write(text)
save_text_to_file(mycontent,"result.txt")
In [250]:
def download_file(url, save_path):
response = requests.get(url)
if response.status_code == 200:
with open(save_path, 'wb') as file:
file.write(response.content)
print(f"파일 다운로드 완료: {save_path}")
else:
print("파일 다운로드 실패")
In [251]:
if 'Myimage-29.png' in mycontent:
print("OK")
In [252]:
mymedia_hash=[]
count = 0
for mymedia in mymedias:
myone = os.path.basename(mymedia['guid']['rendered'])
if myone notin mycontent:
print(myone)
print(mymedia['guid']['rendered'])
print(mymedia['id'])
download_file(mymedia['guid']['rendered'],"data/"+myone)
deleteurl = baseurl+f"/media/{mymedia['id']}"
print(deleteurl)
count=count+1
data = {
'id': mymedia['id'],
'force': 1,
}
print(data)
res = requests.delete(deleteurl,headers=header,data=json.dumps(data))
print(res.status_code)
print(count)
tmpr5ze2f_a.png
https://flywithu.com/wp-content/uploads/2023/05/tmpr5ze2f_a.png
6831
파일 다운로드 완료: data/tmpr5ze2f_a.png
개발 환경은 Kaggle 서버 입니다. (www.kaggle.com) 여기의 장점은 스케줄링이 되서, 매일 한번씩 코드가 자동 실행 됩니다. 그것도 무료로! 스케줄링 설정은 아래와 작성한 파이썬에 대해서 설정해줍니다. 그러면 UTC 0 (9:00AM KST)에 실행이 됩니다.
사실 코드가 별로 길지도 않아서.. 먼저 OpenAI의 API Key를 가져 옵니다. (https://platform.openai.com/account/api-keys)
아래와 같이 글을 작성해주는데, GPT도 알고 있던 시대이니, 본문도 맞지 않을까 싶습니다. 그러나 내용의 깊이는 부족하지 않나 싶습니다. 뭔가 프롬프트를 개선해야 할 것 같습니다.
아무말 대잔치의 결과를 보자면.. 포스팅 한개에 0.04$정도 비용이 발생하고, 트래픽으로 보면 아래과 같이 소폭 상승은 했습니다.
그러나 이렇게 생성된 Contents가 개인적으로 별로 유용하지 않습니다. 내가 저 내용을 알아서 뭐할꺼며.. 아마 Wiki를 보는게 더 정확하고 내용이 깊을것 같습니다. 그러나 내용을 표현해주는 Dali의 그림을 좋아 보입니다. 추후에도 Dali는 좀 사용하것 같습니다.
개인적으로 ChatGPT를 최근에 활용했던 것은 글 작성 -> GPT를 통해서 내용을 좀 더 풍부하게, 그리고 맞춤법등의 보정 -> 글 수정 및 퇴고 의 과정에서 사용했습니다. 그러나 내용을 풍부하게 하면서, 가짜 근거를 만들고 붙여줘서, 마지막 단계에서는 정말 잘 읽어봐야 했습니다.
종합적으로 보면, 내가 정답을 검증 할수 있거나(Code), 정답이 없는 것 (그림 같은거)는 확실히 GPT/DALI가 좋습니다. 그러나 내가 모르는 것에 GPT를 이용했다가는 낭패를 겪을수 있습니다.
하도 GPT를 이용한 자동 포스팅이 유행이라, 공짜 credit으로 한번 해보았으나, 향후에는 보정용으로만 활용하지, 완전히 작성용으로는 사용 안 할것 같습니다. 여기에 사용한 코드 및 간단한 메뉴얼은 별도 포스팅으로 남깁니다.