[카테고리:] 일반

wordpress로 블로그를 올리고 미디어 파일을 올립니다. 그런데 미디어파일을 별도로 올리거나 하는 경우 아래와 같이 미디어 파일과 블로그의 글의 링크가 깨지는 경우가 있습니다.

아래의 스크립트를 돌리면 이러한 글들을 미디어파일과 블로그 글을 링크로 연결 해줍니다.

# -*- encoding:utf8 -*-
from curses.ascii import isdigit
from select import select
from turtle import Screen, isvisible
import requests
import random
from configparser import ConfigParser
from selenium import webdriver
from bs4 import BeautifulSoup
import sys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import math
from selenium.webdriver.support.ui import Select
import logging
import os
from Screenshot import Screenshot_Clipping
from PIL import Image
from inspect import currentframe, getframeinfo
from urllib.request import Request, urlopen
from datetime import datetime,date,timedelta
from requests.auth import HTTPBasicAuth
import json
import base64, json, re, requests

In [ ]:

username = 'ID'
password = 'PW'
baseurl = "https://flywithu.com/wp-json/wp/v2"

In [ ]:

credentials = username + ':' + password
token = base64.b64encode(credentials.encode())

header = {
'Authorization': 'Basic ' + token.decode('utf-8'),
'Content-Type': 'application/json'}

In [ ]:

page = 1
per_page=30
mymedias=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/media", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1
    if(item_count<per_page):
        break
    # print(result)
    mymedias.extend(result)
    print("*",end="")

In [ ]:

page = 1
per_page=30
myposts=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/posts", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break
page=1
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/pages", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break

In [ ]:

def download_file(url, save_path):
    response = requests.get(url)
    
    if response.status_code == 200:
        with open(save_path, 'wb') as file:
            file.write(response.content)
        print(f"파일 다운로드 완료: {save_path}")
    else:
        print("파일 다운로드 실패")

In [ ]:

def attach_media_to_post(post_id, attachment_id, baseurl, authname,authpass):
    # 첨부 요청

    credentials = authname + ':' + authpass
    token = base64.b64encode(credentials.encode())

    header = {
   'Authorization': 'Basic ' + token.decode('utf-8'),
   'Content-Type': 'application/json'
}



    
    targetpost = f'{baseurl}/media/{attachment_id}'
    data = {'post':post_id}
    response = requests.post(targetpost, headers=header, data=json.dumps(data))



    if response.status_code == 200:
        # 첨부 성공
        print('미디어 파일이 블로그 글에 첨부되었습니다.')
    else:
        # 첨부 실패
        print('미디어 파일 첨부에 실패했습니다.')
        print(response.text)

In [ ]:

from urllib.parse import urlparse

count = 0 
for mymedia in mymedias:
    # myone = os.path.basename()
    myone =  urlparse(mymedia['guid']['rendered']).path
    print(myone)
    for post in myposts:
        content = post['content']['rendered']
        if myone in content:
            print(post['id'],mymedia['id'])
            attach_media_to_post(post['id'],mymedia['id'],baseurl,username,password)

최근 몇일동안 사이트 사용에 문제가 있었습니다. 예를들어 댓글이 작성이 안되는 문제였습니다. 그 이유는 웹호스팅 디스크 Full 때문이었습니다.

그동안 중복해서 올린 media 라이브러리가 많았는데, 사용하지 않는 미디어파일을 삭제 하는 노트북 파일 입니다.

파일명으로만 검색하기 때문에, 동일한 파일명으로 사용중일때는 있는 것으로 판단합니다. 즉 좀 더 보수적으로 판단 됩니다. 정확하게는 경로명까지 봐서 판단해야 하는데, 이거는 다음에 올린 다음 버젼에서 적용 되었습니다.

ID/PW 부분만 변경해서 사용하면 동작 할것 입니다.

# -*- encoding:utf8 -*-
from curses.ascii import isdigit
from select import select
from turtle import Screen, isvisible
import requests
import random
from configparser import ConfigParser
from selenium import webdriver
from bs4 import BeautifulSoup
import sys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import math
from selenium.webdriver.support.ui import Select
import logging
import os
from Screenshot import Screenshot_Clipping
from PIL import Image
from inspect import currentframe, getframeinfo
from urllib.request import Request, urlopen
from datetime import datetime,date,timedelta
from requests.auth import HTTPBasicAuth
import json
import base64, json, re, requests

In [244]:

username = 'ID'
password = 'Password'
baseurl = "https://flywithu.com/wp-json/wp/v2"

In [245]:

credentials = username + ':' + password
token = base64.b64encode(credentials.encode())

header = {
'Authorization': 'Basic ' + token.decode('utf-8'),
'Content-Type': 'application/json'}

In [246]:

page = 1
per_page=30
mymedias=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/media", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1
    if(item_count<per_page):
        break
    # print(result)
    mymedias.extend(result)
    print("*",end="")

**********************

In [247]:

page = 1
per_page=30
myposts=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/posts", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break
page=1
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/pages", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break

****************************************************************

In [248]:

mycontent=""
for post in myposts:
    content = post['content']['rendered']
    mycontent=mycontent+content
    
    

In [249]:

def save_text_to_file(text, file_path):
    with open(file_path, 'w') as file:
        file.write(text)

save_text_to_file(mycontent,"result.txt")

In [250]:

def download_file(url, save_path):
    response = requests.get(url)
    
    if response.status_code == 200:
        with open(save_path, 'wb') as file:
            file.write(response.content)
        print(f"파일 다운로드 완료: {save_path}")
    else:
        print("파일 다운로드 실패")

In [251]:

if 'Myimage-29.png' in mycontent:
    print("OK")

In [252]:

mymedia_hash=[]
count = 0 
for mymedia in mymedias:
    myone = os.path.basename(mymedia['guid']['rendered'])
    if myone not in mycontent:
        print(myone)
        print(mymedia['guid']['rendered'])
        print(mymedia['id'])
        download_file(mymedia['guid']['rendered'],"data/"+myone)
        deleteurl = baseurl+f"/media/{mymedia['id']}"
        print(deleteurl)
        count=count+1

        data = {
    'id': mymedia['id'],
    'force': 1,
    }
        print(data)
        res = requests.delete(deleteurl,headers=header,data=json.dumps(data))
        print(res.status_code)

print(count)

tmpr5ze2f_a.png
https://flywithu.com/wp-content/uploads/2023/05/tmpr5ze2f_a.png
6831
파일 다운로드 완료: data/tmpr5ze2f_a.png

이글에서 언급된 파이썬 코드 입니다.

개발 환경은 Kaggle 서버 입니다. (www.kaggle.com)
여기의 장점은 스케줄링이 되서, 매일 한번씩 코드가 자동 실행 됩니다. 그것도 무료로!
스케줄링 설정은 아래와 작성한 파이썬에 대해서 설정해줍니다. 그러면 UTC 0 (9:00AM KST)에 실행이 됩니다.

사실 코드가 별로 길지도 않아서..
먼저 OpenAI의 API Key를 가져 옵니다. (https://platform.openai.com/account/api-keys)

그리고 wordpress의 Key도 가져 옵니다.

https://github.com/metaqsol/card/blob/main/gpt-to-wordpress.ipynb

코드는 위와 같습니다.

아무말 대잔치로 GPT를 통해서 Post를 해보았습니다. 몇번의 시행착오를 겪었는데,
처음에는 네이버 기사를 가져와서 글을 쓰게 했는데.. 정말 정말 아무말 대잔치.
GPT는 2021년까지 밖에 모르니, 최신 뉴스를 가져와서 글을 쓰게 하니.

그래서 그 다음으로 한거는 이미 알고 있고, 그리고 재미도 있을만한 옛날 이야기를 작성하게 했습니다.

https://flywithu.com/category/chatgpt/

아래와 같이 글을 작성해주는데, GPT도 알고 있던 시대이니, 본문도 맞지 않을까 싶습니다.
그러나 내용의 깊이는 부족하지 않나 싶습니다. 뭔가 프롬프트를 개선해야 할 것 같습니다.

아무말 대잔치의 결과를 보자면.. 포스팅 한개에 0.04$정도 비용이 발생하고, 트래픽으로 보면 아래과 같이 소폭 상승은 했습니다.

그러나 이렇게 생성된 Contents가 개인적으로 별로 유용하지 않습니다. 내가 저 내용을 알아서 뭐할꺼며.. 아마 Wiki를 보는게 더 정확하고 내용이 깊을것 같습니다. 그러나 내용을 표현해주는 Dali의 그림을 좋아 보입니다. 추후에도 Dali는 좀 사용하것 같습니다.

개인적으로 ChatGPT를 최근에 활용했던 것은
글 작성 -> GPT를 통해서 내용을 좀 더 풍부하게, 그리고 맞춤법등의 보정 -> 글 수정 및 퇴고
의 과정에서 사용했습니다. 그러나 내용을 풍부하게 하면서, 가짜 근거를 만들고 붙여줘서, 마지막 단계에서는 정말 잘 읽어봐야 했습니다.

종합적으로 보면, 내가 정답을 검증 할수 있거나(Code), 정답이 없는 것 (그림 같은거)는 확실히 GPT/DALI가 좋습니다. 그러나 내가 모르는 것에 GPT를 이용했다가는 낭패를 겪을수 있습니다.

하도 GPT를 이용한 자동 포스팅이 유행이라, 공짜 credit으로 한번 해보았으나, 향후에는 보정용으로만 활용하지, 완전히 작성용으로는 사용 안 할것 같습니다. 여기에 사용한 코드 및 간단한 메뉴얼은 별도 포스팅으로 남깁니다.

ChatGPT API사용하는게.. 오늘 보니. 활성화가 되어 있었다.
이거 가입시 한번만 주는건데. 내가 언젠가 그냥 활성화를 했나 보다.

이거 돈이 아까워서 그냥 활용해보기로 했다.

CHATGPT – flywithu

처음에는 그림이 생뚱맞은게 그려 졌는데. 이제는 어느정도 본문과 관련 있는 것이 나오고 있다. 이래서 프롬프트 엔지니어가 있는건가…

어쨌던 어서 18$ 다 써버려야지. 다 쓴 다음에도 그냥 자동으로 좀 올리게 할 예정이다..

안녕하세요. 1주일전 소식인데, 이제야 확인을 했습니다.

1. github 에 올라가 있는 tmap apk는 삭제 했습니다.
2. 이유는 현재 tmap이 Malware(악성앱) 입니다. 아래 두개 기사를 확인 해보시면 됩니다.
3. 엘포인트, 롯데시네마, 곰 등 감염시킨 골도슨 멀웨어, 1억 회 다운로드 돼 (boannews.com)
4. Goldoson: Privacy-invasive and Clicker Android Adware found in popular apps in South Korea | McAfee Blog
5. 작업했던 9.15 버젼도 악성 앱이 감염되어 있음을 확인 했습니다.
6. tmap/nepkt_hrnRzCx.smali at v9.15.0 · flywithu/tmap (github.com)

이번 악성앱건은 오염된 라이브러리를 사용한 것이 아니라, 내부 또는 외주 개발자가 고의적으로 감염시킨것으로 생각 됩니다.
McAfee에서 발표한 문제 도메인리스트 입니다.

그리고 Tmap의 코드를 보면 아래 파일에 해당 도메인이 있습니다. 이 클래스의 네임스페이스는 SKlib 입니다. 즉 내부 라이브러리임을 알 수 있습니다.

그러면 과연 언제 부터 이 라이브러리가 사용 되었을까요? bhuroid 의 도메인을 확인해보면.. 2020년 생성했고, 한국에서 만들어진 도메인입니다.
그래서 한국의 앱들이 이 Malware를 가지게 된 이유를 상상해볼수 있습니다.

TMAP 8 에서도 해당 코드가 있는 것을 확인 하였고, 꽤 오래전 부터, 수년간 Tmap에 악성코드를 탑재해서 제공 되었을것으로 예상됩니다.

위 McAfee를 들어가 보면 많은 한국앱들이 감염되어 있습니다. 개인적인 생각으로는 엄청난 개발자 또는 그룹이 있고, 그들이 한국의 앱들은 다 만드나 보네요. 그러면서 .. 이런거를 심은거가 아닐까 싶습니다. 이렇게 광고 클릭했으면.. 엄청 부자가 되었을듯….;;;;;;

그런데 TMobile 코드를 정적 분석 같은거 안하나 !!
그런거에서 이상한 String 충분히 검색할 수 있지 않나.
그리고 몇년동안 이랬으면 최소한 자세한 내용을 알려 줘야 하지 않나.
그냥 ‘버그 수정’ 을 수정사항이라고 하고 업데이트 하다니.

시간이 남을때 최신 Tmap에 기존 수정 사항들 적용해서 배포 하겠습니다. ㅠㅠ

아래는 문제 앱 리스트 입니다. 상단의 McAfee에서 모든 목록을 받을수 있습니다.
(GP: Status가 Updated는 Playstore 에서 업데이트가 되었다는 것이고,
Removed는 Playstore 에서 삭제 되었다는 것입니다. )

아래 주소로 신청하면 프로모션이 적용 됩니다.
https://get.surfshark.net/aff_c?offer_id=926&aff_id=19190

월 2.3$ + 2개월 무료

기존에 Ivacy VPN을 사용했는데, 이번에 Surfshark로 이전 했습니다. Ivacy는 5년 계약시 월 1$로 매우 저렴합니다. 그러나 속도 및 국가 커버리지에서 Surfshark가 더 좋습니다.

지원하는 서버는 아래와 같습니다

SERVERS

Surfshark offers 3200+ servers in 100 countries.

Locations in global regions:

Locations in specific countries:

Release Release · flywithu/tmap (github.com)

최신버젼인 tmap 9.15 기준으로 기존 코드를 업데이트 했습니다.

추가 변경 사항은 zoom level 변경 입니다. 내용은 기존에 무조건 zoom level을 한단계 변경 했는데, 이 번 버젼은 고속 (80Km 이상)인 경우만 0.5 level 변경 했습니다.

zoom 현재

zoom level 0.5 변경