현재 개발중

[Linux] iptables로 포트 포워딩하기

서나쓰 — Thu, 20 Jun 2024 10:57:59 +0900

포트폴리오 사이트를 띄우기 위해 E2 서버를 띄우고 가비아에서 구매한 도메인을 구매했다

가비아에서는 해당 도메인이 80포트만 지원하기 때문에 8080 포트에서 80 포트로 포트 포워딩을 해야 한다

1. iptables 조회

sudo iptables -t nat -L --line-numbers

--line-numbers 옵션을 주면 번호가 부여가 되는데 삭제할 때 유용하다

2. 포트 포워딩 등록

sudo iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080
sudo iptables -t nat -A PREROUTING -p tcp --dport 443 -j REDIRECT --to-port 8080

3. 포트포워딩 삭제

sudo iptables -t nat -D PREROUTING {line 숫자}

원티드 프리온보딩 - 백엔드 챌린지 (Docker)

서나쓰 — Thu, 6 Apr 2023 10:48:56 +0900

Git만큼 사랑받는 개발 툴이 된 Docker

stackoverflow 2022 개발자 설문조사에서 앞으로 배우고 싶은 언어에 npm 다음으로 Docker가 올랐다

Docker란 무엇일까?

Docker overview

docs.docker.com

Open platform이다
어플리케이션을 인프라에서 분리한다
신속하다
인프라를 어플리케이션을 관리하는 것처럼 관리할 수 있다
코드 배포에 용이하다
컨테이너 기반 가상화 도구
애플리케이션을 컨테이너 라는 단위로 격리하여 실행하고 배포하는 기술

Container란 무엇일까?

컨테이너는 가상화 기술 중 하나
호스트 운영체제 위에 여러 개의 격리된 환경을 생성
각각의 컨테이너 안에서 애플리케이션을 실행

가상화 기술이란 무엇일까?

하나의 물리적인 컴퓨터자원(CPU, 메모리, 저장장치 등)을 가상적으로 분할 하여 여러 개의 가상 컴퓨터 환경을 만들어내는 기술
이를 통해 물리적인 컴퓨터 자원을 더욱 효율적 으로 사용할 수 있으며 서버나 애플리케이션 등을 운영하는데 있어 유연성 과 안전성 을 제공한다

가상화 서버 없이 서버 올리기

하이퍼바이저를 통한 가상화 서버

컨테이너 엔진을 통한 가상화 서버

하이퍼 바이저란?
- 가상머신(Virtual Machine, VM)을 생성하고 구동하는 소프트웨어
- OS에 자원을 할당 및 조율
- OS들의 요청을 번역하여 하드웨어에 전달
- 대표적으로 VMware가 있다

Virtual Machine VS Container

컨테이너 기반 특징

리눅스 커널의 기능을 사용하여 만들어짐
- chroot : 파일 시스템을 격리
- namespace : 프로세서 격리
- cgroup : 하드웨어 자원 격리
프로세스 단위의 격리 환경

Docker란 무엇일까?

컨테이너 기반 가상화 도구
- 리눅스 컨테이너 기술인 LXC(Linux Containers) 기반
애플리케이션을 컨테이너 라는 단위로 격리하여 실행하고 배포하는 기술
다양한 운영체제에서 사용할 수 있으며, 컨테이너화된 애플리케이션을 손쉽게 빌드. 배포, 관리할 수 있는 다양한 기능을 제공
위 기능들을 통해 애플리케이션을 빠르게 개발하고, 효율적으로 배포, 관리할 수 있음

Docker Architecture

도커 데몬(Docker daemon = dockerd)

도커 엔진의 핵심 구성요소
도커 호스트에서 컨테니러를 관리하고 실행하는 역할
컨테이너를 생성, 시작, 중지, 삭제하는 등의 작업을 수행
컨테이너 이미지를 관리
외부에서 이미지를 다운로드하고 빌드하는 작업 수행

도커 클라이언트(Docker Client)

도커와 상호작용
docker 명령어를 사용하면 Docker daemon으로 보내어 실행

도커 오브젝트(Docker Object)

도커 이미지(Docker Image)
- 도커 컨테이너를 만들기 위한 읽기 전용 템플릿
도커 컨테이너(Docker Container)
- 한 도커 이미지의 실행 가능한 인스턴스
- 애플리케이션을 싱행하기 위한 모든 파일과 설정 정보를 포함하는 패키지

도커 레지스트리(Docker Registries)

도커 이미지를 관리하고 저장하는 곳
Docker hub : 디폴트 레지스트리, 누구나 접근 가능한 공개형 저장소

도커 라이프 사이클

도커 파일

실습 순서

- 레지스트리에서 이미지 다운 받기

docker pull httpd

- 이미지 리스트

docker images

- 이미지를 사용해 새로운 컨테이너 만들기

 docker run httpd
 docker run --name secondContainer httpd
 docker run -p 8888:80 -v ~/Desktop/git/httpdtest:/usr/local/apache2/htdocs httpd

> httpd 이미지 실행

> httpd 이미지를 실행할 때 이름 옵션 설정

> httpd 이미지를 실행할 때 80 포트를 8888로 매핑, httpd에 있는 파일 위치에 내가 매핑하고 싶은 파일 위치를 설정

- 도커 실행 중지

docker stop 9b0f49de746c
docker stop -a

> 특정 이미지만 중지, 혹은 모든 도커 중지

- 도커 컨테이너 삭제

docker rm 6026ab9b44cc

도커 파일을 활용한 실습

- 도커 파일 작성

FROM httpd:latest
COPY  index.html /usr/local/apache2/htdocs/index.html
EXPOSE 80

- 이미지 만들기

docker build -t my-httpd

> -t는 내가 원하는 태그 이름을 달 수 있는 옵션

- 이미지 실행

docker run -d -p 8888:80 my-httpd

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

서나쓰 — Tue, 7 Mar 2023 10:18:16 +0900

평소에 dbvear를 쓰고 회사 mysql 서버에 그냥 연결해서 써서 컴퓨터에서 mysql을 직접 구동한 적이 백만년전..

토이프로젝트 위해 mysql 구동하고 임시 db를 작성하기 위해 mysql을 실행하던 중 생긴 에러..

https://so-es-immer.tistory.com/entry/ERROR-2002-HY000-socket-tmpmysqlsock-2-%ED%95%B4%EA%B2%B0%ED%95%98%EB%A0%A4%EA%B3%A0-brew-services-start-mysql-%ED%95%A8

ERROR 2002 (HY000): socket '/tmp/mysql.sock' (2) 해결하려고 brew services start mysql 함

http://meonggae.blogspot.com/2017/03/db-mac-mysql-1-error-2002-hy000-cant.html [db] mac에서 mysql환경설정 셋팅하기 1편 - 설치 및 접속, ERROR 2002 (HY000) : Can't connect to local MySQL server db, mysql, error2002 meonggae.blogspot.com ➜ s

so-es-immer.tistory.com

해당 블로그 글 보고 똑같이 따라했다

mysql을 치면 계속 제목과 같은 에러가 나서

터미널을 아예 끄고 다시 시작

brew services start mysql
mysql -uroot -p

성공적으로 mysql 서버 가동이 되었다

이제 root 비번 찾으러 가야지..

[Spring] 301, 302 redirect 시키기

서나쓰 — Mon, 31 Oct 2022 17:20:12 +0900

웹 크롤링을 하다가 보면 해당 url을 접근하지 못하거나 에러가 생겨 리다이렉트를 해야하는 경우가 발생

* 301과 302의 차이

https://nsinc.tistory.com/168

[HTTP] 301과 302 Redirect의 차이

HTTP Response Status Code는 요청에 대한 웹서버의 응답을 나타내는 코드를 말합니다. 이 코드를 바탕으로 웹브라우저나 검색엔진 크롤러는 요청을 어떻게 처리해야할지 판단하게 됩니다. 유명한 코

nsinc.tistory.com

우리 프로젝트는 크롤링에 필요하기 때문에 302 리다이렉트 필요

/**
 * 리다이렉트
 */
@GetMapping(value="/redirect")
public RedirectView redirect(String url) {
    log.info("url : "+ url);
    RedirectView redirectView = new RedirectView(url);
    redirectView.setStatusCode(HttpStatus.FOUND);
    return redirectView;
}

HTTP Status 코드는 아래에서 확인하면 된다

https://developer.mozilla.org/en-US/docs/Web/HTTP/Status#redirection_messages

HTTP response status codes - HTTP | MDN

HTTP response status codes indicate whether a specific HTTP request has been successfully completed. Responses are grouped in five classes:

developer.mozilla.org

[Vue.js] Class로 구성된 js 파일 import, 사용하기

서나쓰 — Wed, 5 Oct 2022 13:56:43 +0900

모듈화를 하기 위해 class로 구성하는 외부 js 파일의 사용이 필요할 때가 생겼다.

파일 구성은

export defualt class foo {
	constructor() {
    	this.func();
    }
    
    func() {
    }
    
    fun2() {
    }
}

Vue에서 파일을 따로 빼내서 vue 파일에서 사용할 경우 내보내기(export)를 꼭 해야한다

원하는 Vue파일에서 해당 파일 import를 하고 사용해야 한다

<script>
import foo from "foo.js 경로"

export defult {
	data() {
    	return {
        	foo : new foo();
        }
    },
    mounted() {
    	this.foo.fun2();
    }
}

class 파일에서 정의한 메소드가 꼭 mounted가 아니라 method에서 호출해도 되고 created에서 호출해도 된다. 호출하는 방식을 예시를 든 것이다.

[Vue.js] 외부 javascript 구문 추가 방법

서나쓰 — Wed, 5 Oct 2022 13:48:53 +0900

외부 플러그인이나 제품을 사용하다가 보면 script 추가 안내문을 받을 수 있다.

html을 사용하거나 웹빌드를 사용하면 쉽게 설치할 수 있지만 vue나 react를 사용해 웹 작업을 한다면 제공하는 script문을 추가하기 어렵다.

<script async src="url..."></script>

이 구문을 head 태그 다음에 넣기 위해 수많은 구글링을 하였고 마침내 해결방법을 알아내었다

    addScript() {
      let scripts = [
          '필요한 url',
      ];

      for (let i = 0, len = scripts.length; i < len; i++) {
        let script = document.createElement('script');
        script.setAttribute('type', 'text/javascript');
        script.setAttribute('src', scripts[i]);
        script.async = true;
        document
        .getElementsByTagName('head')[0]
        .appendChild(script);
      }
    }

Vue는 script 구문에서 data, method, created 등의 방법으로 작성할 수 있는데 이 함수를 method에 추가하고 created에 this.addscript()를 호출하면 Vue 처음 화면이 렌더링될 때 head 태그 뒤에 script 구문을 넣을 수 있다.

[Java] RequestRejectedException 처리

서나쓰 — Tue, 23 Aug 2022 17:42:54 +0900

org.springframework.security.web.firewall.RequestRejectedException: The request was rejected because the URL contained a potentially malicious String "//"
	at org.springframework.security.web.firewall.StrictHttpFirewall.rejectedBlocklistedUrls(StrictHttpFirewall.java:456)
	at org.springframework.security.web.firewall.StrictHttpFirewall.getFirewalledRequest(StrictHttpFirewall.java:429)
	at org.springframework.security.web.FilterChainProxy.doFilterInternal(FilterChainProxy.java:196)
	at org.springframework.security.web.FilterChainProxy.doFilter(FilterChainProxy.java:183)

운영 시스템 로그 확인하던 중에 만난 에러 로그

처음 보는 에러 로그이기도 하고 검색해보니 Spring security와 관련된 예외라고 한다

확인해보니 이미 예전부터 발생한 에러인데 로그를 잘 확인 안 하다보니 처음 발견..

해석해보면 "//" 의 요청이 접근 제한되었다는 내용이다

”//” 이외에도 org.springframework.security.web.firewall.StrictHttpFirewall 클래스를 확인해보면 아래처럼 여러 [블랙리스트 문자열] 이 있는 것을 확인 할 수 있다.

private static final List<String> FORBIDDEN_ENCODED_PERIOD = Collections.unmodifiableList(Arrays.asList("%2e", "%2E"));
private static final List<String> FORBIDDEN_SEMICOLON = Collections.unmodifiableList(Arrays.asList(";", "%3b", "%3B"));
private static final List<String> FORBIDDEN_FORWARDSLASH = Collections.unmodifiableList(Arrays.asList("%2f", "%2F"));
private static final List<String> FORBIDDEN_DOUBLE_FORWARDSLASH = Collections.unmodifiableList(Arrays.asList("//", "%2f%2f", "%2f%2F", "%2F%2f", "%2F%2F"));
private static final List<String> FORBIDDEN_BACKSLASH = Collections.unmodifiableList(Arrays.asList("\\", "%5c", "%5C"));
private Set<String> encodedUrlBlacklist = new HashSet<>();
private Set<String> decodedUrlBlacklist = new HashSet<>();
private Set<String> allowedHttpMethods = createDefaultAllowedHttpMethods();
private Predicate<String> allowedHostnames = hostname -> true;

public StrictHttpFirewall() {
	urlBlacklistsAddAll(FORBIDDEN_SEMICOLON);
	urlBlacklistsAddAll(FORBIDDEN_FORWARDSLASH);
	urlBlacklistsAddAll(FORBIDDEN_DOUBLE_FORWARDSLASH);
	urlBlacklistsAddAll(FORBIDDEN_BACKSLASH);

	this.encodedUrlBlacklist.add(ENCODED_PERCENT);
	this.encodedUrlBlacklist.addAll(FORBIDDEN_ENCODED_PERIOD);
	this.decodedUrlBlacklist.add(PERCENT);
}

구글링에 "//"을 허용하는 해결책이 있긴 한데 굳이 막아놓은 걸 허용할 필요가 있나 싶어서 필터링에 걸리면 로그에 찍히지 않게만 처리하고자 한다.

@Aspect
@Component
public class FilterChainProxyAdvice {

    @Around("execution(public void org.springframework.security.web.FilterChainProxy.doFilter(..))")
    public void handleRequestRejectedException (ProceedingJoinPoint pjp) throws Throwable {
        try {
            pjp.proceed();
        } catch (RequestRejectedException exception) {
            HttpServletResponse response = (HttpServletResponse) pjp.getArgs()[1];
            response.sendError(HttpServletResponse.SC_BAD_REQUEST);
        }
    }
}

AOP 를 이용한 방법인데 대충 설명하자면 Around의 타겟 메소드로 doFIlter를 잡아서 익셉션 처리를 하는것이다.

pjp.proceed();

에서 doFilter가 실행되면서 “//” 문자열이 URL에 포함되어 들어오면 RequestRejectedException 을 발생시키는데, 해당 Exception을 잡아서 로그가 안찍히게 해주면된다.

[Spring] 스프링 AOP (Spring AOP) 총정리 : 개념, 프록시 기반 AOP, @AOP

서나쓰 — Tue, 23 Aug 2022 17:16:36 +0900

스프링 AOP (Aspect Oriented Programing)

AOP는 Aspect Oriented Programming의 약자로 관점 지향 프로그래밍이라고 불린다. 관점 지향은 쉽게 말해 어떤 로직을 기준으로 핵심적인 관점, 부가적인 관점으로 나누어서 보고 그 관점을 기준으로 각각 모듈화하겠다는 것이다. 여기서 모듈화란 어떤 공통된 로직이나 기능을 하나의 단위로 묶는 것을 말한다.

예로들어 핵심적인 관점은 결국 우리가 적용하고자 하는 핵심 비즈니스 로직이 된다. 또한 부가적인 관점은 핵심 로직을 실행하기 위해서 행해지는 데이터베이스 연결, 로깅, 파일 입출력 등을 예로 들 수 있다.

AOP에서 각 관점을 기준으로 로직을 모듈화한다는 것은 코드들을 부분적으로 나누어서 모듈화하겠다는 의미다. 이때, 소스 코드상에서 다른 부분에 계속 반복해서 쓰는 코드들을 발견할 수 있는 데 이것을 흩어진 관심사 (Crosscutting Concerns)라 부른다.

위와 같이 흩어진 관심사를 Aspect로 모듈화하고 핵심적인 비즈니스 로직에서 분리하여 재사용하겠다는 것이 AOP의 취지다.

AOP 주요 개념

Aspect : 위에서 설명한 흩어진 관심사를 모듈화 한 것. 주로 부가기능을 모듈화함.
Target : Aspect를 적용하는 곳 (클래스, 메서드 .. )
Advice : 실질적으로 어떤 일을 해야할 지에 대한 것, 실질적인 부가기능을 담은 구현체
JointPoint : Advice가 적용될 위치, 끼어들 수 있는 지점. 메서드 진입 지점, 생성자 호출 시점, 필드에서 값을 꺼내올 때 등 다양한 시점에 적용가능
PointCut : JointPoint의 상세한 스펙을 정의한 것. 'A란 메서드의 진입 시점에 호출할 것'과 같이 더욱 구체적으로 Advice가 실행될 지점을 정할 수 있음

스프링 AOP 특징

프록시 패턴 기반의 AOP 구현체, 프록시 객체를 쓰는 이유는 접근 제어 및 부가기능을 추가하기 위해서임
스프링 빈에만 AOP를 적용 가능
모든 AOP 기능을 제공하는 것이 아닌 스프링 IoC와 연동하여 엔터프라이즈 애플리케이션에서 가장 흔한 문제(중복코드, 프록시 클래스 작성의 번거로움, 객체들 간 관계 복잡도 증가 ...)에 대한 해결책을 지원하는 것이 목적

스프링 AOP : @AOP

다음에는 아래와 같이 @Aspect 어노테이션을 붙여 이 클래스가 Aspect를 나타내는 클래스라는 것을 명시하고 @Component를 붙여 스프링 빈으로 등록한다.

@Component
@Aspect
public class PerfAspect {
	@Around("execution(* com.saelobi..*.EventService.*(..))")
    public Object logPerf(ProceedingJoinPoint pjp) throws Throwable{
    	long begin = System.currentTimeMillis(); 
        Object retVal = pjp.proceed(); // 메서드 호출 자체를 감쌈 
        System.out.println(System.currentTimeMillis() - begin); 
        return retVal; 
    }
 }

@Around 어노테이션은 타겟 메서드를 감싸서 특정 Advice를 실행한다는 의미이다. 위 코드의 Advice는 타겟 메서드가 실행된 시간을 측정하기 위한 로직을 구현하였다. 추가적으로 execution(* com.saelobi..*.EventService.*(..))가 의미하는 바는 com.saelobi 아래의 패키지 경로의 EventService 객체의 모든 메서드에 이 Aspect를 적용하겠다는 의미다.

@Component
public class SimpleEventService implements EventService {

    @Override
    public void createEvent() {
        try {
            Thread.sleep(1000);
        } catch(InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("Created an event");
    }

    @Override
    public void publishEvent() {
        try {
            Thread.sleep(1000);
        } catch (InterruptedException e){
            e.printStackTrace();;
        }
        System.out.println("Published an event");
    }

    public void deleteEvent() {
        System.out.println("Delete an event");
    }
}

@Service
public class AppRunner implements ApplicationRunner {

    @Autowired
    EventService eventService;

    @Override
    public void run(ApplicationArguments args) throws Exception {
        eventService.createEvent();
        eventService.publishEvent();
        eventService.deleteEvent();
    }
}

Created an event
1003
Published an event
1000
Delete an event
0

경로지정이 아닌 특정 어노테이션에게 적용할 수도 있고, 스프링 빈의 모든 메서드에게도 지정할 수 있다.

이 밖에도 @Around 외에 타겟 메서드의 Aspect 실행 시점을 지정할 수 있는 어노테이션이 있다.

@Before (이전) : 어드바이스 타겟 메소드가 호출되기 전에 어드바이스 기능을 수행
@After (이후) : 타겟 메소드의 결과에 관계없이(즉 성공, 예외 관계없이) 타겟 메소드가 완료 되면 어드바이스 기능을 수행
@AfterReturning (정상적 반환 이후)타겟 메소드가 성공적으로 결과값을 반환 후에 어드바이스 기능을 수행
@AfterThrowing (예외 발생 이후) : 타겟 메소드가 수행 중 예외를 던지게 되면 어드바이스 기능을 수행
@Around (메소드 실행 전후) : 어드바이스가 타겟 메소드를 감싸서 타겟 메소드 호출전과 후에 어드바이스 기능을 수행

출처: https://engkimbs.tistory.com/746 [새로비:티스토리]

[JAVA/Spring] [org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Unexpected character ('}' (code 125))

서나쓰 — Fri, 5 Aug 2022 15:06:11 +0900

Resolved [org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Unexpected character ('}' (code 125)): was expecting double-quote to start field name; nested exception is com.fasterxml.jackson.core.JsonParseException: Unexpected character ('}' (code 125)): was expecting double-quote to start field name<EOL> at [Source: (org.springframework.util.StreamUtils$NonClosingInputStream); line: 4, column: 2]]

Sample json

{ "subject": "재목", "contents": "내용", }

해결책

json 규칙에 맨 마지막 항목에는 ' , ' 이 붙으면 안 된다.

쉼표 삭제하니 정상 작동

[Linux] SSH 접속시 UNPROTECTED PRIVATE KEY FILE! 에러 해결

서나쓰 — Wed, 3 Aug 2022 14:42:23 +0900

ssh 인증 방법을 public key 로 하면 ssh client 는 개인키(private key) 가 있는 폴더의 권한과 개인 키 파일(보통 id_rsa)의 권한 설정 여부를 확인하고 잘못 설정되었을 경우

다음과 같은 에러 창을 띄우고 동작을 하지 않습니다.

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@         WARNING: UNPROTECTED PRIVATE KEY FILE!          @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
Permissions 0644 for '/user/ssh/id_rsa' are too open.
It is required that your private key files are NOT accessible by others.
This private key will be ignored.
Load key "/user/ssh/id_rsa": bad permissions

SSH 개인키는 중요한 정보이기 때문에 소유자외 다른 이가 읽을수 있으면 위와 같은 에러를 만나게 됩니다.

해결책

다음과 같이 group 과 other 의 모든 권한을 막아주면 됩니다.

chmod 0400 ~/.ssh/ubuntu@example.com/id_rsa

0600 으로 설정해도 되지만 실수로 개인키를 삭제하는 것을 방지하기 위해 읽기만 가능한 0400 을 권장합니다.

SSH 로그인 해결!