self study

Avro로 하나 까는데 2시간 삽질.........
버전업이 되서 .txt 파일을 읽어봐도 도무지 답이 없고

build.sh은 에러 났다고만 하고........

해결방법은

build.sh에서 svn으로 시작되는 부분 주석 제거......

maven 설치 http://maven.apache.org/guides/development/guide-building-m2.html

./build.sh dist

안된다면 과감히 댓글이나 이메일 주세요!

1. 분산 어플리케이션 서버를 효율적으로 구축하기 위한 방안

1) RPC(Remote Procedure Call) : 한 컴퓨터가 프로그램을 실행하기 위해 거리에 상관없이 특정 컴퓨터에 서브프로그램을 불러내는 기술을 말한다. 객체지향 개념적으로 보면 멀리 떨어진 컴퓨터에 특정 객체를 불러오는 행위를 말한다.

그림 1) RPC 개념(http://www.cs.fsu.edu/~xyuan/cop5611/lecture2.html)

 컴파일된 클라이언트 측에서 사용하는 코드를 이를 stub이라 부르고, 컴파일된 서버 측에서 사용하는 코드를 skeleton이라 부른다. 그리고 스텁이 서버에 접근하기 위해 인터페이스를 사용한다.

 - 단점 : 인터페이스 변경 시 매번 IDL을 컴파일해야 함.

2) IDL(Interface Definition Language) :  서로 다른언어로 구현된 프로그램 or 객체가 통신을 하기 위해서 통신을 할 수 있도록 지원하는 언어이다. 이 책에서는 Thrift, Avro를 다뤘다.

개념정리 : http://www.cyworld.com/uchi000/3175980

3) 데이터 타입 : 원격 메소드를 호출 시 주고 받는 데이터(파라미터, 반환값 등)가 int, char[]과 같이 대부분의 프로그래밍 언어에서 제공하는 기본 데이터 타입만을 제공하는 방식과 struct, class와 같은 사용자 정의 데이터 타입을 제공하는 방식으로 구분할 수 있다.

4) 플랫폼(언어) 의존성 : RPC 솔루션이 동일 언어만 가능한지 아닌지 고려해야 한다.

5) 결론

- 가장 이상적인 RPC 구현은 IDL이 없고 사용자 정의 데이터 타입을 자유롭게 사용하고, 다양한 프로그래밍 언어를 사용하는 것이다.  하지만 현실적으로 어려워 RPC 지원 솔루션 중 시스템 요구 사항에 적합한 솔루션을 선택하는 것이 중요하다.

2. Thrift

정의 : 다양한 언어를 지원하는 RPC 서버와 이 서버에서 제공하는 서비스를 호출하는 클라이언트 코드를 생성해주는 소프트웨어 프레임워크이다.  Thrift 개발자는 프로그래밍 언어별 소켓 서버에 대한 구현을 알 필요 없으며 RPC기반이기 때문에 함수 호출 형태로 원격 서버에서 제공하는 서비스를 호출할 수 있고, 사용자 정의 데이터 타입을 이용할 수 있다.

그림 2)  IDL개념도

http://publib.boulder.ibm.com/infocenter/cicsts/v3r1/index.jsp?topic=%2Fcom.ibm.cics.ts31.doc%2Fdfhpj%2Ftopics%2Fdfhpjfe.htm

 개발자가 작성한 IDL 파일을 Thrift에서 제공하는 코드 생성기를 이용해 코드로 생성하면 서버측 개발자와 클라이언트 측 개발자가 모두 사용할 수 있는 코드로 만들어진다. 서버 측 개발자는 생성된 코드를 이용해 Thrift에서 제공하는 서버 측 데몬 프로그램 라이브러리를 이용하여 프로그램을 만들고, 클라이언트 개발자는 생성된 코드와 Thrift에서 제공하는 라이브러리를 이용해 서버 측 프로그램을 호출하는 코드를 작성한다.

3.  thrift 예제 helloServer

- 너무 고생했다. 책에서는 0.5 버전인데 지금은 0.8버전으로 쓰려다보니 THsHaServer에서 생성자가 정의되지 않았다고 난리를 치는 바람에 구글링 한시간만에 다른코드로 대체해서 결국 돌렸다. ㅡㅡ 오랜만에 다시하는거다 보니 생소하다. 하지만 첫번째 예제 끝!

그림 3) helloServer 동작

그림 4) hellClient동작

코드설명 : 서버는 thrift에 변수 나이, 이름을 선언하고 컴파일?하여 몇 천줄의 helloService.java 파일을 만들어 주었다.(이름은 제 마음대로) 이 클래스는 소켓프로그래밍 할 수 있도록 인터페이스를 제공하게 해주었다. 그리고 thrift에서 제공한 라이브러리를 가지고 API사용하여 소켓프로그래밍을 구현했다. Client는 API사용하고 인자 4가지 호스트(루프백), 포트번호, 이름, 나이를 인자로 받아 보내는 역할을 한다.

4. 데이터 직렬화란?

- 파일의 데이터를 읽어올 때나 네트워크를 통해 전송시 스트림 형태로 전송을 하는것을 말함.(일렬로 쭈욱~~~ 나열)

  왜냐하면 외부 프로세스와 통신을 하거나 데이터를 파일로 저장하려면 직렬화를 해야하기 때문이다.

  Thrift는 RPC(Remote Procedure Call) 요청을 안정적으로 처리하면서 이기종 간 RPC호출을 지원하는 개념이고,

  Avro는 데이터 직렬화를 기본 개념으로 하여 RPC 호출을 이기종 간에 가능하게 하는 개념으로 접근한다.

1. 클라우드 컴퓨팅이란?

 - 수많은 클라이언트들이 장소 구애없이 필요한 시점에서 인터넷을 이용해 컴퓨터 자원(서버, 스토리지, 애플리케이션, 서비스)을 쉽게 접근할 수 있도록 하는 모델이다.(인용 하였습니다.)

2. 클라우드 컴퓨팅과 하둡(Hadoop Project)은 같다고 할 수 없다.

 - 클라우드 컴퓨팅 구축을 위한 방법중에 하나가 분산 아키텍처 기반 프레임워크인 하둡이다.

개념정리 : http://blog.naver.com/raftwood?Redirect=Log&logNo=20100448581

3. 인프라 서비스 & 플랫폼 서비스 개념 구분

 - 인프라 서비스 : 인프라만 제공하고 개발, 배포 등은 개발자나 시스템 운영자가 직접 설치, 배포하는 것을 말함.

 - 플랫폼 서비스 : 개발 환경 제공, 개발된 Application을 실행 서버에 배포하고 운영하는 것을 책임지는 서비스를 말함.

4. 구글 시스템 구성

1) 구글 파일 시스템 : 수많은 서버를 이용해 대규모의 파일을 저장할 수 있는 파일 시스템으로 가용성 및 안정성을 제공할 수 있도록 설계되어 있다.

2) 구글 맵리듀스(Map Reduce) : 분산된 수많은 노드에 대용량 데이터 처리를 수행함으로써 배치 작업, 관리하는 프레임워크이다. 주로 구글 파일시스템에 저장된 데이터를 분석한다. (Data Mining? CRM?) 이를 이용하여 분산 프로그램을 개발할 수 있다.

 예를 들어 아마존에서 고객 소비 패턴을 분석하여 정보들을 제공해주는 서비스가 있다.

3) 빅테이블(Bigtable) : 기존 관계형DB이 아닌 분산DB로 알려져있다. 고가용성을 최우선 목표로 사용자들에게 제공한다.

4) 쏘즐(Sawzall) : 맵리듀스와 비슷한 성격을 띄고, 다른점은 스크립트 기반으로, 간단한 문법을 통해 맵리듀스 프로그램을 작성할 수 있게 지원한다.

5) 처비(Chubby) : 수많은 데이터들의 동기화를 위한 시스템으로 사용된다. 또한 실제 구글 클러스터의 전체 관리와 장애 판단, 마스터 선출(서버들 중 Coordinator?) 등과 같은 분산 시스템 전체를 관리하는데 사용된다.

6) 프로토콜 버퍼 : 데이터 전송시 데이터 타입을 맞추기 위해서 표준화된 프로토콜을 이용해야 한다. 대부분 웹서비스를 이용하기 위해서 SOAP 프로토콜들을 이용하지만 프로토콜 버퍼는 구글 자체 개발한 프로토콜 표준 플랫폼을 이용한다.

그림 1) 구글 시스템 구성도

대단하다....구성도 그림만으로는 아직 어떻게 돌아가는지는 모르겠다...

5. SaaS, Paas, IaaS 예시

1) SaaS 예시

- CRM, 워드프로세스, 국내 NDrive, UCloud... 등

- 왜? NDrive랑 UCloud가 SaaS일까? 국내 일반인 대상으로 시스템 구축 목적으로 사용되는 것이 아니라 일반인을 대상으로 하는 웹서비스이기 때문이다.

2) PaaS

- 애플리케이션 실행 환경, 개발도구/환경 등을 말함. 구글에서 플랫폼 서비스를 제공하는 구글 앱엔진

3) IaaS

- 서버,스토리지,DB 등을 말함. AWS(Amazon Web Service) 중 EC3, S3 등

6. 클라우드 아키텍처 요구사항

- 탄력적 확장성 : 변화되는 환경(ex  클라이언트 요청)에 따라 기민하게 시스템을 확장, 축소할 수 있어야 함

- 고가용성 : 클라우드 서비스를 받으면서 자신의 데이터를 전혀 사용할 수 없는 경우를 최소화 시키면서 서비스를 제공해야함

- 자동화된 리소스 관리 : 수많은 클라우드 서비스 제공을 위해 리소스 관리를 자동적으로 할 수 있어야 함

- 자동 복구/치료 : 고가용성을 확보, 자동화된 리소스 관리가 되기 위해 소프트웨어 자체적으로 복구/치료를 할 수 있어야 함

-