docvert.x를 활용한 대용량 트래픽 처리를 위한 분산 서버 개발하기
download 
Report Transcription
vert.x를 활용한 대용량 트래픽 처리를 위한 분산 서버 개발하기
vert.x를 활용한 ! 대용량 트래픽 처리를 위한! 분산 서버 개발하기! ! (vert.x & scalable architecture) 김요한 [email protected] 1. 개발 패러다임의 변화! ! ! - 비동기 Event Looping 서버의 특징! - JVM 기반 vert.x 특징! ! 2. 분산 서버 설계 하기! ! - 대용량 트래픽 처리 / 체팅 서비스 서버 개발 사례! ! 3. 분산 서버 설계시 알아야 할 것들! ! - Consistent Hashing, Sharding, Proxy, MessageQueue ..! 1. 개발 패러다임의 변화! ! ! - 비동기 Event Looping 서버의 특징! - JVM 기반 vert.x 특징 1. 개발 패러다임의 변화 Question 원하는 만큼 확장할 수 있나요 ?! 대용량 트래픽을 처리 할 수 있나요 ?! 기능 추가를 얼마나 빨리 할 수 있나요 ?! 쉽고 빨리 개발할 수 있나요 ? 1. 개발 패러다임의 변화 Answer background on the C10K problem! Event Looping! None Blocking I/O! Fault Tolerant! Scalability (Scala-Out)! ...... 비동기 서버의 특징 Shifting from ! Threading to Asynchronous 비동기 서버의 특징 비동기 서버의 특징 Apache HTTP Server v2.4 ideally suited for Cloud environments. They include:! ! • • • • • • • Improved performance (lower resource utilization and better concurrency)! Reduced memory usage! Asyncronous I/O support! Dynamic reverse proxy configuration! Asynchronous I/O support Performance on par, or better, than pure event-driven Web servers! More granular timeout and rate/resource limiting capability! More finely-tuned caching support, tailored for high traffic servers and proxies. http://blogs.apache.org/foundation/entry/the_apache_software_foundation_celebrates 비동기 서버의 특징 Java IO Stream oriented Blocking IO Reading data from a blocking stream. 비동기 서버의 특징 Java NIO Buffer oriented Non blocking IO Selectors Reading data from a channel until all needed data is in buffer. http://tutorials.jenkov.com/java-nio/nio-vs-io.html 비동기 서버의 특징 many modularity paradigms 비동기 서버의 특징 비동기 서버의 특징 - Main.class! library1.jar! library2.jar! library3.jar ClassLoader 비동기 서버의 특징 EventBus (vert.x) Module 1 Module 2 Module 3 - Module1.class! - library1.jar! - library2.jar - Module2.class! - library1.jar! - library2.jar - Module2.class! - library1.jar! - library2.jar ClassLoader ClassLoader ClassLoader 비동기 서버의 특징 Polyglot or Multilingual ! several programming languages in a single app 비동기 서버의 특징 “ Components + Scripts = Applications ” see John Ousterhout, IEEE Computer, March ’98 http://www.stanford.edu/~ouster/cgi-bin/papers/scripting.pdf 비동기 서버의 특징 “ Shift from Apache to Node.js ” JVM 기반 VERT.X 특징 JVM 기반 VERT.X 특징 import org.vertx.java.core.Handler; import org.vertx.java.core.http.HttpServerRequest; import org.vertx.java.platform.Verticle; public class Server extends Verticle { JAVA 7 public void start() { vertx.createHttpServer().requestHandler(new Handler<HttpServerRequest>() { public void handle(HttpServerRequest req) { String file = req.path().equals("/") ? "index.html" : req.path(); req.response().sendFile("webroot/" + file); } }).listen(8080); } } > vertx run Server.java JVM 기반 VERT.X 특징 import org.vertx.java.core.Handler; import org.vertx.java.core.http.HttpServerRequest; import org.vertx.java.platform.Verticle; public class Server extends Verticle { JAVA 7 public void start() { ! vertx.createHttpServer().requestHandler(new Handler<HttpServerRequest>() { public void handle(HttpServerRequest req) { vertx.createHttpServer().requestHandler(new Handler<HttpServerRequest>() public { String void file = handle(HttpServerRequest req.path().equals("/") ? "index.html" req) : req.path(); req.response().sendFile("webroot/" + file); } }).listen(8080); } } > vertx run Server.java { JVM 기반 VERT.X 특징 import org.vertx.java.core.Handler; import org.vertx.java.core.http.HttpServerRequest; import org.vertx.java.platform.Verticle; public class Server extends Verticle { JAVA 8 public void start() { ! vertx.createHttpServer().requestHandler( (HttpServerRequest req) -> { vertx.createHttpServer().requestHandler((HttpServerRequest { String file = req.path().equals("/") ? "index.html" : req.path(); req.response().sendFile("webroot/" + file); }).listen(8080); } } > vertx run Server.java req) -> { JVM 기반 VERT.X 특징 import org.vertx.java.core.Handler; import org.vertx.java.core.http.HttpServerRequest; import org.vertx.java.platform.Verticle; public class Server extends Verticle { JAVA 8 public void start() { vertx.createHttpServer().requestHandler( (HttpServerRequest req) -> { String file = req.path().equals("/") ? "index.html" : req.path(); req.response().sendFile("webroot/" + file); }).listen(8080); } } > vertx run Server.java JVM 기반 VERT.X 특징 vert.x instance Verticle Verticle Worker Verticle Worker Verticle JVM 기반 VERT.X 특징 vert.x instance Verticle Verticle Worker Verticle EventBus Worker Verticle JVM 기반 VERT.X 특징 EventBus eb = vertx.eventBus(); Handler<Message> myHandler = new Handler<Message>() { public voidvert.x handle(Message message) { instance System.out.println("I received a message " + message.body); } }; ! Worker // EventBus 에 이벤트 등록 Verticle Verticle Verticle eb.registerHandler("test.address", myHandler); EventBus // EventBus 로 이벤트 실행 eb.send("test.address", "hello world"); Worker Verticle EventBus Worker Verticle Worker Verticle Verticle vert.x instance Verticle Worker Verticle Worker Verticle Verticle Verticle JVM 기반 VERT.X 특징 vert.x instance EventBus Worker Verticle Worker Verticle Verticle vert.x instance Verticle Worker Verticle Worker Verticle Verticle Verticle JVM 기반 VERT.X 특징 vert.x instance JVM 기반 VERT.X 특징 http://vertx.io JVM 기반 VERT.X 특징 http://vertx.io Distributed Event Bus JVM 기반 VERT.X 특징 http://vertx.io WebSockets and SockJS" support for real-time server-push applications. JVM 기반 VERT.X 특징 http://vertx.io embedded " as a library in your existing Java applications JVM 기반 VERT.X 특징 http://vertx.io module system" components into modules for encapsulation and reuse JVM 기반 VERT.X 특징 http://vertx.io Maven archetype Gradle template Auto-redeploy JVM 기반 VERT.X 특징 34 http://www.techempower.com/benchmarks/ JVM 기반 VERT.X 특징 http://nodyn.io/ 2. 분산 서버 설계 하기" " - 대용량 트래픽 처리 / 체팅 서비스 서버 개발 사례 - 분산 체팅서비스 구축하기 사례 http://stalk.io <script src="http://www.stalk.io/stalk.js"></script> <script language="javascript"> STALK.init(); </script> - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Chat Server ChatsockJS) Server (vert.x Chat Server (vert.x sockJS) Chat Server (vert.x sockJS) (vert.x sockJS) 천승희 도문준 체팅방 KEY : 노량진수산시장/개불 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Chat Server Chat Server Chat Server 천승희 Chat Server . . ." “Session 정보 공유하기” 문제 ! 도문준 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Restful Server Publish 도문준 천승희 Subscribe . . ." Socket Server 김요한 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Restful Server Restful Server Restful Server Restful Server Restful Server Restful Server HAProxy 천승희 Restful Server 도문준 Restful Server . . ." Socket Server 김요한 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Restful Server Restful Server Restful Server Restful Server Socket Server Publish 천승희 Socket Server 도문준 Socket Server 도문준 Socket Server Restful Server Restful Server Subscribe Restful Server Socket Server . . ." 김요한 김요한 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Restful Server Restful Server Restful Server Restful Server Socket Server Publish 천승희 Socket Server 도문준 Socket Server 도문준 Socket Server Restful Server Restful Server Subscribe Restful Server Socket Server . . ." 김요한 김요한 - 분산 체팅서비스 구축하기 사례 노량진수산시장/개불 Hash ( input ) 192.168.219.1:8080 192.168.219.2:8080 192.168.219.3:8080 192.168.219.4:8080 192.168.219.3:8080 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Restful Server Restful Server Restful Server Restful Server Hash() Publish Hash() 도문준 천승희 Subscribe Restful Server Restful Server Socket Server Socket Server . . ." Hash() 김요한 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Restful Server Restful Server Restful Server Restful Server Hash() Publish 도문준 천승희 Subscribe . . ." Restful Server Restful Server Socket Server Socket Server 김요한 - 분산 체팅서비스 구축하기 사례 http://노량진수산시장 /개불.html Restful Server Restful Server Restful Server Restful Server Hash() 도문준 천승희 . . ." Restful Server Restful Server Socket Server Socket Server 김요한 - 분산 체팅서비스 구축하기 사례 Restful Server Startup & HTTP configuration Module Module Socket Module Distributed Node Manager Module vert.x event bus A instance in JVM Message Queue Module - 분산 체팅서비스 구축하기 사례 Socket Server Startup & HTTP configuration Module Module Socket Module Distributed Node Manager Module vert.x event bus A instance in JVM Message Queue Module 3. 분산 서버 설계시 알아야 할 것들" " - Consistent Hashing, Sharding, Proxy, MessageQueue .. - Consistent Hashing Service Server A D Token Ring C value = HASH(key) B - Consistent Hashing A D value = HASH(key) B C A - C 구간이 넓어서 C 에 부하가 많을 수 있다 ! 장애 발생 !! - Consistent Hashing D A C B D C B A D B C A D value = HASH(key) A B C D B A C A B C D B A D C C B A D C B A value = HASH(key2) - Consistent Hashing D A C B D C B A D B C A D value = HASH(key) A B C D B A C A B C D B A D C C B A D C B A value = HASH(key2) - Consistent Hashing public class ConsistentHash<T>{ ! ConsistentHash.add(‘nodeA’,...); ! ! ConsistentHash.add(‘nodeB’,...); ! ! ! ! ! ! ! ! ! ! ConsistentHash.add(‘nodeC’,...); ! ! ! ! ! ConsistentHash.add(‘nodeD’,...); ! ! ! } private final HashFunction hashFunction = Hashing.md5(); private final SortedMap<Long, T> circle = new TreeMap<Long, T>(); public void add(String name, T node) { circle.put(hashFunction.hashString(name).asLong(),node); } public void remove(String name) { circle.remove(hashFunction.hashString(name).asLong()); } public T get(String value) { long hash = hashFunction.hashString(value).asLong(); if (!circle.containsKey(hash)) { SortedMap<Long, T> tailMap = circle.tailMap(hash); } hash = tailMap.isEmpty()?circle.firstKey():tailMap.firstKey(); } return circle.get(hash); - Consistent Hashing public class ConsistentHash<T>{ ! private final HashFunction hashFunction = Hashing.md5(); private final SortedMap<Long, T> circle = new TreeMap<Long, T>(); private final int numberOfReplicas = 100; public void add(String name, T node) { for (int i = 0; i < numberOfReplicas; i++) { circle.put(hashFunction.hashString(name + i).asLong(),node); } } public void remove(String name) { for (int i = 0; i < numberOfReplicas; i++) { circle.remove(hashFunction.hashString(name + i).asLong()); } } public T get(String value) { long hash = hashFunction.hashString(value).asLong(); if (!circle.containsKey(hash)) { SortedMap<Long, T> tailMap = circle.tailMap(hash); } } ! hash = tailMap.isEmpty()?circle.firstKey():tailMap.firstKey(); } return circle.get(hash); - Consistent Hashing replics 수에 따른 표준편차(standard deviation) 서버 노드 10 개를 1 부터 500 개 까지 relicas 로 배치 10,000 번의 consistent Hashing 결과 https://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html - Sharding Sharding, Shared Nothing 데이터 분산 저장 Clients shard #1 shard #2 shard #3 A0392 E1112 J9918 A2331 G0031 K2218 C1212 G9287 O2290 ..... Replication Sharding - Sharding Sharding, Shared Nothing 데이터 분산 저장 G9287 C1212 O2290 Clients shard #1 shard #2 shard #3 A0392 E1112 J9918 A2331 G0031 K2218 C1212 G9287 O2290 A- ~ D- E- ~ I- J- ~ ..... - Sharding Sharding, Shared Nothing 데이터 분산 저장 Clients Fn(key) shard #1 shard #2 shard #3 G0031 O2290 G9287 K2281 A0392 A2331 C1212 J9918 E1122 Consistent Hashing ..... - Work Queueing Message Queue, Workers Worker Verticle 은 별도의 프로세스로 비동기/분산 실행한다. Job Worker Job Worker Job Broker Server Job Worker 비동기 처리 (Queue) Job Worker 병렬 프로세싱 - Caching Front-End Caching Static Contents 만 Cache 하고 Dynamic Contents 는 Cache 하지 않는다. varnish varnish HAProxy Application Server HAProxy HAProxy HAProxy HAProxy - Caching Data Caching HAProxy epilogue - epilogue Object Oriented 에서 Programming Functional " Programming 로 바뀌고 있는가 ? XML 말고, JSON 사용해야 하는가 ? Java 를 배우는가, Spring Framework 를 배우는가 ? VI 와 TMUX 를 사용하는가 ? 감사합니다.