Spark SQL, Data
Frame chính là những nguyên tố được thực hiện nhiều độc nhất vô nhị trong toàn diện Framework Apache Spark. Nói cách khác Spark SQL sẽ “phổ cập” đo lường và thống kê phân tán cho 1 tập người dùng to hơn nhiều đầy đủ Developer chỉ từng ngày ngồi code, gọi rất nhiều API như thế nào là map, như thế nào là reduce…
Apache Spark là framework xử trí xư liệu phân tán, tập hợp nhiều thư viện cho các mục đích không giống nhau và build on-top Spark Core. Điều này góp Spark tất cả tính nhất quán lớn, thay vì mỗi mục đích bạn đề nghị tìm 1 thư viện riêng thì với vấn đề có sẵn như Spark, trong 1 project chúng ta vừa rất có thể sử dụng Spark vi xử lý core kết hợp với Spark SQL tốt Mllib một biện pháp linh hoạt, buổi tối ưu các công việc theo đúng mục đích của chúng.
Bạn đang xem: Phân tích dữ liệu với Spark (Data Analytics with Spark)
Khi thực thi, Spark SQL vẫn sẽ điện thoại tư vấn xuống lớp Core mặt dưới, thực hiện RDD nhằm tính toán.
Có thể tóm gọn một số đặc điểm quan trọng của Spark SQL như sau:
Được xây dựng bên trên tầng Spark Core, vượt hưởng tất cả các tài năng mà RDD có.Làm việc với tập dữ liệu là DataSet hoặc Data
Frame (tập tài liệu phân tán, có cấu trúc)Hiệu năng cao, năng lực mở rộng lớn và chịu lỗi tốt
Tương tích với những thành phần không giống trong toàn diện và tổng thể Spark Framework (như Streaming/ Mllib, Graph
X)Bao gồm 2 nhân tố là Data
Set API và Catalyst Optimizer.
2. Spark SQL Performance
Không quá lúc nói rằng, vào việc thay đổi và tổng vừa lòng dữ liệu, Spark SQL với Data
Frame luôn luôn có tính năng cao hơn không ít so với sử dung RDD. Còn so với các công nghệ tương tự khác như Impala xuất xắc Shark thì thời hạn thực thi với Spark SQL cũng luôn rất ấn tượng.
Spark SQL, 1 thư viện nguồn mở có hiệu năng ngang ngửa cùng với Impala, 1 query engine cực kỳ “xịn” tới từ Cloudera và xuất sắc hơn Shark trong đa số các bài xích thử nghiêm.
So với người anh là RDD trên thuộc 1 quá trình tổng hợp, Spark SQL cùng với DF cho thời hạn chạy nhanh hơn tối thiểu 2 lần. Ví như chạy qua RDD python là tới bên 5 lần.
Một bài thử nghiệm nữa là thực thi những aggregation thông qua RDD với 2 api là reduce
By
Key và RDD group
By
Key cùng với Data
Frame và tác dụng là DF có thời gian xử lý nhanh hơn cả.
3. Data
Frame
Vậy là hoàn toàn có thể thấy Spark SQL thực sự công dụng trong bài toán xử lý tài liệu như nào. Cốt lõi của Spark SQL chính là Data
Frame và các API tương tác. Vậy Data
Frame là gì?
Theo định nghĩa:
“A Data
Frame is an immutable, distributed collection of data that is organized into rows, where each one consists a phối of columns and each column has a name và an associated type”.
Hiểu dễ dàng và đơn giản DF y hệt như 1 bảng trong hệ csdl quan hệ. Có các trường, được định sẵn hình trạng dữ liệu, cùng tập đúng theo các bản ghi. Tuy vậy 1 DF có thể đại diện đến lượng tài liệu lớn hơn không hề ít so với những bảng trong DB, bạn dạng thân mình đã xử lý những DF lên đến hàng chục tỉ row.
Các điểm sáng bao gồm:
immutable: tính bất biến, dữ liệu của 1 DF sau khi tạo ra sẽ không thay đổi, nếu muốn chỉnh sửa ta cần tạo ra DF mới từ DF ban đầu, trải qua DF api.rows: là đối tượng thay mặt đại diện cho 1 bản ghi dữ liệu. 1 DF = tập các row phân tánset of columns has name and an associated type: Ý nói tới việc tài liệu của DF là bao gồm cấu trúc, gồm tên là loại dữ liệu.Spark SQL cung ứng rất nhiều nguồn dữ liệu như file, DB…. Cùng với Data
Frame
Reader, bạn cũng có thể dễ dàng gọi dữ liệu từ khá nhiều nguồn, những định dạng để rạo ra 1 Data
Frame, từ bỏ đó có thể sử dụng những API của Spark SQL liên hệ với chúng.
4. Data
Frame or Data
Set
Có 1 vấn đề không hề ít bạn do dự khi bắt đầu đọc về Spark với Spark SQL là thiếu hiểu biết về 2 định nghĩa Data
Frame, Data
Set. Hãy cùng xem hình đươi đây:
Bỏ qua về RDD bởi nó nằm trên tầng Spark Core, Data
Frame được trình làng vào năm trước đó và Data
Set là 2015. Sau khi tồn tại chủ quyền được 1 năm, tới 2016, Spark 2.0 trình làng và gộp DF với DS lại, chỉ từ duy duy nhất DS.
Cả DF và DS đa số là tập tài liệu trong Spark SQL, tuy nhiên điểm biệt lập là các bản ghi vào DF được fix luôn luôn là đối tượng Row, còn DS thì bao gồm thể tùy chỉnh được kiểu tài liệu của bản ghi thông qua định nghĩa case class.
Data
Frame = Dataset
Set = Dataset
Có thể thấy rằng khi sử dụng DF, ta vẫn build được code mà lại khi run, vận dụng sẽ báo lỗi bởi khi chạy, DF new biết được kiểu dữ liệu thật của cột movie_title là string cho cần sử dụng ở schema các bạn đã hướng đẫn cột sẽ là string, trong lúc nếu đã quan niệm 1 class tất cả thuộc tính movie_title là string thì ứng dụng sẽ báo lỗi tức thì tại thời gian complie, đó là 1 VD về sự khác biệt của DS cùng DF.
Ngày nay có nhiều hệ thống đang sử dụng Hadoop để phân tích và xử lý tài liệu lớn. Ưu điểm lớn số 1 của Hadoop là được dựa vào một mô hình lập trình tuy vậy song với xử lý dữ liệu lớn là Map
Reduce, quy mô này có thể chấp nhận được khả năng tính toán có thể mở rộng, linh hoạt, kỹ năng chịu lỗi, chi phí rẻ. Điều này chất nhận được tăng tốc thời hạn xử lý những dữ liệu khủng nhằm gia hạn tốc độ, giảm thời gian mong chờ khi tài liệu ngày càng lớn.
Dù có không ít điểm dạn dĩ về khả năng đo lường và tính toán song tuy nhiên và kỹ năng chịu lỗi cao tuy vậy Apache Haddop bao gồm một nhược điểm là toàn bộ các thao tác làm việc đều phải thực hiện trên ổ đĩa cứng điều này đã làm tụt giảm độ giám sát và đo lường đi gấp nhiều lần.
Để hạn chế và khắc phục được nhược điểm đó thì Apache Spark được ra đời. Apache Spark rất có thể chạy nhanh hơn 10 lần đối với Haddop sinh sống trên đĩa cứng cùng 100 lần lúc chạy trên bộ nhớ RAM.
Mục lục
Tổng kết
1. Giới thiệu về Apache Spark
Apache Spark là 1 trong framework mã nguồn mở đo lường và thống kê cụm, được phát triển sơ khởi vào thời điểm năm 2009 vì AMPLab. Sau này, Spark đã làm được trao mang đến Apache Software Foundation vào năm 2013 và được vạc triển cho tới nay.
Tốc độ xử trí của Spark đã có được do việc giám sát được triển khai cùng dịp trên nhiều máy không giống nhau. Đồng thời việc đo lường và tính toán được thực hiện ở bộ lưu trữ trong (in-memories) tuyệt thực hiện hoàn toàn trên RAM.
Spark được cho phép xử lý dữ liệu theo thời hạn thực, vừa nhận dữ liệu từ những nguồn không giống nhau đồng thời thực hiện ngay bài toán xử lý trên tài liệu vừa nhận thấy ( Spark Streaming).
Spark ko có hệ thống file của riêng biệt mình, nó sử dụng khối hệ thống file không giống như: HDFS, Cassandra, S3,…. Spark hỗ trợ nhiều giao diện định dạng file khác nhau (text, csv, json…) bên cạnh đó nó hoàn toàn không dựa vào vào bất kể một hệ thống file nào.
2. Yếu tắc của Spark
Apache Sparkgồm tất cả 5 thành phần thiết yếu : Spark Core, Spark Streaming, Spark SQL, MLlib cùng Graph
X, vào đó:
RDD) nhằm mục tiêu hỗ trợ cho tất cả kiểu tài liệu có cấu trúc (structured data) và dữ liệu nửa kết cấu (semi-structured data – thường xuyên là tài liệu dữ liệu có kết cấu nhưng không đồng bộ và cấu tạo của dữ liệu phụ thuộc vào vào bao gồm nội dung của tài liệu ấy).Spark SQLhỗ trợ DSL (Domain-specific language) để tiến hành các thao tác trên Data
Frames bằng ngôn ngữ Scala, Java hoặc Python với nó cũng hỗ trợ cả ngữ điệu SQL với hình ảnh command-line cùng ODBC/JDBC server.Spark Streamingđược áp dụng để thực hiện việc so với stream bằng việc coi stream là những mini-batches và thực hiệc chuyên môn RDD transformation đối với các dữ liệu mini-batches này. Qua đó có thể chấp nhận được các đoạn code được viết cho giải pháp xử lý batch rất có thể được tận dụng tối đa lại vào trong việc xử lý stream, làm cho việc phát triển lambda architecture được dễ ợt hơn. Tuy vậy điều này lại tạo nên độ trễ trong xử lý tài liệu (độ trễ chính bởi mini-batch duration) và cho nên vì thế nhiều chuyên gia cho rằng Spark Streaming không đích thực là chính sách xử lý streaming hệt như Storm hoặc Flink.MLlib(Machine Learning Library): MLlib là một nền tảng học sản phẩm phân tán bên trên Spark do kiến trúc phân tán dựa vào bộ nhớ. Theo các so sánh benchmark Spark MLlib nhanh hơn 9 lần so với phiên phiên bản chạy bên trên Hadoop (Apache Mahout).
Xem thêm: Cách Kết Nối Chuột Bluetooth Với Macbook, Kết Nối Chuột Bluetooth Với Macbook
Grap
X: Grapx là nền tảng gốc rễ xử lý vật dụng thị dựa trên Spark. Nó cung cấp các Api để diễn tảcác đo lường và thống kê trong đồ thị bằng cách sử dụng Pregel Api.3. Những điểm nổi bật của Spark
Xử lý dữ liệu: Spark xử lý dữ liệu theo lô và thời gian thực
Tính tương thích: có thể tích phù hợp với tất cả những nguồn tài liệu và format tệp được cung cấp bởi nhiều Hadoop.Hỗ trợ ngôn ngữ: cung ứng Java, Scala, Python với R.Phân tích thời gian thực:Apache Spark rất có thể xử lý dữ liệu thời hạn thực có nghĩa là dữ liệu mang đến từ những luồng sự kiện thời gian thực với tốc độ hàng triệu sự khiếu nại mỗi giây. Ví dụ: Data Twitter ví dụ điển hình hoặc luợt phân chia sẻ, đăng bài trên Facebook. Sức mạnh Spark là tài năng xử lý luồng trực tiếp hiệu quả.Apache Spark hoàn toàn có thể được thực hiện để giải pháp xử lý phát hiện ăn gian trong khi tiến hành các giao dịch thanh toán ngân hàng. Đó là bởi vì, tất cả các khoản giao dịch trực con đường được tiến hành trong thời hạn thực và họ cần xong giao dịch gian lận trong khi quy trình thanh toán đang diễn ra.Mục tiêu sử dụng:Xử lý tài liệu nhanh và tương tác
Xử lý trang bị thị
Công vấn đề lặp đi lặp lại
Xử lý thời hạn thựcjoining Dataset
Machine Learning
Apache Spark là Framework thực hiện dữ liệu dựa trên Hadoop HDFS. Apache Spark không thay thế sửa chữa cho Hadoop cơ mà nó là 1 trong những framework ứng dụng. Apache Spark tuy thành lập sau nhưng được nhiều người biết đến hơn Apache Hadoop vì tài năng xử lý hàng loạt và thời hạn thực.Những doanh nghiệp áp dụng Apache Spark
Hiện nay, có nhiều hãng mập đã cần sử dụng Spark cho các sản phẩm của mình như Yahoo, ebay, IBM, Cisco…
Với sự phạt triển mạnh mẽ trong vài ba năm quay lại đây của Apache Spark thì thiết kế viên, các nhà khoa học máy tính xách tay có thêm hiện tượng hữu hiệu nhằm phục vụ công việc của bản thân và fan ta sẽ dần dần quên “Hadoop Stack” mà thay thế sửa chữa vào đó sẽ là “Big data Stack”, với khá nhiều sự gạn lọc hơn không chỉ là là Hadoop.
KHOÁ HỌC tầm nã VẤN VÀ THAO TÁC DỮ LIỆU SQL TỪ CƠ BẢN ĐẾN NÂNG CAO
KHÓA HỌC DATA WAREHOUSE : TỔNG HỢP, CHUẨN HÓA VÀ XÂY DỰNG KHO DỮ LIỆU vào DOANH NGHIỆP
KHÓA HỌC DATA model – THIẾT KẾ MÔ HÌNH DỮ LIỆU vào DOANH NGHIỆP
LỘ TRÌNH TRỞ THÀNH DATA ENGINEER đến NGƯỜI MỚI BẮT ĐẦU
TỔNG QUÁT VỀ DATA ENGINEER ? CÔNG VIỆC CHÍNH CỦA DATA ENGINEER? CÁC KỸ NĂNG CẦN THIẾT