Hướng dẫn cài đặt hadoop trên windows

Hadoop 3.3: hadoop.apache/release/3.3.6.html jdk11: oracle/java/technologies/javase/jdk11-archive-downloads.html Visual C++ Redistributable Packages for Visual Studio 2013 :microsoft/en- us/download/details?id=

2. Cài đặt và giải nén vào 2 thư mục Java, Hadoop-3.3 trong ổ C

3. Thiết lập biến môi trường

Thêm biêến môi tr ường HADOOP_HOME: C:\hadoop-3. JAVA_HOME: C:\Java\jdk-

Ki ểm tra đã cài đ ặt thành công

4. Thiết lập các file trong Hadoop

-- EDIT FILE HADOOP ETC ----

****Configuration core-site as under here: fs hdfs://localhost:9000

****Configured mapred-site such as following: mapreduce.framework yarn

 T ạo th ư m ục data:

 T ạo th ư m ục namenode, datanode trong th ư m ục data  Cấếu hình l ại th ư m ục bin t ải th ư m ục bin đã cấếu hình: github/s911415/apache-hadoop-3.1.0- winutils/tree/master/bin Thay thêế th ư m ục bin m ới vào th ư m ục bin cũ t ại folder C:\hadoop-3.

5. Chạy Hadoop 3.

 M ởcmd Format namenode: C:\Users\User>hdfs namenode -format Format datanode: C:\Users\User>hdfs datanode -format cd vào C:\hadoop-3.3\sbin ch ạy l ệnh: C:\hadoop-3.3\sbin>start-all  Truy c ập http://localhost:8088/ đ ể vàoAll Applications  Truy c ập http://localhost:9870/ đ ể vàoNamenode Information

2. Hướng dẫn cài đặt Spark 3.4 trên windows

1. Dowload Spark 3.4, jdk11 và python 3.

Spark 3.4: spark.apache/downloads.html jdk11: oracle/java/technologies/javase/jdk11-archive-downloads.html Python 3.11: python/downloads/

3. Thiết lập biến môi trường

Thêm các biêến môi tr ường: HADOOP_HOME: C:\hadoop-3. JAVA_HOME: C:\Java\jdk- PYSPARK_HOME: C:\Users\Administrator\AppData\Local\Programs\Python\Python SPARK_HOME: C:\spark-3.4-bin-hadoop

Thêm 3 biêến nh ưhình vào Path

5. Khởi chạy Spark 3.

 M ởcmd Ch ạy spark-shell: C:\Users\Administrator>spark-shell Ch ạy pyspark: C:\Users\Administrator>pyspark

Hadoop là một khung dựa trên ngôn ngữ lập trình Java và nguồn mở. Hadoop này hữu ích để xử lý một số dữ liệu được phân phối bằng tính năng lưu trữ dữ liệu cũng được phân phối.

Hadoop có thể lưu trữ bất kỳ lượng dữ liệu nào và có thể xử lý nó bằng mô hình lập trình MapReduce. Hadoop cũng đã được thiết kế để khắc phục một vấn đề phát sinh do sự thất bại của chức năng phần cứng có thể ngăn ngừa mất quá trình làm việc và dữ liệu nhất định.

Hadoop sẽ cắt dữ liệu được phân phối cho mỗi nút trong một cụm sao cho nút sau sẽ được xử lý theo cách song song hoặc cục bộ trên mỗi nút được kết nối.

Hadoop thường được sử dụng để quản lý một số quy trình BigData. Trong bài viết này, bạn sẽ tìm hiểu cách cài đặt Hadoop trên Windows 10. Trước đó, bạn phải tải xuống các thành phần sẽ được sử dụng sau này khi cài đặt Hadoop vào Windows 10

Dưới đây là các thành phần bạn cần tải xuống trước khi cài đặt Hadoop Windows 10

Tải xuống và cài đặt JDK hoặc Java Development Kit trước. Bạn có thể tải xuống tại liên kết sau: https://www.oracle.com/java/technology/javase/javase-jdk8-doads.html

Tải xuống Apache Hadoop tại liên kết sau: https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/ hadoop-2.9.2.tar.gz

Tải xuống tệp Patch Hadoop cho hệ điều hành Windows tại liên kết sau: https://github.com/wmwijaya/hadoop2-standopol-windows7-windows10

Chà, nếu bạn đã tải xuống một số tệp ở trên, bạn có thể thực hiện các bước hoặc cách cài đặt Hadoop Windows Như được giải thích dưới đây.

Tải xuống tệp Apache Hadoop tại liên kết trên Giải nén tập tin các. Đi đến thùng rác và cvị trí của thư mục opy các.

2. Mở menu Bảng điều khiển> Hệ thống và Bảo mật> Hệ thống> Cài đặt hệ thống nâng cao. Hộp Thuộc tính hệ thống được hiển thị và nhấp vào biến môi trường.

3. Sau đó bấm vào nút Biến Mới và nhập tên biến JAVA_HOME và dán liên kết trang web cho thùng rác sớm hơn trong giá trị biến. Sau đó nhấp vào đồng ý.

4. Tiếp theo về các biến hệ thống, tìm kiếm các biến Đường và bấm vào Biên tập. Nhấp vào nút Mới và nút dán liên kết trang web cho thùng rác. Sau đó nhấp đồng ý.

5. Đi đến thư mục vv và sau đó đi vào thư mục hadoop. Mở tập tin core-site.xml, hadoop-env.cmd, hdfs-site.xml, Sợi-site.xml, mapred-site.xml sử dụng notepad hoặc notepad ++.

6. Trong tệp core-site.xml, nhập tệp xuất hiện trong hộp màu đỏ bên dưới. Sau đó nhấp vào nút Lưu.

7. Trong tệp mapred-site.xml, nhập tệp xuất hiện trong hộp màu đỏ bên dưới. Sau đó nhấp vào nút Lưu.

8. Trong tệp sợi-site.xml, nhập tệp xuất hiện trong hộp màu đỏ bên dưới. Sau đó nhấp vào nút Lưu.

9. Tạo một thư mục mới gọi là nút dữ liệu và Tên nút. Sau đó sao chép vị trí liên kết cho hai thư mục.

10. Quay trở lại Notepad ++ một lần nữa. Mở tệp hdfs-site.xml và viết tập lệnh như dưới đây. Và hãy nhớ rằng trong thẻ máy chủ Namenode và Datanode, bạn phải điền vào không gian liên kết cho thư mục Namenode và Datanode.

11. Trong tệp hadoop-env.cmd, thay đổi% JAVA_HOME% thành liên kết vị trí thư mục JDK.

12. Mở lại các biến môi trường và nhấp vào nút Mới trong các biến sử dụng. Sau đó nhập tên biến HADOOP_HOME và điền vào khay trong liên kết thư mục trong thư mục hadoop của giá trị biến. Sau đó nhấp vào đồng ý.

13. Trong chương trình giá trị tâm thu, nhấp Đường và nhấp vào nút Biên tập. Sau đó bấm vào nút Mới và dán liên kết vào thư mục bin.

14. Nhấp Mới một lần nữa và dán liên kết thư mục thùng trong thư mục hadoop. Sau đó nhấp đồng ý.

15. Giải nén tệp vá Hadoop mà bạn đã tải xuống trước đó, rồi mở menu khay. Sao chép toàn bộ nội dung của tệp bin differolder vào tệp vá hadoop và dán nó vào thư mục bin trong tệp hadoop. Trước đây, bạn xóa tất cả các tệp trong thư mục bin trong thư mục hadoop. Chà, sau đó nội dung của thư mục bin trong tệp hadoop sẽ chứa đầy các tệp trong thư mục bin thuộc về tệp vá hadoop.

16. Mở dấu nhắc lệnh và gõ định dạng nút tên hdfs. sau đó nhìn vào kết quả, Startup_msg sẽ hiển thị Start NameNode.

17. Sau đó vào thư mục hadoop và sau đó nhập lại thư mục sbin trong CMD. Sau đó gõ start-all.cmd. Sau đó, kết quả sẽ như thế này.

Vì vậy, bài viết giải thích cách cài đặt Hadoop trên Windows Hy vọng bài viết này có thể cung cấp cho bạn một số lợi ích.