about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 101690|回复: 49

hadoop网盘小项目介绍及相关代码下载1

  [复制链接]
发表于 2014-12-3 21:01:02 | 显示全部楼层 |阅读模式
本帖最后由 pig2 于 2014-12-9 15:38 编辑


问题导读


1.本文安装了哪些软件?
2.使用了Java什么技术?


hadoop作为网盘,不是最好的,但是作为练手还是可以的。同时hadoop作为网盘实现方式有多种,本例子,使用的是Java api,当然使用rest api同样是可以的。
详细参考下面:

hadoop网盘的最终效果见下面,可以实现简单的文件上传、删除、下载功能,不同用户可以登录到自己的页面进行管理。
1.png
一、准备的安装包资源
(1)hadoop1.1.2安装包
2.png

(2)bootmetro一个CSS开元框架,用来提高web前端的开发效率
3.png

(3)mysql的Jdbc驱动包

4.png

(4)上传组件
5.png
(5)mysql安装包(我的电脑是x64,x86系统的请下载对应版本即可)

6.png
二、搭建hadoop集群环境
教程见(2)虚拟机下hadoop1.1.2集群环境搭建

三、mysql5.6安装和eclipse上的配置
(1)安装教程网上很多,这里就不详细列举,大家到网上搜索即可。
A、安装好后,把mysql安装文件夹下的bin目录的路径添加到PATH环境变量里。
7.png
B、然后打开cmd,输入mysqld,开启mysql服务。
C、创建hadoop数据库
打开cmd,输入:mysql -uroot -hlocalhost -p
然后会提示输入密码:密码默认为空,所以直接回车就可以进入Mysql命令行。
接下来输入:create database hadoop;就创建成功
我们输入:show databases; 来查看
8.png
(2)在eclipse上配置mysql
A、首先打开eclipse,创建web工程。
9.png
B、把mysql-connector-java-commercial-5.1.25.jar包复制到在WEB-INF/lib下。
10.png
C、链接hadoop数据库
在Window菜单栏下打开Open Perspertive,选择 Database Development。
11.png
然后再Database Connections文件夹下邮件选择New ..;
12.png
然后再URL上填上刚刚创建的hadoop数据库;
13.png
点击 Test Connection,测试链接成功。
四、fileupload控件实现文件的上传
(1)首先将commons-fileupload-1.3.1.jar和commons-io-2.4.jar复制到WEB-INF/lib目录下。
(2)在WebContent/下创建inedx.jsp文件用于上传文件。
  1. <%@ page language="java" contentType="text/html; charset=UTF-8"
  2.     pageEncoding="UTF-8"%>
  3. <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
  4. <html>
  5. <head>
  6. <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  7. <title>Insert title here</title>
  8. </head>
  9. <body>
  10.            <form class="form-inline"  method="POST"  enctype="MULTIPART/FORM-DATA"   action="UploadServlet" >
  11.                    <div style="line-height:50px;float:left;">
  12.                             <input type="submit" name="submit" value="上传文件"  />
  13.                    </div>  
  14.                    <div style="line-height:50px;float:left;">
  15.                             <input type="file" name="file1" size="30"/>
  16.                    </div>  
  17. </form>
  18. </body>
  19. </html>
复制代码





然后再创建一个UploadServlet处理上传的文件。
14.png

  1. package com.controller;

  2. import java.io.File;
  3. import java.io.IOException;
  4. import java.util.Iterator;
  5. import java.util.List;

  6. import javax.servlet.ServletContext;
  7. import javax.servlet.ServletException;
  8. import javax.servlet.http.HttpServlet;
  9. import javax.servlet.http.HttpServletRequest;
  10. import javax.servlet.http.HttpServletResponse;
  11. import javax.servlet.<a href="http://www.it165.net/pro/webjsp/" target="_blank" class="keylink">jsp</a>.PageContext;

  12. import org.apache.commons.fileupload.DiskFileUpload;
  13. import org.apache.commons.fileupload.FileItem;
  14. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
  15. import org.apache.commons.fileupload.servlet.ServletFileUpload;



  16. /**
  17. * Servlet implementation class UploadServlet
  18. */
  19. public class UploadServlet extends HttpServlet {

  20.         /**
  21.          * @see HttpServlet#doGet(HttpServletRequest request, HttpServletResponse response)
  22.          */
  23.         protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
  24.                 this.doPost(request, response);
  25.         }

  26.         /**
  27.          * @see HttpServlet#doPost(HttpServletRequest request, HttpServletResponse response)
  28.          */
  29.         protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
  30.                    request.setCharacterEncoding("UTF-8");
  31.                    File file ;
  32.                    int maxFileSize = 50 * 1024 *1024;  //50M
  33.                    int maxMemSize = 50 * 1024 *1024;    //50M
  34.                    ServletContext context = getServletContext();
  35.                    String filePath = context.getInitParameter("file-upload");
  36.                         System.out.println("source file path:"+filePath+"");
  37.                    // 验证上传内容了类型
  38.                    String contentType = request.getContentType();
  39.                    if ((contentType.indexOf("multipart/form-data") >= 0)) {

  40.                       DiskFileItemFactory factory = new DiskFileItemFactory();
  41.                       // 设置内存中存储文件的最大值
  42.                       factory.setSizeThreshold(maxMemSize);
  43.                       // 本地存储的数据大于 maxMemSize.
  44.                       factory.setRepository(new File("c:\\temp"));

  45.                       // 创建一个新的文件上传处理程序
  46.                       ServletFileUpload upload = new ServletFileUpload(factory);
  47.                       // 设置最大上传的文件大小
  48.                       upload.setSizeMax( maxFileSize );
  49.                       try{
  50.                          // 解析获取的文件
  51.                          List fileItems = upload.parseRequest(request);

  52.                          // 处理上传的文件
  53.                          Iterator i = fileItems.iterator();

  54.                          System.out.println("begin to upload file to tomcat server</p>");
  55.                          while ( i.hasNext () )
  56.                          {
  57.                             FileItem fi = (FileItem)i.next();
  58.                             if ( !fi.isFormField () )        
  59.                             {
  60.                             // 获取上传文件的参数
  61.                             String fieldName = fi.getFieldName();
  62.                             String fileName = fi.getName();
  63.                            
  64.                             String fn = fileName.substring( fileName.lastIndexOf("\\")+1);
  65.                             System.out.println("<br>"+fn+"<br>");
  66.                             boolean isInMemory = fi.isInMemory();
  67.                             long sizeInBytes = fi.getSize();
  68.                             // 写入文件
  69.                             if( fileName.lastIndexOf("\\") >= 0 ){
  70.                             file = new File( filePath ,
  71.                             fileName.substring( fileName.lastIndexOf("\\"))) ;
  72.                             //out.println("filename"+fileName.substring( fileName.lastIndexOf("\\"))+"||||||");
  73.                             }else{
  74.                             file = new File( filePath ,
  75.                             fileName.substring(fileName.lastIndexOf("\\")+1)) ;
  76.                             }
  77.                             fi.write( file ) ;
  78.                             System.out.println("upload file to tomcat server success!");
  79.                            
  80.                             request.getRequestDispatcher("index.<a href="http://www.it165.net/pro/webjsp/" target="_blank" class="keylink">jsp</a>").forward(request, response);
  81.                            
  82.                             }
  83.                          }
  84.                       }catch(Exception ex) {
  85.                          System.out.println(ex);
  86.                       }
  87.                    }else{
  88.                       System.out.println("<p>No file uploaded</p>");
  89.                
  90.                    }
  91.          
  92.               
  93.                  
  94.         }

  95. }
复制代码




然后再web.xml下设置上传的路径:
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" id="WebApp_ID" version="2.5">
  3.   <display-name>TestHadoop</display-name>
  4.   <welcome-file-list>
  5.     <welcome-file>index.html</welcome-file>
  6.     <welcome-file>index.htm</welcome-file>
  7.     <welcome-file>index.jsp</welcome-file>
  8.     <welcome-file>default.html</welcome-file>
  9.     <welcome-file>default.htm</welcome-file>
  10.     <welcome-file>default.jsp</welcome-file>
  11.   </welcome-file-list>
  12.   <servlet>
  13.     <description></description>
  14.     <display-name>UploadServlet</display-name>
  15.     <servlet-name>UploadServlet</servlet-name>
  16.     <servlet-class>com.controller.UploadServlet</servlet-class>
  17.   </servlet>
  18.   <context-param>
  19.     <description>Location to store uploaded file</description>
  20.     <param-name>file-upload</param-name>
  21.     <param-value>
  22.          D:\apache-tomcat-6.0.41\webapps\data
  23.      </param-value>
  24.   </context-param>
  25.   <servlet-mapping>
  26.     <servlet-name>UploadServlet</servlet-name>
  27.     <url-pattern>/UploadServlet</url-pattern>
  28.   </servlet-mapping>
  29. </web-app>
复制代码





我们测试一下是否可以上传,我现在将上传(1)Centos6.5下hadoop1.1.2环境搭建(单机版).docx文件;
15.png
我们到
  1. D:\apache-tomcat-6.0.41\webapps\data
复制代码


可以看到文件已经上传成功。

16.png







网盘代码地址.rar (166 Bytes, 下载次数: 231, 售价: 8 云币)

67

主题

13

听众

1

收听

高级会员

Rank: 4

积分
1031
发表于 2014-12-3 21:56:28 | 显示全部楼层
支持贤弟,还希望以后贤弟多出点视频教程

0

主题

16

听众

0

收听

高级会员

Rank: 4

积分
2484
发表于 2014-12-3 21:59:29 | 显示全部楼层
谢谢楼主分享。            

0

主题

1

听众

0

收听

高级会员

Rank: 4

积分
1624
发表于 2014-12-3 22:25:32 | 显示全部楼层
学习了

44

主题

2

听众

0

收听

高级会员

Rank: 4

积分
1463

最佳新人热心会员

发表于 2014-12-4 11:12:22 | 显示全部楼层
希望版主多出一些 hadoop web方面的教程以及整合时有哪些注意的地方

50

主题

9

听众

7

收听

高级会员

Rank: 4

积分
1076

最佳新人

发表于 2014-12-9 15:15:27 | 显示全部楼层
正在学习中,不错。

0

主题

2

听众

0

收听

新手上路

Rank: 1

积分
33
发表于 2014-12-24 14:06:27 | 显示全部楼层
谢谢分享,感谢中。。。

0

主题

17

听众

55

收听

高级会员

Rank: 4

积分
2775
QQ
发表于 2014-12-28 17:12:57 | 显示全部楼层
谢谢分享!!
舒舒坦坦过日子,折折腾腾学技术

0

主题

2

听众

0

收听

新手上路

Rank: 1

积分
28
发表于 2015-1-17 10:38:27 | 显示全部楼层
在学习中,不错。

0

主题

0

听众

0

收听

新手上路

Rank: 1

积分
12
发表于 2015-1-21 14:34:53 | 显示全部楼层
学习ing,感谢楼主共享
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-11-17 02:12 , Processed in 0.484868 second(s), 42 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表