有bug：修改了<scope>test</scope>后，在控制台还是不能显示日志信息，没找到解决办法
配置了log4j.properties，控制台没有显示日志信息_连胜是我偶像的博客-CSDN博客
简易版：?Java网络爬虫小案例（简易版）_连胜是我偶像的博客-CSDN博客
1. 环境
JDK 1.8
IDEA
IDEA自带的Maven
2. 创建一个Maven工程?
2.1 new 一个module
file->new->project->选择Maven：自己取名一路next
然后file->new->modele
一个project可以有多个module。project：项目，module：模块
IntelliJ IDEA 中 Project 和 Module 的概念及区别_CG国斌的博客-CSDN博客_idea的project和module
2.2 选择Maven 取名字然后，下一步
结果：
3. 导 jar 包
Maven Repository: Search/Browse/Explore (mvnrepository.com)
?点击上面网址搜索jar包。后面有所有需要的jar包代码，也可不去网页下载，翻到后面。
3.1 示例 : httpclient
?点击4.5.2
?复制框框内的代码，粘贴到idea中
?粘贴到 module 的 pom.xml 的 <dependencies> 中
有爆红，选择右上角的maven，刷新下载
右下角显示下载 ，等待即可，太慢了就去配置阿里云仓库
IDEA setting.xml在哪里？配置阿里云仓库的setting.xml?_连胜是我偶像的博客-CSDN博客_idea配置阿里云仓库
3.2 所有需要的 jar 包
Apache?HttpClient
<!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.2</version>
</dependency>?SLF4J?LOG4J?12?Binding?Relocated
<!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.25</version>
<scope>test</scope>
</dependency>
?4. 创建日志文件
cn.itcast.crawler-first -> src -> main -> 右键resources ->new -> file -> 取名：log4j.properties?
log4j.properties 中写入下列代码：
1og4j.rootLogger=DEBUG,A1
log4j.logger.cn.itcast = DEBUG
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MW-dd HH:mm:Ss,SS5)[%t][%c]-[%p] %m%n
?5. 实例：创建测试文件
5.1 创建一个包?
cn.itcast.crawler-first -> src -> main -> 右键java ->new ->package -> 取名：cn.itcast.?crawler.test
?解决idea右键没有java class选项 - 知乎 (zhihu.com)
5.2 在test包中创建一个Java class文件
写入代码
package cn.itcast.crawler.test;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
public class CrawlerFirst {
public static void main(String[] args) throws Exception {
// 1. 打开浏览器 ： 创建HttpClient对象
// 打入 HttpClients.createDefault()，按下ctrl+alt+v，自动补全等号左边
CloseableHttpClient httpClient = HttpClients.createDefault();
// 2. 输入网址 : 发起get请求创建HttpGet对象
// url 中是需要被解析的网址
HttpGet httpGet = new HttpGet("http://www.itcast.cn");
// 3. 按回车，发起请求，返回响应 ： 使用httpClient对象发起请求
// 会有一个异常，throws Exception即可
CloseableHttpResponse response = httpClient.execute(httpGet);
// 4. 解析响应，获取数据
// 判断状态码是否是200
if (response.getStatusLine().getStatusCode()==200){
// 拿到响应体
HttpEntity httpEntity = response.getEntity();
// 解析响应体，拿到静态页面的数据，将获取到的数据装入string中
String content = EntityUtils.toString(httpEntity, "utf-8");
// 打印content 查看效果
// 快捷键输入 idea：sout 按enter; eclipse : syso 按alt+/ 。
System.out.println(content);
}
}
}
?运行结果：
