C语言HTML爬虫

admin

该代码实现了一个基本的HTTP客户端，可以从命令行传入服务器IP地址、端口号和URL，然后向服务器发送GET请求并打印响应。如果出现错误，会打印错误信息并返回非零值。需要注意的是，这个实现没有进行错误处理或超时控制，仅适用于简单的HTTP请求。

1. #include <stdio.h>
   
2. #include <stdlib.h>
   
3. #include <string.h>
   
4. #include <sys/socket.h>
   
5. #include <arpa/inet.h>
   
6. #include <unistd.h>
   
7. 
   
8. #define BUFFER_SIZE 4096
   
9. 
   
10. int main(int argc, char* argv[]) {
    
11.     if (argc != 4) {
    
12.         printf("Usage: %s <server_ip> <server_port> <url>\n", argv[0]);
    
13.         return 1;
    
14.     }
    
15. 
    
16.     // 解析命令行参数
    
17.     char* server_ip = argv[1];
    
18.     int server_port = atoi(argv[2]);
    
19.     char* url = argv[3];
    
20. 
    
21.     // 创建socket
    
22.     int sock = socket(AF_INET, SOCK_STREAM, 0);
    
23.     if (sock < 0) {
    
24.         perror("socket creation failed");
    
25.         return 1;
    
26.     }
    
27. 
    
28.     // 设置服务器地址信息
    
29.     struct sockaddr_in server_addr;
    
30.     memset(&server_addr, 0, sizeof(server_addr));
    
31.     server_addr.sin_family = AF_INET;
    
32.     server_addr.sin_addr.s_addr = inet_addr(server_ip);
    
33.     server_addr.sin_port = htons(server_port);
    
34. 
    
35.     // 连接服务器
    
36.     if (connect(sock, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0) {
    
37.         perror("connect failed");
    
38.         close(sock);
    
39.         return 1;
    
40.     }
    
41. 
    
42.     // 构造HTTP请求
    
43.     char request[BUFFER_SIZE];
    
44.     snprintf(request, BUFFER_SIZE, "GET %s HTTP/1.1\r\nHost: %s:%d\r\n\r\n", url, server_ip, server_port);
    
45. 
    
46.     // 发送HTTP请求
    
47.     if (send(sock, request, strlen(request), 0) < 0) {
    
48.         perror("send failed");
    
49.         close(sock);
    
50.         return 1;
    
51.     }
    
52. 
    
53.     // 接收HTTP响应
    
54.     char response[BUFFER_SIZE];
    
55.     int response_len = 0;
    
56.     while ((response_len = recv(sock, response, BUFFER_SIZE - 1, 0)) > 0) {
    
57.         response[response_len] = '\0';
    
58.         printf("%s", response);
    
59.     }
    
60.     if (response_len < 0) {
    
61.         perror("recv failed");
    
62.         close(sock);
    
63.         return 1;
    
64.     }
    
65. 
    
66.     // 关闭socket
    
67.     close(sock);
    
68. 
    
69.     return 0;
    
70. }
    

复制代码

编译

gcc -o http_client http_client.c

运行:


./http_client <server_ip> <server_port> <url>


51单片机下运行

1. #include <reg52.h>
   
2. 
   
3. #define BUFFER_SIZE 512
   
4. 
   
5. sbit led = P1^0;
   
6. 
   
7. void delay(int ms) {
   
8.     int i, j;
   
9.     for (i = 0; i < ms; i++) {
   
10.         for (j = 0; j < 120; j++);
    
11.     }
    
12. }
    
13. 
    
14. void send_char(char c) {
    
15.     SBUF = c;
    
16.     while (TI == 0);
    
17.     TI = 0;
    
18. }
    
19. 
    
20. void send_string(char* str) {
    
21.     while (*str) {
    
22.         send_char(*str++);
    
23.     }
    
24. }
    
25. 
    
26. void main() {
    
27.     char server_ip[] = "192.168.1.100";
    
28.     int server_port = 80;
    
29.     char url[] = "/index.html";
    
30.     char request[BUFFER_SIZE];
    
31.     char response[BUFFER_SIZE];
    
32.     int response_len = 0;
    
33. 
    
34.     TMOD = 0x20;
    
35.     TH1 = 0xfd;
    
36.     TL1 = TH1;
    
37.     TR1 = 1;
    
38.     SM0 = 0;
    
39.     SM1 = 1;
    
40.     REN = 1;
    
41.     EA = 1;
    
42.     ES = 1;
    
43. 
    
44.     // 构造HTTP请求
    
45.     sprintf(request, "GET %s HTTP/1.1\r\nHost: %s:%d\r\n\r\n", url, server_ip, server_port);
    
46. 
    
47.     // 发送HTTP请求
    
48.     send_string(request);
    
49. 
    
50.     // 接收HTTP响应
    
51.     while (1) {
    
52.         while (RI == 0);
    
53.         response[response_len++] = SBUF;
    
54.         RI = 0;
    
55.         if (response_len >= BUFFER_SIZE) {
    
56.             break;
    
57.         }
    
58.         if (response[response_len-1] == '\n' && response[response_len-2] == '\r') {
    
59.             break;
    
60.         }
    
61.     }
    
62. 
    
63.     // 输出HTTP响应
    
64.     response[response_len] = '\0';
    
65.     send_string(response);
    
66. 
    
67.     while (1) {
    
68.         led = ~led;
    
69.         delay(500);
    
70.     }
    
71. }
    

复制代码