Департаменты совместно используют Django и краулеры

Python
1. Разработка и совместное использование простого интерфейса Django:

1. Перед разработкой необходимо настроить среду разработки, избавиться от разработки на Ubuntu и создать виртуальную среду для разработки на компьютере Mac
2. Интерфейс запуска проекта Django-admin
3. Создайте приложение python manage.py startapp myjiekou
4. Откройте проект и зарегистрируйте приложение в файле settings.py.

INSTALLED_APPS = (
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'myjiekou',
)

5. Определите класс модели в файле models.py и укажите необходимые поля.

# encoding=utf-8
from django.db import models

# Create your models here.

class MyModel(models.Model):
    # 姓名
    name = models.CharField(max_length=20)
    # 年龄
    age = models.CharField(max_length=100)
    # 爱好
    hobby = models.CharField(max_length=300)

6. Создайте файл миграции python manage.py makemigrations
7. Создайте миграцию python manage.py migrate.После завершения миграции будет автоматически сгенерирована таблица авторизации.
8. Запустите питонmanage.pyrunserver, подключивhttp://127.0.0.1:8000/adminПосмотрите на интерфейс управления фоном
9. Перед просмотром интерфейса фонового управления необходимо зарегистрировать учетную запись администратора python manage.py createsuperuser
10. Почему у нас нет только что созданной формы после входа в систему?

admin.png
Причина: мы не прописали наш класс модели в файле admin.py, а потом прописываем его
from django.contrib import admin

from  myjiekou.models import MyModel
# Register your models here.

class MyAdmin(admin.ModelAdmin):
    list_display = ["name","age","hobby"]

admin.site.register(MyModel,MyAdmin)

11. Снова запустите python manage.py runserver. 12. Давайте еще раз взглянем на интерфейс управления администратором и добавим поля.


admin1.png

13. Как мы можем отобразить данные интерфейса управления администратором на веб-странице django?Перейдем к следующему шагу.Наша цель должна быть доступна через http://127.0.0.1:8000/index для отображения содержимого нашего выход. Во-первых, мы просто отображаем сначала

#encoding=utf-8
from django.shortcuts import render
from django.http import HttpResponse
# Create your views here.
def index(request):
    return HttpResponse("你好 我的体育老师")
admin2.png

Опять же, нам нужно отобразить данные SQLite на нашей странице, сначала импортируйте класс нашей модели.

setting.py配置路径
TEMPLATES = [
    {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [os.path.join(BASE_DIR),'templates'],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
            ],
        },
    },
]
在view.py文件中
#encoding=utf-8
from django.shortcuts import render
from django.http import HttpResponse
from models import MyModel
# Create your views here.

def index(request):
    content = MyModel.objects.all()
    list = {"content":content}
    return render(request,"myjiekou/index.html",list)
index.html显示
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<ul>
        {% for item in content %}

            <li>{{ item.name }}</li>
            <li>{{ item.age }}</li>
            <li>{{ item.hobby }}</li>

        {% endfor %}
</ul>
</body>
</html>

Примечание. В процессе нашей работы могут возникнуть некоторые проблемы, например следующие, мы можем их решить.

MIDDLEWARE_CLASSES = [
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
]

14. Китайский интерфейс управления

LANGUAGE_CODE = 'en-us'

15. Далее, разработка интерфейса django

首先导入模块
from django.http import JsonResponse
url配置
from myjiekou import views
urlpatterns = [
    url(r'^admin/', include(admin.site.urls)),
    url(r'^index/', views.index),
    url(r'^api/', views.api),
]
api实现
def api(request):
    list = []
    item = {}
    content = MyModel.objects.all()

    for one in content:
        item["name"] = one.name
        item["age"] = one.age
        item["hobby"] = one.hobby
        list.append(item)

    return JsonResponse({"status":200,"date":list})
admin3.png

Затем я запускаю программу OC, чтобы вызвать этот интерфейс, чтобы убедиться, что вызов успешен.

2. Сканер сканирует веб-сайт

Сначала разберитесь с основными модулями краулера
1. модуль re: в основном использует регулярное сопоставление для анализа захваченных данных.
2. XPath: поиск узлов или элементов HTML для фильтрации данных.
3. BeautifulSoup4: это также синтаксический анализатор HTML/XML, анализирующий и извлекающий данные HTML/XML.
4. JSON и JsonPATH: анализ данных JSON
Ниже приведен пример, который в основном использует XPath для поиска узлов или элементов HTML для синтаксического анализа.

# -*- coding:utf-8 -*-

import urllib2,os
import lxml.etree

class Xunmall():
    def __init__(self):
        self.url = "http://www.xunmall.com"

    def get_html(self,p1 = ""):
        # headers = {
        # "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Mobile Safari/537.36"}
        request = urllib2.Request(self.url + p1)
        response = urllib2.urlopen(request)
        html = response.read()
        return html

    def get_xpath(self):
        xmlcontent = lxml.etree.HTML(self.get_html())
        xmllist = xmlcontent.xpath('//h2[@class="floor_name"]/text()')

        for item in xmllist:
            with open('title.txt','a') as file:
                file.write(item.encode('utf-8') + '\n')
                file.close


    def get_image(self):
        xmlimage = lxml.etree.HTML(self.get_html())
        imagelist = xmlimage.xpath('//div[@class="color_top"]/img/@src')
        if os.path.isdir('./imgs'):
           pass
        else:
            os.mkdir("./imgs")
        for item in imagelist:
            print self.url + item
            with open('imgs/' + (self.url + item)[-8:],'a+') as file:
                file.write(self.get_html(item))
                file.close

    def get_theme(self):
        xmltheme = lxml.etree.HTML(self.get_html())
        themelist = xmltheme.xpath('//h3[@class="floor_theme"]/text()')

        for item in themelist:
            with open('theme.txt','a') as file:
                file.write(item.encode('utf-8') + '\n')
                file.close

        sloganlist = xmltheme.xpath('//p[@class="slogan"]/text()')
        for item in sloganlist:
            with open('theme.txt','a') as file:
                file.write(item.encode('utf-8') + '\n')
                file.close

        give_outlist = xmltheme.xpath('//p[@class="give_out"]/text()')
        for item in give_outlist:
            with open('theme.txt', 'a') as file:
                file.write(item.encode('utf-8') + '\n')
                file.close

    def get_html1(self,p2):
        request = urllib2.Request(p2)
        response = urllib2.urlopen(request)
        html = response.read()
        return html

    # 食品标题和图片
    def foodImageTitle(self):
        foodImage = lxml.etree.HTML(self.get_html())
        foodImageList = foodImage.xpath('//div[@class="pro_image"]/img/@src')

        if os.path.isdir('./foodimage'):
           pass
        else:
            os.mkdir("./foodimage")
        for item in foodImageList:
            print item
            with open('foodimage/' + item[-20:],'a+') as file:
                file.write(self.get_html1(item))
                file.close

    # 每个零食的详细信息(标题、图片、副标题)
    def detail(self):
        detailLink = lxml.etree.HTML(self.get_html())
        detailLinkList = detailLink.xpath('//div[@class="nth_floor first_floor"]/div[@class="goods_box"]/ul[@class="item_list"]//a/@href')
        for item in detailLinkList:
            # print item[-18:]
            detailUrl = lxml.etree.HTML(self.get_html("/" + item[-18:]))
            detailImageList = detailUrl.xpath(
                '//div[@class="info-panel panel1"]/img/@src')

            for detailitem in detailImageList:
                print '正在下载详情图片'

                if os.path.isdir('./' + item[-18:-5]):
                    pass
                else:
                    os.mkdir("./" + item[-18:-5])

                with open(item[-18:-5] + '/' + detailitem[-9:], 'a+') as file:
                    file.write(self.get_html1(detailitem))
                    file.close
            # 商品标题
            detailtitleList = detailUrl.xpath(
                '//div[@class="col-lg-7 item-inner"]//h1[@class="fl"]/text()')

            for title in detailtitleList:
                with open('foodtitle.txt', 'a+') as file:
                    file.write(title.encode('utf-8') + '\n')
                    file.close
            # 商品编号
            goodnumberList = detailUrl.xpath(
                '//div[@class="col-lg-7 item-inner"]//li[@class="col-lg-5 col-md-5"]/text()')
            for number in goodnumberList:
                print number
                if os.path.isdir('./qrcoder'):
                    pass
                else:
                    os.mkdir("./qrcoder")

                with open('qrcoder', 'a+') as file:
                    file.write(number.encode('utf-8') + '\n')
                    file.close

            # 商品二维码:data_code
            coderImageList = detailUrl.xpath('//div[@class="clearfixed"]//div[@class="barcode fr"]/img/@data_code')

            for item in coderImageList:
                print item
                with open('goodnumber.txt', 'a+') as file:
                    file.write(item + '\n')
                    file.close


if __name__ == "__main__":
    # 获取分类标题
    xunmall = Xunmall()
    # xunmall.get_xpath()
    # 获取图片
    # xunmall.get_image()
    # 图片上面的标题
    # xunmall.get_theme()
    # 休闲食品标题和图片
    # xunmall.foodImageTitle()
    xunmall.detail()

Я поделюсь Swift в будущем, просто делюсь результатами обучения, обсуждаю и учусь с командой проекта.